Start Cloud Wie der Goldrausch in Echtzeit zu steilen Lernkurven für Entwickler führt

Wie der Goldrausch in Echtzeit zu steilen Lernkurven für Entwickler führt [Q&A]

7
0


Echtzeitdaten

Bis 2025 prognostiziert das Branchenanalyseunternehmen IDC, dass 30 Prozent aller Daten in Echtzeit vorliegen werden. Die Lawine von Streaming-Data-Frameworks, Bibliotheken und Verarbeitungs-Engines hat eine massive Lernkurve für Entwickler geschaffen.

Wir haben mit Craig Blitz gesprochen, dem Produktdirektor der Cloud-nativen Anwendungsplattform Lichtbeuge um mehr darüber zu erfahren, wo wir in diesen frühen Tagen der Entwicklung von Streaming-Daten stehen und wie Lightbends neu eingeführtes Open-Source-Framework Cloudflow Entwickler bei der Verfolgung von Echtzeit-Anwendungsfällen unterstützen soll.

BN: Wo steht das durchschnittliche Unternehmen heute auf der Akzeptanzkurve für Streaming-Daten?

CB: Auf Organisationsebene herrscht ziemlich allgemeiner Konsens über den Wert, den Anwendungen Intelligenz und Echtzeitanalysen hinzuzufügen, und ich denke, die meisten Unternehmen wissen, dass die Anwendungsfälle, die sie rund um KI und ähnliches verfolgen, mit älteren Infrastrukturen nicht möglich sind. Einige Unternehmen sind in die Big-Data-Infrastruktur von Hadoop eingetaucht, während andere die Big-Data-Entwicklung verpasst haben und bei Null anfangen. Die Branche befindet sich noch sehr am Anfang des Streamings von Daten, und ich denke, was heute ziemlich üblich ist, ist viel Gerangel in der Technologieauswahlphase des Übergangs zu Echtzeitsystemen.

BN: Was ist so schwer an der Technologieauswahl?

CB: Es ist die Vielfalt der Technologieauswahl auf jeder Ebene. Wo bewerbe ich Kafka, Flink und Akka? Soll ich weiterhin Java verwenden oder zu Scala wechseln? Und wo passt Python rein? All diese Arten von Entscheidungen sind überwältigend, weil Sie die Kompromisse oft nicht verstehen, bis Sie viele Versuche und Fehler gemacht haben. Zumindest die Entwickler, die aus dem Hadoop-Ökosystem kommen, haben einige grundlegende Erfahrungen mit Apache Spark, aber für den Rest ist es schwer zu wissen, wo man überhaupt anfangen soll.

Von da an ist die Integration und Skalierbarkeit dieser Frameworks eine große Herausforderung, mit der nur sehr wenige Entwickler viel praktische Erfahrung haben. Die Tools selbst werden ständig verbessert und es ist eine weitere Herausforderung, mit diesen neuen Releases Schritt zu halten. Spark hat beispielsweise kürzlich strukturiertes Streaming eingeführt.

Und es ist auch erwähnenswert, dass die meisten Unternehmen im Gegensatz zu Netflix oder LinkedIn oder anderen Arten von Unternehmen, die „in der Cloud geboren wurden“, immer noch weitgehend lokal tätig sind und den Auftrag haben, in die Cloud zu wechseln. Gleichzeitig haben sie es also mit neuen Anwendungsarchitekturen für das Streaming von Daten zu tun, haben Cloud-Migrationsprobleme und kämpfen mit neuen Technologien wie Kubernetes und Istio.

BN: Was ist Cloudflow und wie hilft es Entwicklern bei der Navigation durch Streaming-Daten?

CB: Wenn man an Technologiewellen wie die Anfänge von Webanwendungen zurückdenkt, spielten App-Server eine wirklich wichtige Rolle bei der Kodierung von Unterkomponenten des Anwendungsstapels. Die Verwendung von App-Servern gab Entwicklern die Gewissheit, dass die Dinge gut und vorhersehbar unter Anwendungslast zusammenarbeiten würden.

Bisher war das Streamen von Daten der Wilde Westen, und Entwickler mussten sich mit den zugrunde liegenden Frameworks gründlich vertraut machen. Das erzeugt einen großen Zeitaufwand für das Verständnis der Frameworks, was von dem ablenkt, was man tatsächlich mit den Frameworks bauen kann.

Cloudflow ist ein meinungsorientiertes Framework, das all diese Technologien vereint und es für Entwickler viel nutzerfreundlicher macht. Eine typische Anwendung umfasst mehrere Verarbeitungsschritte. Vielleicht Akka Streams für die Aufnahme, Spark oder Flink für die Berechnung von Datenaggregationen, Kafka als Puffer zwischen Verarbeitungselementen, wobei die Daten dann nachgelagert an HDFS, an eine Datenbank oder als HTTP-Endpunkt gesendet werden. Indem wir alle diese Komponenten dazu bringen, sofort miteinander zu kommunizieren, ersparen wir Entwicklern die Suche nach den Primitiven der unteren Ebene, damit sie an der Geschäftslogik der Streaming-Daten-Anwendungsfälle arbeiten können, die sie verfolgen, anstatt es herauszufinden wie man Dinge betreibt und miteinander verbindet.

Die Philosophie hinter Cloudflow besteht darin, dass wir die volle Leistungsfähigkeit der von uns integrierten Technologien zur Verfügung stellen möchten, aber die betriebliche Komplexität und die Standardisierung, die häufig zu Projektverzögerungen führt, entfernen. Wir tun dies, indem wir den Streaming-Engines Wrapper-APIs bereitstellen, die es uns ermöglichen, Bereitstellungsprobleme zu lösen und Entwicklern dennoch uneingeschränkten Zugriff auf die zugrunde liegenden nativen APIs zu ermöglichen. Cloudflow ist der „App-Server“, der alles zusammenhält.

BN: Wie grundlegend wird das Streaming von Daten für den Anwendungs-Stack eines typischen Unternehmens in beispielsweise fünf Jahren sein?

CB: Denken Sie nur an die Zeit vor 15 Jahren zurück, als ein Kredit zu bekommen bedeutete, zu einer Bank zu gehen, um einen Kreditsachbearbeiter zu treffen, der Ihre Daten sammelte und Sie dann irgendwann zurückrief. Dann wurde diese Anwendung online gestellt, und der Wettbewerb zwischen den Banken begann sich zu verlagern, wer am schnellsten mit den wettbewerbsfähigsten Tarifen reagieren konnte. Heutzutage können Sie in der Kreditbranche nicht einmal konkurrieren, wenn Sie nicht sofort auf Kreditanträge antworten können.

Wir sehen diese Art von Zeitverengung in jeder wichtigen Geschäftsfunktion in jeder Branche. Modelle des maschinellen Lernens erhöhen die in diese Intervalle eingebettete Intelligenz, und jedes Unternehmen sucht nach Möglichkeiten, um die Geschäftsergebnisse zu reduzieren.

Bildnachweis: SergeyNivens/Depositphotos.com



Vorheriger ArtikelSystem76 Lemur Pro ist ein Ubuntu Linux Arbeitspferd Laptop
Nächster ArtikelApple schlägt Microsoft und wird am 10. September das iPhone 11 vorstellen

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein