Start Cloud Erkenntnisse aus über einem Jahrzehnt Hadoop

Erkenntnisse aus über einem Jahrzehnt Hadoop

6
0


Im Jahr 2006 tauchte Apache Hadoop auf und begann bald, die aufkommende Welt von Big Data zu revolutionieren. Dies ist einer der Schlüsselfaktoren, die dazu beigetragen haben, eine neue Branche zu formen und – mit der Cloud – eine Reihe neuer Verbraucherbranchen und Unternehmensdienstleistungen voranzutreiben.

Aber die Verwaltung der Data Lakes von Hadoop wurde zu einer Herausforderung, und viele Big Data- und Analyseprojekte wurden eher zu einem Sumpf als zu einem funkelnden See der Wahrheit. Darüber hinaus ist die Zahl der Computing-Engines überfüllt. Sie waren operativ komplex und erforderten spezielle Fähigkeiten, um sie aufrechtzuerhalten. Diese Data Lakes wurden zu sehr unterschiedlichen Computing-Engines, die sich den gleichen Speicher teilen, während sie unterschiedliche Workloads betrieben. Es wurde ein Durcheinander. Sie mit den verfügbaren Werkzeugen zu verwalten, war kein Zuckerschlecken.

Es wurden Annahmen getroffen, wie beispielsweise die Architektur für zu dieser Zeit global agierende Internetunternehmen, die von Unternehmen mit mehr als 1000 Mitarbeitern in allen Branchen genauso leicht implementiert werden könnte. Darüber hinaus erwies sich die Komplexität des Betriebs von Hadoop im nicht webbasierten Maßstab ohne massive Engineering-Teams als schwierig und komplex.

Tatsächlich war die Hadoop-Welt eine fantastische Küche mit den besten Zutaten der Welt, für deren Zubereitung nur die allerbesten Köche erforderlich waren. Nicht jeder in der Küche hatte Zugang zu diesen Michelin-Sterneköchen.

Diese Situation hat die Branche gelehrt, dass die Benutzerfreundlichkeit der Technologie letztendlich die Skalierbarkeit außer Kraft setzt, da die meisten Unternehmen eine benutzerfreundliche Technologie im Vergleich zu globaler Größe benötigen. Interessant ist, dass Cloud-native Angebote einen Großteil der Benutzerfreundlichkeit abdecken, ohne die Skalierbarkeit zu beeinträchtigen, die On-Premise-Hadoop weiterhin belastet.

Hadoop, das früher mit Data Lakes verwandt war, war leider nicht die ideale Plattform dafür. Angesichts der Vielfalt und des Umfangs der Daten, die sie häufig enthalten, andere Dienste, die die Datenermittlung und -bearbeitung ermöglichen und sich gut in die Größe des Data Lake einfügen.

Der Aufstieg eines neuen Königs: Cloud

Die Cloud hat eindeutig damit begonnen, den Kampf um die Big-Data-Architektur um On-Premise und Hadoop zu gewinnen. Die Cloud bietet mehr Agilität und Flexibilität. Hadoop-Cluster gelten nicht als Technologie der Zukunft. Doch auch die Cloud ist für viele Unternehmen noch ein Fremdwort. Dort machen sie die Dinge anders, und was vorher „zu Hause“ funktioniert hat, kann scheitern, zu teuer werden oder den Geschäftsbetrieb verlangsamen, wenn es unsachgemäß beschleunigt wird.

Als HPE MapR erwarb, deutete dies auf das Ende von Hadoop als dominierende Kraft hin. Wie viele zuvor wird die Technologie zum Vermächtnis. Die Cloud wird zur aufstrebenden Plattform, um Big Data und analytische Strategien zu glorreichen Früchten zu bringen.

Die Nachfrage nach der Technologie hat sich verschoben – der Hadoop-Mix aus Computing und Storage ist nicht mehr in Mode. Cloud-Technologien sind massive Objektspeicher. Sie stellen Computing-on-Demand auf und nutzen die Virtualisierung.

Brute Economics setzt sich im Allgemeinen gegenüber allen anderen Faktoren durch. Für die Verwaltung der On-Premise-Hadoop-Cluster, auf die sich Unternehmen verlassen konnten, waren viele qualifizierte Mitarbeiter erforderlich. Aber die großen Cloud-Angebote sind verführerisch kommerziell. Mit vorgefertigten Distributed Computing-Angeboten saugen sie den Markt auf und übertragen die Kontrolle von den Benutzern auf die Plattformanbieter. Und es ist nicht so, dass sich die Cloud-Plattformen so stark von der alten Ordnung unterscheiden, die Hadoop repräsentierte, außer dass der Betrieb des Dienstes jetzt einem Cloud-Anbieter und nicht auf den Schultern der Benutzerorganisation liegt. Und diese Reduzierung von Zeit, Herausforderung und Kosten gibt den Cloud-verwendenden Organisatoren eine große Verschnaufpause.

Alt und Neu zusammen

Es wird Organisationen geben, die weniger daran interessiert sind, die Cloud-Migration durchzuführen. Tatsächlich haben Cloud-Anbieter nichts dagegen – sie bieten Lösungen zurück in lokale Umgebungen wie AWS Outposts und Anthos von Google Cloud.

Bei so viel getätigten Hadoop-Investitionen wird eine große Anzahl von Unternehmen so lange wie möglich warten, bevor sie zu anderen Plattformen wechseln, und ihre bestehenden Investitionen unterdrücken. Hadoop wird nicht schnell verschwinden. Aber mit der Zeit wird es zu einer weiteren Legacy-Technologie – während der Rest der Unternehmenswelt nach vorne strebt und ruhiger in ihren Clouds schwebt – und eine reibungslosere Fahrt in ihr Daten-Nirvana genießen kann.

Bildnachweis: bin ich/Shutterstock

Shivnath Babu ist Mitbegründer/CTO bei Entwirren (und außerordentlicher Professor für Informatik an der Duke University)



Vorheriger ArtikelEin neues Ubuntu Linux LTS ist jetzt verfügbar
Nächster ArtikelDas Data Discovery Portal von F-Secure verrät, was die großen Technologieunternehmen über Sie wissen

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein