Start Cloud Neuer strukturierter Datendienst ermöglicht schnelleren Zugriff für Anwendungen

Neuer strukturierter Datendienst ermöglicht schnelleren Zugriff für Anwendungen

4
0


Digitale Daten

Da Unternehmen zunehmend von weit verbreiteten Analyse-Engines wie Presto, Apache Spark SQL oder Apache Hive Gebrauch machen, geraten sie häufig in ineffiziente Datenformate und sehen sich dadurch mit Leistungsproblemen konfrontiert.

Unternehmen für Open-Source-Cloud-Datensoftware Alluxio führt einen neuen Structured Data Service (SDS) ein, der es Entwicklern und Datenwissenschaftlern ermöglicht, von einer vereinfachten Datenplattform zu profitieren, die Verbindungen zu verschiedenen Katalogen für den Zugriff auf strukturierte Daten ermöglicht, mit weniger Kopien und Pipelines und mehr rechenoptimierten Daten.

„Alluxio bietet jetzt eine Just-in-Time-Datentransformation von Daten, die für die Berechnung optimiert werden sollen, unabhängig vom Speicherformat für OLAP-Engines wie Presto und Apache Spark“, sagt Haoyuan Li, Gründer und CTO von Alluxio. „Diese schemabewussten Optimierungen werden mit dem neuen Alluxio Catalog Service ermöglicht, der den weit verbreiteten Apache Hive Metastore abstrahiert in das allgemein anerkannte rechenoptimierte Parquet-Format umgewandelt. Fast jede Organisation hat eine überraschende Menge an Daten in CSV oder anderen Textformaten und dies macht die manuelle Arbeit überflüssig, um diese Daten besser nutzbar zu machen. Eine zweite Art der Transformation wird viele kleinere Dateien zusammenführen, Dadurch können die Daten in weniger Dateien zusammengefasst werden, was für SQL-Engines effizienter zu verarbeiten ist.Und noch eine dritte Art der Transformation ist die Sortierung, die das Sortieren von Tabellenspalten ermöglicht, was die Effizienz von Abfragen erhöht, neu in unserer Enterprise Edition .“

Zu den Merkmalen des SDS gehören ein Presto-Anschluss, der eine einfache Integration und Konfiguration von Alluxio mit Presto ermöglicht; ein neuer Katalogdienst, der die Metadaten strukturierter Daten im System verwaltet; und einen Transformationsdienst, der Daten in eine rechenoptimierte Darstellung umwandelt, die unabhängig vom speicheroptimierten Format ist. Dies ermöglicht physische Datenunabhängigkeit.

Mehr erfahren Sie auf der Alluxio-Blog.

Bildnachweis: nevarpp/Depositphotos.com



Vorheriger ArtikelWindows 10 fügt dem Windows-Subsystem für Linux Unterstützung für grafische Apps hinzu
Nächster ArtikelApple versucht immer noch, die Zahlung einer Steuerrechnung in Höhe von 14 Milliarden US-Dollar in Europa zu vermeiden

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein