Daten sind unsere Leidenschaft!

Eine kleine Revolution? In-Memory Datenbanken im Data Warehouse Einsatz

 

Das Angebot von In-Memory Datenbanken hat in der letzten Zeit stark zugenommen. Während bis vor kurzer Zeit diese Technologie noch ein Nischendasein fristete, bieten die großen Softwareanbieter mittlerweile diese als Standardtechnologien an. In erster Linie sind hier SAP mit HANA und Oracle mit seiner In-Memory Option zu nennen.

Während natürlich die klassischen, zeitkritischen In-Memory Applikationen in erster Front bei der Nutzung derartiger Technologien stehen, stellt sich natürlich die Frage, welchen Einfluss die In-Memory Technologie auf Data Warehouse Anwendungen hat.

Geht man in einem DWH von einer klassischen Dreischicht Architektur (Stage, Enterprise, Mart) aus, so ist ein Einsatz in der Data-Mart Schicht naheliegend.

In einem Data-Mart werden die Daten aus dem Enterprise-Layer redundant und auswertungsbezogen gespeichert. Dazu werden viele technische Hilfsmittel, wie z.B. Aggregationen, Vorberechnungen etc. eingesetzt, um das Antwortzeitverhalten der Abfrage- und Analysewerkzeuge positiv zu beeinflussen.

All diesen technischen Tricks gemeinsam ist, dass man das Abfrageverhalten der Endanwender zumindest in groben Zügen kennen muss. So muss z.B. bekannt sein, ob eher Quartalswerte pro Kunde oder Tageswerte pro Kundengruppen abgefragt werden, denn es ist meist ressourcentechnisch nicht möglich, für alle möglichen Abfragearten Vorberechnungen vorzuhalten. Auch gänzlich neue Abfragearten können so meist nur unzureichend unterstützt werden, so dass diese dann zu extrem schlechten Antwortzeiten führen können.

Für alle Abfragen aber gilt: Die Geschwindigkeit, mit der die Daten aus den Massenspeichern (Platten) gelesen werden können, ist der limitierende Faktor für die Abfragegeschwindigkeit. Daher der Gedanke der Aggregation: 1 Jahreswert ist grundsätzlich schneller gelesen als 365 Tagewerte!
Wenn nun der Data-Mart Layer nicht mehr durch Tabellen, die in welcher Form letztendlich immer auf einer Platte liegen, sondern in einer In-Memory Technologie realisiert wird, so hat dies einige Vorteile:

  1. Aufgrund der sehr schnellen Zugriffszeiten auf die In-Memory Informationen müssen Daten nicht mehr vorverdichtet werden.
  2. Durch den Wegfall der Notwendigkeit von Vorverdichtungen werden keine Abfragearten und Drillpfade mehr vorgegeben, wodurch gerade im Analysebereich eine viel größere Flexibilität entsteht.
  3. Data Marts, die in konventioneller Technologie nur mit komplexen Verarbeitungsschritten, meist im Batch-Betrieb, aufgebaut werden könnten, werden simplifiziert. Hierdurch können diese viel schneller erzeugt werden. Die Informationslatenz sinkt dramatisch.
  4. Gleichzeitige Datenversorgung und Abfragen stehen weniger in Konkurrenz, da auch hier keine Verdichtungen nachgehalten werden müssen. Realtime DWHs profitieren hiervon ungemein.

Zusammenfassend ist festzuhalten, dass die In-Memory Technologien einen wichtigen Einfluss auf zukünftige DWH-Strukturen und Architekturen haben werden. Entscheidend dabei wird sein, inwieweit sich die Performance-Versprechen der Technologieanbieter auch wirklich realisieren lassen. Treffen die Versprechen wie z.B. „1000 times faster“ auch nur annähernd zu, so stehen wir vor einer kleinen Revolution im Business Intelligence Bereich.

Das könnte Sie auch interessieren

Bleiben Sie informiert:

its-people hilft Ihnen...

Weitere Blogthemen: