Performance Optimierung Ihrer BI/DWH Lösung mit Data Lineage von Manta Tools

von Harald Sellmann (Kommentare: 1)

Autor: Harald Sellmann, Geschäftsführer its-people GmbH

Fakt ist: Jede Situation, auf die wir in der IT bei unseren Kunden treffen, ist hochgradig individuell, wenn nicht sogar einzigartig. Fakt ist aber auch, dass wir, mit entsprechender Abstraktion betrachtet, zwei bestimmte „typische“ Situationen immer wieder antreffen:

  • Eine „gefühlte“ schlechte Performance der Datenbank.
  • Immer mehr Budget muss für Wartung, „Reparatur“ und Pflege bestehender Anwendungssysteme aufgewendet werden anstatt für notwendige Erweiterungen und Innovationen zur Verfügung zu stehen. Genau dies beobachten wir zunehmend für BI-Umgebungen.

Zur Behandlung des ersten Punktes haben wir schon frühzeitig den Datenbank Health Check, spezialisiert auf Oracle Umgebungen, entwickelt: Eine strukturierte Vorgehensweise zur Analyse von Datenbank-Konfigurationen, um dem subjektiven Gefühl Fakten gegenüberzustellen. Mehr Informationen dazu finden Sie hier.

„Historisch gewachsene“ BI-Umgebungen sind üblicherweise deutlich komplexer als reine OLTP-orientierte Anwendungen. Die Gründe dafür sind ebenso mannigfaltig wie nachvollziehbar:

  • „Der Appetit kommt mit dem Essen“: Ursprünglich für einen genau spezifizierten und definierten Zweck konzipiert, werden die Wünsche der Anwender nach der initialen Einführung immer umfangreicher. „Es kann doch nicht so schwer sein, diese Kennzahl auch noch auszuweisen“. Schon mal gehört?
  • Quellsysteme werden ausgetauscht: Ursprünglich eine Eigenentwicklung setzt man zwischenzeitlich auf eine Standardsoftware – oder vice versa. Geändertes Datenmodell an der Quelle, geänderte ETL-Strecke. Für eine Test- und spätere Übergangsphase wurden natürlich beide Mappings parallel benötigt. Und Sie sind sicher, dass die „alten“ Mappings tatsächlich nicht mehr existieren, obwohl Ihre Entwickler auch sonst durchaus der Kategorie „Jäger und Sammler“ zugerechnet werden können?
  • Irgendwann wurden manuelle Schritte in den Prozess integriert, oftmals zunächst als zeitlich begrenzter Workaround gedacht. Und Sie sind sich ganz sicher, dass die Ursache für diesen Workaround immer noch existiert und auch heute noch nicht automatisiert werden kann?
  • Neue Quellsysteme: Egal ob durch Unternehmensübernahmen, Einbindung weiterer Daten aus zusätzlichen Quellsystemen inkl. Social Media, IoT: Migration und Integration von Daten ist eine kontinuierliche Aufgabe geworden. Und Sie haben wirklich noch den Überblick, wann, wie und warum genau auf diesem Weg die Daten angeflanscht wurden?
  • Ihnen fallen noch viele weitere Ursachen ein? Uns auch, aber bei Anspruch auf Vollständigkeit würden wir hier den Rahmen sprengen und Sie hätten die Leselust verloren, bevor wir auf einen Lösungsansatz zu sprechen kommen.

In einer solchen Kundensituation wie oben beschrieben sind wir auf Manta Tools gestoßen. Manta Tools erheben schlichtweg den Anspruch, Ihnen die vollständige Kontrolle über Ihre BI-Umgebung zurückzugeben.

Im Rahmen eines Health Checks einer BI-Umgebung lernt man die schnelle Visualisierung  der Datenströme zu schätzen. Gerade dann, wenn viel mit eigenentwickeltem SQL-Code gearbeitet wurde.

Wer jemals versucht hat, die Datenherkunft entlang eines komplexen, langjährig produktiven ETL-Prozessen nachzuvollziehen (neu-deutsch Data Lineage), kann sicher bestätigen, welch hoher Aufwand sich dahinter verbergen kann. Über ein toolgestütztes Reverse-Engineering, welches zudem noch reproduzierbare Ergebnisse liefert, lässt sich an dieser Stelle Einiges einsparen.

In einem weiteren Schritt lassen sich Impact Analysen durchführen, sodass Sie die Auswirkungen von Änderungen und Erweiterungen deutlich einfacher beurteilen können.

Optimierung des Datenflusses, Reduzierung oder Eliminierung manueller Tätigkeiten, Durchsetzung von Standards und Best Practices in der Entwicklung sowie signifikante Erhöhung des Automatisierungsgrads sind die Ergebnisse, durch die Sie Kosten senken und eine deutlich bessere Governance Ihrer BI-Umgebung erzielen können.

Für weitere Informationen besuchen Sie die Seite unseres Kooperationspartners Manta Tools  oder wenden Sie sich an unseren zuständigen Portfoliomanager Big Data, DWH/BI, Sven Bosinger. Erreichbar unter dwh@its-people.de.

Zurück

Einen Kommentar schreiben

Kommentar von Rudi Wedel |

Hallo Herr Sellmann, sehr gut beschrieben und geschrieben.
Vielen Dank.
Mfg, Rudi Wedel