Jens Behring Quo vadis datum? Data Lineaging in gewachsenen Warehouse-Strukturen
Dienstag, 15. November, Raum Helsinki, Ebene 2, 13.00 – 13:45 Uhr
Bei historisch gewachsenen DWHs und auch bei vielen OLAP-Datenbanken geraten der eine oder andere Datenfluss irgendwann in Vergessenheit. So lange alle Ergebnisse korrekt und glaubwürdig erscheinen und alle Prozesse technisch einwandfrei laufen, ist dies auch kein Problem. Allerdings gibt es zwei Fragen, die in solchen Strukturen dem Verantwortlichen Schweißausbrüche bescheren können:
- Woher kommt ein bestimmtes Ergebnis in einem Bericht, welche Quellen werden genutzt bzw. wie wird eine Kennzahl genau berechnet?
- Wo wird ein Attribut einer Eingangsschnittstelle in der Datenbank verarbeitet und durchgereicht?
Selbst wenn eine technische Dokumentation vorliegt, ist der komplette Datenfluss innerhalb einer Datenbank mit Word-Dokumenten und Excel-Tabellen nur schwer zu erfassen. Zusätzlich besteht das Risiko, dass die Dokumentation nicht der Realität entspricht.
Hilfreich ist hier eine auf dem Ist-Stand basierende graphische Darstellung der Datenflüsse, die direkt aus der Datenbank generiert wird. Diese muss unter Einbeziehung aller PL/SQL-Packages und auch evtl. vorhandener SQL-Scripts, die außerhalb der Datenbank liegen, erstellt werden.
Dieser Vortrag stellt das Data-Lineage Tool „Manta Flow“ kurz vor und berichtet ausführlich von den Erfahrungen, die die DB Netz im Rahmen einer Evaluierung damit gemacht hat.
Es wird gezeigt, wie durch den Einsatz von Manta Flow das Korrigieren von Fehlern vereinfacht und Folgefehler verhindert werden können. Dies geschieht, indem die Auswirkungen von Anpassungen an Schnittstellen insgesamt aufgezeigt werden.
Robert Marz – CSV mit reinem SQL und der Magie von JSON_TABLE einlesen
Dienstag, 15. November, Raum Oslo, Ebene 2, 14.00 – 14:45 Uhr
Obwohl es CSV-Dateien schon seit den Anfängen der Datenverarbeitung gibt, sind sie zum Austauschen von Daten immer noch sehr beliebt. Während solche Dateien mit reinem SQL sehr einfach erzeugt werden können, erfolgt das Einlesen in der Regel prozedural.
Dabei sieht altmodisches CSV doch beinahe aus wie modernes JSON. Seit Version 12c kann die Oracle Datenbank JSON-Dokumente mit nativen SQL-Operatoren verarbeiten. Mit ein paar einfachen Transformationen, ausgeführt über reguläre Ausdrücke, kann jedes CSV in gültiges JSON verwandelt werden.
Der Vortrag führt kurz in das JSON-Format ein, um dann intensiv die Möglichkeiten und Einschränkungen der SQL-Operatoren json_table und regexp_replace zu behandeln, die CSV auf magische Weise in Zeilen und Spalten verwandeln.
Es werden generische Lösungen gezeigt, die den verschiedensten CSV-Varianten gerecht werden. Natürlich gibt es eine Performance-Betrachtung. Als Bonus wird gezeigt, wie Dateien von der Kommandozeile des Clients mit dem neuen sqlcl ohne Umweg in CLOB-Spalten geladen werden können.
Der Vortrag enthält eine Live-Demo.
Sven Brömer Eine Karte sagt mehr als 1000 Worte
Mittwoch, 16. November, Raum Oslo, Ebene 2, 12.00 – 12:45 Uhr
Es gibt immer wieder Informationen in einem DWH, die sich der klassischen Darstellung als Liste oder Grafik entziehen. Wenn es sich um ortsbezogene Daten handelt, ist die Darstellung in einer Karte häufig die treffsicherste Präsentationsform.
Die Oracle Datenbank bietet hierfür eine Reihe von kostenfreien und kostenpflichtigen Funktionen, die eine Darstellung in Kartenform ermöglichen. In Zusammenspiel mit den ohnehin vorhandenen analytischen Funktionen, wie zum Beispiel der Linearen Regression, lassen sich ansprechende Modelle entwickeln und darstellen.
In dem vorliegenden Vortrag wird ein Beispiel aus einer aktuellen Projektsituation präsentiert, in welcher der Einsatz von Oracle Spatial und Analytical Functions eine ansprechende und informative Lokalisierung von ortsbezogenen Daten erreicht wurde.
Sabine Heimsath Scripting mit SQLcl – Batchscripts auf einem neuen Level
Mittwoch, 16. November, Raum Kopenhagen, Ebene 2, 14.00 – 14:45 Uhr
SQLcl steht bereit, das gute alte SQL*Plus als Command Line Interface für die Datenbank abzulösen und dessen Funktionsumfang auf die Höhe der Zeit zu bringen. Die spannendste Neuerung ist das Scripting: Batch-Scripte können in JavaScript verfasst werden. Aber auch andere Sprachen wie Python oder Perl sind möglich. Dadurch eröffnet sich ein wahres Füllhorn an Möglichkeiten, von denen viele erstmal nicht offensichtlich sind.
Nach einer kurzen Einführung in SQLcl werden dem Publikum anhand von vielen Beispielen aus der realen Welt die neuen Möglichkeiten vor Augen geführt. Natürlich stehen alle gezeigten Beispiele zum Download bereit, sodass zu Hause weiter experimentiert werden kann.
Der Vortrag enthält ausführliche Live-Demos.
Robert Marz Panel: Der DBA in der Cloud
Donnerstag, 17. November, Raum Kiew, Ebene 2, 10.00 – 10:45 Uhr
Die Cloud kommt.
Ändern sich die Aufgaben des DBA im Cloud-Zeitalter?
Brauchen wir neue Qualifikationen?
Werden DBAs überhaupt noch gebraucht?
Oder bleibt alles beim Alten?
Diskutieren Sie mit Vertretern von der DOAG, Amazon, IBM, Microsoft und natürlich Oracle über die Aufgaben und Anforderungen des DBA in der Cloud.
Robert Marz Werkzeuge für DBAs und Cloudnutzer: ssh
Donnerstag, 17. November, Raum Oslo, Ebene 2, 16.00 – 16:45 Uhr
Beinahe alle DBAs und die meisten Entwickler benutzen die »Secure Shell« ssh für ihre tägliche Arbeit. Die meisten Server im eigenen Rechenzentrum und alle Server in der Cloud sind ausschließlich per ssh zu erreichen.
Was längst nicht jeder weiß: Die ssh-suite besteht aus weit mehr als nur dem Befehl »ssh«.
Dieser Vortrag will Ihnen helfen, die Möglichkeiten von ssh zu erkennen und Sie bei Ihrer täglichen Arbeit effektiver zu machen. Er beleuchtet die weniger bekannten Seiten von ssh – sowohl auf der Client – als auch auf der Serverseite:
* Warum ssh?
* Kennwort oder Key-Authentication?
* Was sind Schlüsselpaare und wie funktionieren sie?
* Keys erzeugen und verteilen.
* authorized_keys – Zugriff mit Parametern eingrenzen.
* Die wichtigsten Parameter des ssh-server sshd.
* Die wichtigsten Parameter für den Client.
* Kennwörter für Keys im ssh-agent speichern.
* Filetransfers mit scp und sftp.
* Das Remote-Filesystem sshfs.
* Netzwerk-Tunnel.
* X11 Forwarding.
* Bruteforce-Attacken auf ssh-Kennwörter mit Hilfe der Firewall unterbinden.
* Clients für Windows jenseits von putty.
* Login über Rechner-Ketten mit key-forwarding.
Der Vortrag enthält eine Live-Demonstration.
