Extending the OLAP Technology to Handle Non-Conventional and Complex Data

Abstract

Umfassende Datenanalyse ist in einer Vielzahl von Anwendungen unentbehrlich geworden. Data Warehousing und OLAP entstanden in den 90er Jahren als eine Antwort auf diesen Bedarf im betriebswirtschaftlichen Bereich und bewiesen ihre nahezu universale Einsetzbarkeit zur Entscheidungsunterstützung. Das letzte Jahrzehnt bezeugte die Verbreitung von Data Warehouses über die klassischenbetriebswirtschaftlichen Anwendungen hinaus und die Erschließung neuer Einsatzgebiete, zum Beispiel in der Verwaltung, Wissenschaft und Forschung,Medizin, Webanalyse, Netzwerksicherheit, usw. Obwohl viele Forschungsbereiche des Data Warehousing und OLAP den Status der Reife erreicht haben, entstehen neue Herausforderungen durch die Anwendung der traditionellen Technologie in derartigen unkonventionellen Kontexten. Die genauen Ursachen für unbefriedigende Leistungen sind vielfältig und reichen von der Starrheit des konzeptuellen Datenmodells, des angepassten logischen Schemas und der Implementierungsstrategie bis hin zu verfügbaren Datentransformationstechniken, vorherrschenden Standards der Metadatenmodellierung, der eingeschränkten Menge an unterstützten Operatoren und Problemen der Endbenutzeroberflächen.Ziel dieser Doktorarbeit ist es, die Funktionalität des weit verbreiteten OLAP-Rahmenwerks fundamental zu erweitern, sowie die vom Standard bisher nicht unterstütze Anwendungsszenarien adäquat zu bewerkstelligen. Im Detail erforschen wir die Beschränkungen der State-of-the-Art relationalen OLAP-Systeme, analysieren Anforderungen für umfassende Datenanalysen, führen entsprechende Erweiterungen auf der konzeptionellen, logischen und Metadaten-Ebene ein und demonstrieren wie das erweiterte Modell sowohl in der Backend- als auch in der Frontend-Schicht umgesetzt werden kann. Um die Herausforderungen bei der Modellierung exemplarisch aufzuzeigen, werden dazu praxisnahe Fallstudien aus den Bereichen der akademischen Verwaltung und Medizintechnik verwandt. Zwei komplementäre Ideen bestimmen den Beitrag dieser Arbeit: i) die Erweiterung des multidimensionalen Datenmodells, welches die Grundlage von OLAP repräsentiert, und ii) die Bereicherung der Frontend-Schicht durch innovative Funktionalitäten für visuelle Analyse großer und komplexer Datenbestände.Der Schwerpunkt liegt in der Erweiterung der Backend-Funktionalität von DataWarehousing. Diese wird durch die Überprüfung der Anforderungen neuer Anwendungsdomänen, die Identifizierung von Problembereichen in der konventionellen OLAP Technologie hinsichtlich dieser Anforderungen und die Suche nach angemessenen Lösungen auf der konzeptionellen Ebene erreicht. Da der letztendliche Wert des resultierenden erweiterten konzeptuellen Datenmodells durch seine Implementierbarkeit in einem logischen Schema bestimmt ist, schlagen wir eine Menge von entsprechenden Umsetzungs- und Transformationstechniken zur Überführung des konzeptuellen Schema ins logische vor, um die korrekte Summierbarkeit sicherzustellen. Der Kernbeitrag dieses Teils der Arbeit ist das erweiterte konzeptuelle Modell, welches in Form von formalen Definitionen und einer graphischen Notation x-DFM (Extended Dimensional Fact Model) ausgedrückt wird. x-DFM besteht sowohl aus einer Menge von visuellen Modellierungskonstrukten als auch aus einer Menge von Richtlinien zum Entwurf multidimensionaler Schemata, welche sich im Einklang mit der definierten formalen Semantik befinden. Sowohl das formale als auch das graphische Modell stellen drei Abstraktionsebenen bereit -- die untere, die mittlere, und die obere Ebene -- um einen stufenweisen Entwurf des konzeptuellen Schemas zu unterstützen.Die wesentlichen Merkmale des erweiterten Modells sind die Vereinheitlichung desmultidimensionalen Raumes als Grundlage zur Handhabung semantisch verwandterElemente, Aggregierbarkeits- und der Additivitätsbedingungen von Kennzahlen,viele-zu-viele Beziehungen zwischen Fakten und Dimensionen und zwischen den Hierarchiestufen einer Dimension, Faktschemata ohne Kennzahlen, Heterogenität von Fakten und Dimensionshierarchien, degenerierte Fakten und Dimensionen, optional und partiell verwandte "Roll-up"-Beziehungen und verschiedene Arten von Irregularitäten in Dimensionshierarchien sowohl auf der Schema- als auch auf der Instanzebene. Außerdem unterstützt das Modell objektorientierte Eigenschaften wie Generalisierung und Spezialisierung in Fakten und Dimensionen, multiple Rollen eines Elements, Assoziationen und Selbst-Assoziationen von Faktschemata, sowie die Modellierung von abstrakten, abgeleiteten und abhängigen Elementen.Die Umsetzbarkeit des vorgeschlagenen konzeptuellen Modells wird durch die Darstellung dessen demonstriert, wie es auf eine relationale Repräsentationmithilfe von generellen Richtlinien des logischen Design abgebildet werden kann. Dabei wird die gängige Summierbarkeitsbedingung zur Bestimmung der notwendigen Schema- und/oder Instanztransformationen verwendet. Des Weiterenbetrachten wir das Problem der Metadatenmodellierung. Metadaten spielen inDatawarehouse-Systemen eine prominente Rolle, da sie als Vermittler zwischenverschiedenen Schichten und Komponenten der Systemarchitektur fungieren. Insbesondere beschäftigen wir uns mit den Metadaten der Anwendungsschicht, da diese für die Erfassung der multidimensionalen Semantik hinter den "flachen" Datenbanktabellen verantwortlich ist.Der andere Teil unserer Forschung konzentriert sich auf Funktionalitäten derEndbenutzerschicht. Auf OLAP-Daten wird typischerweise ausschliesslich durch visuelle Analysewerkzeuge zugegriffen, wobei die Benutzer bequem zu den relevanten Datenmengen navigieren und diese mittels verschiedenartiger visueller Layouts und Interaktionstechniken erforschen können. Daher hängt diegesamte Leistungsfähigkeit der Analyse letztendlich von den Funktionalitäten der angebotenen Frontend-Werkzeugen ab. Da wir uns den Defiziten von gängigen Business-Visualisierungstechniken und Ansätzen zur Datennavigation bewusst sind, schlagen wir ein umfassendes visuelles Explorationsrahmenwerk vor, welches die konzeptuellen Erweiterungen in Form von angereicherten Metadaten und einer mächtigen Datenschnittstelle zu interaktiven Spezifikation von Ad-hoc-Anfragen in die Frontend-Schicht propagiert. Abschließend stellen wir eine Klasse von multidimensionalen Visualisierungstechniken namens Enhanced Decomposition Trees zur fortgeschrittenen visuellen Datenanalyse vor, welche eine Serie von Zerlegungsschritten (d.h., Drill-down) auf eine Hierarchie von erhaltenen Teilaggregaten abbildet.Nach bestem Wissen und Gewissen ist das vorgestellte Modellierungsframework allen zuvor oder während der Durchführung dieser Forschung vorgeschlagenen Ansätzen zur multidimensionalen Modellierung überlegen. Seine Hauptvorteile bestehen in der Kohärenz der Formalisierung, der begleitenden graphischen Notation, der relationalen und Metadaten-Abbildungstechniken und der Frontend-Implementierung. Dennoch erheben wir nicht den Anspruch, die endgültige Lösung für die Unterstützung aller Arten von komplexen Daten und Anwendungen durch die OLAP-Technologie gefunden zu haben und stellen fest, dass ein derartiges Ziel innerhalb einer einzigen Promotion nicht erreichbar ist.