Eine hohe Datenqualität ist ein wichtiger Erfolgsgarant bei der Datenmigration, den Unternehmen in der Praxis allerdings häufig nicht in den Griff bekommen. So belegen Statistiken, dass in rund 40 % aller Datenmigrationsprojekte schlechte Datenqualität zu höheren Kosten und zeitlichen Verzögerungen führt. Qualitativ minderwertige Daten kommen auf unterschiedliche Weise zum Ausdruck: Beispielsweise machen es fehlende Werte in bestimmten Feldern unmöglich, einen korrekten Dateninhalt zu generieren. Unterschiedliche Schreibweisen und formale Fehler begünstigen die Entstehung von Dubletten.
Wenn Unternehmen eine Datenbereinigung durchführen, ermöglichen sie eine schlanke und zuverlässige Datenmigration. Dazu gehört auch, nicht mehr benötigte Daten zu identifizieren und sich von diesem unnötigen Ballast zu befreien. Aus Effizienzgründen sollte die Bereinigung der Daten vor der eigentlichen Migration stattfinden. Der Aufwand für eine Datenbereinigung im neuen System – also nach der Migration – erweist sich als unverhältnismäßig höher und ist daher nicht zu empfehlen. Die Grundlage für die Datenbereinigung bildet eine sorgfältige Analyse der vorhandenen Daten und ihrer Qualität. Eine solche Bestandsaufnahme, die wir in einem anderem Blogbeitrag ausführlich erläutern, ermittelt den Handlungsbedarf und liefert die passenden Ansatzpunkte für die anschließende Datenbereinigung.
Das Ziel der Datenbereinigung ist klar: Die Daten sollen korrekt, vollständig, konsistent und in hoher Qualität vorliegen, um sie anschließend in das neue System zu überführen. Wie aber erreichen Unternehmen dieses Ziel? In der Praxis hat sich für die Datenbereinigung eine Vorgehensweise in fünf Schritten etabliert:
Scope Definition
Field Mapping
Value Mapping
Adressbereinigung
Dublettenprüfung
Basierend auf den Ergebnissen einer vorangegangenen Datenanalyse legt die Scope Definition den genauen Umfang der Datenbereinigung und -bearbeitung fest. So lässt sich bestimmen, ob und welche Daten bereinigt werden müssen. Möglicherweise fehlen auch Informationen, sodass die Daten mithilfe von externen Quellen angereichert werden müssen. Nicht mehr benötigte Daten können gelöscht werden.
Außerdem geht es bei der Scope Definition darum, das geeignete Tool und die optimale Vorgehensweise für die Datenbereinigung auszuwählen. Idealerweise erfolgt die Datenbereinigung größtenteils maschinell, was Geschwindigkeits- und Effizienzvorteile mit sich bringt. Allerdings sind in der Regel immer auch manuelle Eingriffe notwendig. Ihr Anteil an der Datenbereinigung variiert je nach Art der zu bereinigenden Daten.
Das Field Mapping verfolgt das Ziel, die Feldzuordnungen zwischen dem Quellsystem und dem Zielsystem zu definieren. Eventuell ist es erforderlich, dabei auch Felder aus Nicht-SAP-Systemen zu berücksichtigen. Ebenso gilt es zu prüfen, ob bestimmte Felder im neuen System nicht mehr benötigt werden bzw. gar nicht mehr vorhanden sind.
Das Value Mapping beschäftigt sich mit der Frage, welche Werte unter Umständen umgeschlüsselt werden müssen, um sie im Zielsystem verwenden zu können. Ein typisches Beispiel ist die Anpassung von einem einstelligen (D) auf einen zweistelligen (DE) Ländercode. Möglicherweise ändern sich im neuen System die Feldlängen, sodass eine Anpassung erforderlich ist. Darüber hinaus ist zu klären, ob es verschiedene Buchungskreise gibt, die im Zielsystem zu einem Buchungskreis konsolidiert werden sollen.
Im laufenden Betrieb eines Systems fühlt sich häufig niemand dafür verantwortlich, die Adressdaten auf dem aktuellen Stand zu halten, sodass sie mit der Zeit veralten. Im Rahmen der Adressbereinigung werden Adressen an die offiziellen Schreibweisen angepasst und fehlerhafte Schreibweisen korrigiert. Zudem steht die Eliminierung von zusätzlich erfassten Informationen, die nicht postrelevant sind, aus den Straßen- und Ortsfeldern im Fokus. Offizielle Straßenumbenennungen werden ebenfalls berücksichtigt und ziehen gegebenenfalls eine Korrektur der Adresse nach sich. Es besteht die Möglichkeit, die Adressdaten mit zusätzlichen Informationen wie Geo-Codes anzureichern.
Die Adressbereinigung und die daraus resultierende standardisierte Darstellung der Adressen erhöht die Wahrscheinlichkeit, Dubletten in den Datensätzen zu ermitteln. Zunächst gilt es zu klären, welche Felder für die Identifizierung von Dubletten herangezogen werden sollen. Infrage kommen beispielsweise mehrfach vorhandene Firma- und Adresskombinationen, mehrfach vorhandene Steuernummern und Bankverbindungen, Telefonnummern, aber auch Materialnummern oder Materialbeschreibungen. Weiterhin müssen Unternehmen festlegen, ab welchem Übereinstimmungsgrad ein Datensatz als Dublette ausgewiesen wird.
Als ausgewiesener Experte für Datenmigrationsprojekte bietet IBsolution die Adressvalidierung und Dublettenbereinigung zum Festpreis an. Für Unternehmen, die vor einer Datenmigration stehen, geht dieses Angebot mit diversen Vorteilen einher: Sie erhalten einen Überblick über die vorhandene Datenqualität und müssen für die Datenbereinigung keine eigenen personellen und zeitlichen Ressourcen aufwenden. Das Festpreisangebot sorgt für Budgetsicherheit. Eingespielte Prozesse und die Erfahrung aus unzähligen Datenqualitätsprojekten garantieren kurze Durchlaufzeiten. Ebenso ist eine Behandlung der Daten in Übereinstimmung mit der europäischen Datenschutzgrundverordnung (DSGVO) sichergestellt.
Die Datenbereinigung ist ein entscheidender Schritt im Rahmen eines Datenmigrationsprojekts. Sie verbessert die Datenqualität und stellt sicher, dass keine Altlasten in das neue System übernommen werden. Wenn Unternehmen die Datenbereinigung vor der eigentlichen Migration durchführen, sorgen sie dafür, dass das Projekt reibungslos, effizient und zuverlässig verläuft. So legen sie nicht nur den Grundstein für eine erfolgreiche Migration, sondern stellen auch die Weichen für langfristige Datenintegrität im neuen System.