Datenaufbereitung & Automatisierung
Große Datenmengen sinnvoll und effizient bearbeiten
Wenn Artikeldaten aus Amicron Faktura für WordPress, WooCommerce oder andere Systeme vorbereitet werden sollen, stellt sich schnell die Frage, wie große Datenbestände effizient bearbeitet werden können.
Bei wenigen Artikeln lassen sich viele Aufgaben noch manuell erledigen.
Bei mehreren tausend Artikeln ist diese Vorgehensweise jedoch oft zu langsam, zu teuer und fehleranfällig.
Genau hier kann Automatisierung einen entscheidenden Unterschied machen.
Viele wiederkehrende Arbeiten lassen sich mit individuellen Scripts oder Datenbankabfragen automatisiert durchführen.
Manuelle Datenpflege stößt schnell an ihre Grenzen
Ein einzelner Datensatz ist schnell geändert.
Wenn dieselbe Änderung jedoch bei 2.000, 5.000 oder 20.000 Artikeln durchgeführt werden muss, entsteht sehr schnell ein erheblicher Zeitaufwand.
Typische Aufgaben sind beispielsweise:
- Artikel einer neuen Artikelgruppe zuordnen
- Felder ergänzen oder korrigieren
- Artikelnummern prüfen
- Beschreibungen vereinheitlichen
- Variantenbeziehungen herstellen
- fehlende Werte erkennen
- Datensätze nach bestimmten Regeln markieren
Solche Arbeiten einzeln per Hand durchzuführen ist bei großen Datenmengen oft nicht sinnvoll.
Klare Regeln lassen sich automatisieren
Immer dann, wenn sich eine Aufgabe durch eine eindeutige Regel beschreiben lässt, sollte geprüft werden, ob sie automatisiert werden kann.
Ein einfaches Beispiel:
Alle Artikelnummern, die mit „1“ beginnen, sollen der Artikelgruppe 1 zugeordnet werden.
Alle Artikelnummern, die mit „2“ beginnen, sollen der Artikelgruppe 2 zugeordnet werden.
Manuell müsste jeder Artikel geöffnet, geprüft und geändert werden.
Mit einem entsprechenden Script kann dieselbe Regel automatisiert auf tausende Artikel angewendet werden.
Was manuell mehrere Tage dauern kann, lässt sich dadurch unter Umständen in sehr kurzer Zeit erledigen.
Automatisierung spart nicht nur Zeit
Der Vorteil automatisierter Verarbeitung liegt nicht nur in der Geschwindigkeit.
Auch die Einheitlichkeit der Daten verbessert sich.
Ein Script wendet dieselbe Regel auf jeden Datensatz gleich an.
Bei manueller Bearbeitung können dagegen Tippfehler, unterschiedliche Schreibweisen oder vergessene Datensätze entstehen.
Gerade bei großen Datenbeständen ist daher die Kombination aus klaren Regeln und automatisierter Verarbeitung besonders wertvoll.
Zuerst analysieren, dann automatisieren
Automatisierung bedeutet nicht, Daten ohne Prüfung massenhaft zu verändern.
Vor jeder automatisierten Bearbeitung sollte zuerst analysiert werden, wie der vorhandene Datenbestand aufgebaut ist.
Dabei geht es beispielsweise um folgende Fragen:
- Welche Felder sind vorhanden?
- Welche Werte werden tatsächlich verwendet?
- Gibt es unterschiedliche Schreibweisen?
- Wie viele Datensätze sind betroffen?
- Gibt es Ausnahmen?
- Kann die gewünschte Änderung eindeutig beschrieben werden?
Erst wenn die Regeln eindeutig feststehen, sollte die eigentliche Änderung durchgeführt werden.
Datenqualität automatisch prüfen
Automatisierung kann nicht nur Daten verändern, sondern auch Daten kontrollieren.
Gerade vor einer Übertragung zu WordPress oder WooCommerce ist es sinnvoll, den Artikelbestand automatisch auf typische Fehler zu prüfen.
Ein Prüfprogramm kann beispielsweise erkennen:
- Artikel ohne Artikelgruppe
- Artikel ohne Preis
- fehlende Artikelnummern
- doppelte Artikelnummern
- fehlende Beschreibungen
- Varianten ohne Hauptartikel
- Artikel ohne Bild
- nicht zuordenbare Dokumente
- ungültige oder leere Pflichtfelder
Statt jeden Datensatz einzeln zu kontrollieren, erhält man dadurch gezielt eine Liste der Artikel, bei denen tatsächlich Handlungsbedarf besteht.
Bestehende Datenbestände bereinigen
Viele Artikelstämme sind über Jahre gewachsen.
Dadurch entstehen häufig unterschiedliche Schreibweisen, alte Strukturen und Daten, die ursprünglich für ganz andere Zwecke angelegt wurden.
Vor der Verwendung im Internet kann daher eine Bereinigung notwendig sein.
Automatisiert bearbeitet werden können beispielsweise:
- unterschiedliche Schreibweisen
- unnötige Leerzeichen
- alte Kennzeichnungen
- fehlerhafte Feldinhalte
- uneinheitliche Artikelgruppen
- fehlende Zuordnungen
- veraltete Statuswerte
Wie weit sich solche Bereinigungen automatisieren lassen, hängt davon ab, wie eindeutig die vorhandenen Daten aufgebaut sind.
Artikelgruppen automatisch zuordnen
Die Zuordnung von Artikeln zu Artikelgruppen ist ein typisches Beispiel für eine Aufgabe, die bei großen Datenbeständen sehr aufwendig werden kann.
Wenn eindeutige Regeln vorhanden sind, kann diese Zuordnung häufig automatisiert werden.
Als Grundlage können beispielsweise dienen:
- Artikelnummern
- Hersteller
- Warengruppen
- bestehende Kennzeichen
- Texte in Bezeichnungen
- andere vorhandene Datenfelder
Dadurch muss nicht jeder Artikel einzeln geöffnet und manuell zugeordnet werden.
Variantenbeziehungen prüfen und aufbereiten
Auch Artikelvarianten lassen sich teilweise automatisiert analysieren und vorbereiten.
Wenn Hauptartikel und Unterartikel beispielsweise über bestimmte Nummernbereiche oder andere Merkmale zusammengehören, können solche Beziehungen erkannt und geprüft werden.
Ein Script kann beispielsweise feststellen:
- welche Varianten keinem Hauptartikel zugeordnet sind
- welche Hauptartikel keine Varianten besitzen
- ob Zuordnungen doppelt vorhanden sind
- ob Varianten unvollständige Daten besitzen
Damit können große Variantenstrukturen wesentlich effizienter kontrolliert werden.
Bilder automatisiert bearbeiten
Ein besonders großer Nutzen der Automatisierung entsteht häufig bei Artikelbildern.
Bei 2.000 Artikeln mit jeweils drei Bildern müssen bereits 6.000 Dateien verarbeitet werden.
Solche Mengen manuell zu bearbeiten ist in vielen Fällen nicht wirtschaftlich.
Automatisiert können beispielsweise folgende Arbeiten durchgeführt werden:
- Bilder umbenennen
- Bilder verkleinern
- Bildformate konvertieren
- Vorschaubilder erzeugen
- Logos oder Wasserzeichen einfügen
- Bilder anhand der Artikelnummer zuordnen
- fehlende Bilder erkennen
- nicht zuordenbare Bilder auflisten
Gerade bei Bildern können automatisierte Prozesse hunderte Stunden manueller Arbeit vermeiden.
Dokumente automatisiert zuordnen
Dasselbe Prinzip gilt für Datenblätter, Bedienungsanleitungen und andere PDF-Dateien.
Wenn die Dateien nach einem klaren Namensschema aufgebaut sind, können sie automatisch den entsprechenden Artikeln zugeordnet werden.
Auch hier kann geprüft werden, ob wichtige Dokumente fehlen oder ob Dateien vorhanden sind, die keinem Artikel zugeordnet werden können.
Eine klare Dateistruktur ist dafür die wichtigste Voraussetzung.
Große Änderungen zuerst testen
Automatisierte Änderungen können sehr leistungsfähig sein.
Gerade deshalb sollten sie niemals unkontrolliert auf den gesamten Datenbestand angewendet werden.
Ein sinnvoller Ablauf ist beispielsweise:
- bestehende Daten analysieren
- Regeln definieren
- Änderungen an einer kleinen Testmenge durchführen
- Ergebnis kontrollieren
- Sicherung der Daten erstellen
- Änderung auf den gesamten Bestand anwenden
- Ergebnis erneut prüfen
Damit lässt sich das Risiko unbeabsichtigter Änderungen deutlich reduzieren.
Amicron und die Firebird-Datenbank
Amicron arbeitet mit einer Firebird-Datenbank.
Für umfangreiche Auswertungen und Datenaufbereitungen kann ein direkter technischer Zugriff auf diese Datenbank sehr hilfreich sein.
Dadurch können Daten gezielt ausgelesen, analysiert und nach definierten Regeln bearbeitet werden.
Gerade bei mehreren tausend Artikeln bietet dieser Ansatz Möglichkeiten, die mit rein manueller Bearbeitung kaum wirtschaftlich umzusetzen wären.
Warum Linux bei solchen Aufgaben Vorteile bieten kann
Für bestimmte Projekte kann es sinnvoll sein, eine Firebird-Datenbank beziehungsweise eine Arbeitskopie der benötigten Daten in einer Linux-Umgebung zur Verfügung zu haben.
Linux bietet sehr gute Möglichkeiten, Datenbankzugriffe, Dateiverarbeitung und individuelle Scripts miteinander zu kombinieren.
Dadurch lassen sich auch umfangreiche Arbeitsabläufe automatisieren.
Ein Script kann beispielsweise Daten aus der Firebird-Datenbank lesen, nach bestimmten Regeln verändern, Bilder bearbeiten und anschließend Ergebnisse für die weitere Verarbeitung bereitstellen.
Gerade bei wiederkehrenden Aufgaben entsteht dadurch ein großer Vorteil gegenüber rein manuellen Abläufen.
Python für individuelle Datenverarbeitung
Für solche Aufgaben kann beispielsweise die Programmiersprache Python verwendet werden.
Damit lassen sich individuelle Werkzeuge entwickeln, die exakt auf den vorhandenen Datenbestand und die benötigten Abläufe zugeschnitten sind.
Typische Einsatzmöglichkeiten sind:
- Daten aus Firebird auslesen
- Artikel nach bestimmten Regeln analysieren
- Felder automatisiert ergänzen
- Artikelgruppen zuordnen
- Dateien und Bilder verarbeiten
- Daten auf Vollständigkeit prüfen
- Protokolle und Fehlerlisten erstellen
- Daten für WordPress oder andere Systeme vorbereiten
Dadurch können genau jene Arbeitsschritte automatisiert werden, die bei einem konkreten Projekt tatsächlich notwendig sind.
Automatisierung muss zum Unternehmen passen
Nicht jeder Prozess muss vollständig automatisiert werden.
In manchen Bereichen ist eine manuelle Kontrolle sinnvoll oder sogar notwendig.
Das Ziel sollte deshalb nicht lauten, jeden einzelnen Arbeitsschritt zu automatisieren.
Vielmehr sollte geprüft werden, wo Automatisierung tatsächlich einen Vorteil bringt.
Wiederkehrende, klar definierbare und zeitaufwendige Tätigkeiten sind besonders gute Kandidaten für eine Automatisierung.
Automatisierung für den laufenden Betrieb
Viele Scripts werden nicht nur einmal bei der Datenbereinigung benötigt.
Sie können später Teil des laufenden Prozesses werden.
Beispielsweise kann ein automatischer Ablauf regelmäßig prüfen:
- welche Artikel neu angelegt wurden
- welche Datensätze geändert wurden
- ob Pflichtfelder fehlen
- ob neue Bilder vorhanden sind
- ob Dokumente fehlen
- ob Daten für die Übertragung bereit sind
Damit wird aus einer einmaligen Datenbereinigung ein dauerhaft nutzbarer Prozess.
Protokollierung ist ein wichtiger Bestandteil
Automatisierte Abläufe sollten nachvollziehbar bleiben.
Deshalb ist es sinnvoll, Ergebnisse und Fehler zu protokollieren.
Ein Protokoll kann beispielsweise enthalten:
- Anzahl der geprüften Artikel
- Anzahl der geänderten Datensätze
- erkannte Fehler
- nicht verarbeitete Datensätze
- fehlende Bilder oder Dokumente
- Zeitpunkt der Verarbeitung
Dadurch kann jederzeit nachvollzogen werden, was ein automatischer Prozess tatsächlich durchgeführt hat.
Automatisierung ersetzt keine saubere Datenstruktur
Auch die beste Programmierung kann eine ungeklärte Datenstruktur nicht vollständig ausgleichen.
Wenn beispielsweise nicht definiert ist, welche Artikel zusammengehören oder welche Produktgruppe verwendet werden soll, kann ein Script diese fachliche Entscheidung nicht zuverlässig treffen.
Deshalb gilt auch bei der Automatisierung:
Zuerst müssen die Regeln klar sein. Danach kann die Technik diese Regeln effizient umsetzen.
Erst die Daten aufbereiten, dann exportieren
Bevor Daten an WordPress, WooCommerce oder ein anderes Websystem übertragen werden, sollten sie möglichst vollständig geprüft und aufbereitet sein.
Dadurch wird vermieden, dass Fehler erst nach der Übertragung sichtbar werden und anschließend an mehreren Stellen korrigiert werden müssen.
Eine gute Datenaufbereitung vereinfacht daher nicht nur den ersten Export, sondern auch die spätere Synchronisation und Wartung.
Wir unterstützen Sie bei Datenaufbereitung und Automatisierung
Wir unterstützen Sie dabei, große Amicron-Datenbestände zu analysieren, zu bereinigen und wiederkehrende Arbeitsschritte sinnvoll zu automatisieren.
Dazu können beispielsweise gehören:
- Analyse bestehender Datenbestände
- Entwicklung von Regeln zur Datenbereinigung
- automatische Zuordnung von Artikelgruppen
- Prüfung und Aufbereitung von Varianten
- automatische Datenkontrolle
- Bild- und Dateiverarbeitung
- Entwicklung individueller Scripts
- Auswertung von Firebird-Daten
- Erstellung von Fehler- und Prüfprotokollen
- Vorbereitung der Daten für WordPress und WooCommerce
- Automatisierung wiederkehrender Abläufe
Gerade bei mehreren tausend Artikeln kann die richtige Automatisierung einen erheblichen Unterschied machen.
Arbeiten, die manuell mehrere Tage benötigen würden, lassen sich mit einer gut definierten automatisierten Lösung oft auf einen Bruchteil des Aufwands reduzieren.
Sprechen wir über Ihre Daten
Sie haben einen umfangreichen Artikelbestand in Amicron und möchten diesen für WordPress, WooCommerce oder eine andere Anwendung aufbereiten?
Dann sehen wir uns gemeinsam mit Ihnen an, welche Arbeiten notwendig sind, welche Regeln sich aus Ihren bestehenden Daten ableiten lassen und welche Aufgaben sinnvoll automatisiert werden können.
Rufen Sie uns an – wir führen gerne ein unverbindliches Gespräch mit Ihnen.