_Produktdaten: von 24h Verarbeitung zu 1 Stunde Aktualisierung

Branche: E-Commerce

Lösung: Prozessoptimierung

Ausgangssituation

Conrad verarbeitete rund 700.000 Artikel in Full Batches – ein Durchlauf dauerte bis zu 24 Stunden, zu lang für schnelle Marketingaktionen oder juristische Korrekturen im Shop.

Mit dem geplanten Marktplatz-Launch würde sich die Datenmenge auf über 7 Millionen Artikel verzehnfachen.

Die bestehenden ETL-Prozesse waren für diese Last weder ausgelegt noch ausreichend überwacht.

Lösung

Avantgarde Labs analysierte gemeinsam mit Conrads Data Services Team die Ist-Situation und entwickelte vier gezielte Anpassungen in der Produktdaten-Logistik.

Batch-Prozesse wurden auf Delta-Verarbeitung umgestellt, eine horizontale Skalierungsstrategie in der Google Cloud eingeführt und eine interne Datendrehscheibe aufgebaut.

Ergänzt durch dediziertes Monitoring und automatische Wartungsservices wurde die Datenversorgung stabil, priorisiert steuerbar und deutlich wartungsärmer.

Ergebnis

Trotz Verzehnfachung der Datenmenge sank die Verarbeitungszeit um 85% – neue Artikel sind innerhalb einer Stunde in allen Kanälen verfügbar.

Hardware wird nur bei Bedarf genutzt, die durchschnittliche Auslastung liegt bei mindestens 50% – das senkt die Kosten erheblich.

Einheitliche Datensichten reduzieren den Verarbeitungsaufwand für alle internen Konsumenten und sichern die Datenkonsistenz über Teamgrenzen hinweg.

_Über Conrad Electronics

Conrad ist einer der führenden deutschen Online-Händler im Elektronikbereich und bedient sowohl B2B- als auch B2C-Kunden.

Mit mehr als 6 Millionen Produktangeboten von über 4.500 Herstellern betreibt das Unternehmen eine der größten digitalen Beschaffungsplattformen für technischen Betriebsbedarf in Deutschland.

_Datenmenge verzehnfacht – Prozesse am Limit

Die Verarbeitung der Conrad eigenen rund 700.000 Artikel in Full Batches dauerte damals bereits bis zu 24 Stunden.

Für wichtige Marketingaktionen und der Anforderung, sofort auf juristische Themen im Shop reagieren zu können, war diese Zeitspanne bereits viel zu lang.

Das zusätzliche Ziel, einen neuen Marktplatz mit über 7 Millionen Artikeln auf der Plattform zu releasen, würde noch dazu eine Verzehnfachung der bereits bestehenden Datenverarbeitungsprozesse mit sich ziehen.

Conrad fehlten für eine Verarbeitung der enormen Datenlast (über 500 Gigabyte) die entsprechenden Produktdaten-Prozesse, um neue Produkte und Updates von Produktinformationen im PIM oder ERP schnellstmöglich, sicher und standardisiert in allen Kanälen veröffentlichen zu können.

_Delta statt Batch: schneller, stabiler, skalierbarer

Der Kern der Lösung war die Umstellung von Full-Batch- auf Delta-Prozessierung: Statt alle Daten komplett neu zu verarbeiten, werden nur geänderte oder neue Datensätze durchlaufen.

Ergänzt durch horizontale Skalierung in der Google Cloud können Lastspitzen flexibel abgefangen werden, ohne dauerhaft teure Ressourcen vorzuhalten.

Eine interne Datendrehscheibe bündelt bedarfsgerechte Sichten auf die Produktdaten und entlastet alle nachgelagerten Teams von aufwendiger Eigenverarbeitung.

Nach ausführlicher Analyse der Ist-Situation entschied sich das Data-Service-Team von Conrad zusammen mit dem ETL-Entwickler-Team von Avantgarde Labs für 4 nachhaltige Anpassungen in Conrad’s Produktdaten-Logistik:

Überführung der bisherigen Batch-Prozesse in eine Delta-Verarbeitungslogik
Einführung einer horizontalen Skalierungs-Strategie in der Cloud

Aufbau einer internen Datendrehscheibe
Ausbau des Monitorings und Einführung automatischer Wartungsservices

Die ETL-Prozesse wurden mit der Talend Enterprise-Lösung umgesetzt, die bereits bei Conrad im Einsatz war.

Die Skalierung und der Betrieb erfolgen auf der Google Cloud Platform mit Google Compute Engine und Google Cloud Pub/Sub.

Für Analysen und Reporting wurde Google BigQuery eingesetzt, ergänzt durch Google Data Studio.

_85% schneller – bei zehnfacher Datenmenge

Die Delta-Prozessierung in Verbindung mit der horizontalen Skalierung in der Google Cloud ermöglicht eine sichere und vollautomatisierte Bereitstellung von mehr als 7 Millionen Produktdaten für Shop, Marktplatz und externe Anwender, bei einer Aktualisierungsrate neuer Artikel von nur bis zu einer Stunde.

Hardware Ressourcen werden nur bei Bedarf in Anspruch genommen. Die durchschnittliche Last der Google Compute Engines beträgt mind. 50 Prozent und führt damit zu einer hohen Kosteneffizienz der eingesetzten Hardware.

Durch die temporäre Skalierung wurden stabile Betriebszeiten in der Datenversorgung erreicht. Sollten dennoch Überlastungen auftreten, können diese frühzeitig durch das erweiterte Monitoring erkannt werden. Je nach Priorität schreitet das Data-Services-Team ein und sichert damit den laufenden Betrieb.

Durch die Bereitstellung vieler bedarfsgerechter Sichten auf die Produktdaten reduziert das Data-Services-Team als Resultat die aufwendige Datenverarbeitung anderer Konsumenten. Die Nachnutzung spart unternehmensweit Ressourcen und gewährleistet die Datenkonsistenz über die vertikalen Team-Grenzen.

Avantgarde Labs hat uns sehr dabei geholfen, unsere Datenprozesse schneller, skalierbarer und stabiler zu machen, um den Herausforderungen des schnell wachsenden Datenvolumens und dem erhöhten Bedarf an aktuellen Daten gerecht zu werden.

Sie haben uns bei der Planung, Implementierung und auch im Betrieb unterstützt.

Dadurch ist Conrad in der Lage, den Kunden unserer Plattform weiterhin die besten Dienstleistungen anzubieten.

Markus Wiesinger, Senior Expert DataService Engineer, Conrad Electronic SE