Case Study

Ganzheitliche Datenversorgung bei Conrad

Konsistente und sichere Datenversorgung im Multichannel-E-Commerce - Conrads cloudbasierte ETL-Prozesse

Kooperation

Time & Material

Branche

Handel

Teams

ETL Entwickler

Lösung

Datenmanagement im eCommerce
Multichannel Integration

Technologie

  • Google BigQuery
  • Google Cloud Pub/Sub
  • Google Compute Engine
  • Google Data Studio
  • Talend

Herausforderung

Conrad Electronic vertreibt vorwiegend Artikel aus dem Bereich Elektronik und Technik. Über seine digitale Beschaffungsplattform versucht das Unternehmen den gesamten technischen Betriebsbedarf seiner Geschäftskunden abzudecken. Mit mehr als 6 Millionen Produktangeboten von über 4.500 Herstellern, von einzelnen Ersatzteilen bis hin zu hohen Stückzahlen.

Die Verarbeitung der Conrad eigenen rund 700.000 Artikel in Full Batches dauerte damals bereits bis zu 24 Stunden. Für wichtige Marketingaktionen und der Anforderung, sofort auf juristische Themen im Shop reagieren zu können, war diese Zeitspanne bereits viel zu lang. 

Das zusätzliche Ziel, einen neuen Marktplatz mit über 7 Millionen Artikeln auf der Plattform zu releasen, würde noch dazu eine Verzehnfachung der bereits bestehenden Datenverarbeitungsprozesse mit sich ziehen. 

Aus damaliger Sicht fehlten Conrad für eine Verarbeitung der enormen Datenlast (über 500 Gigabyte) die entsprechenden Produktdaten-Prozesse, um neue Produkte und Updates von Produktinformationen im PIM oder ERP schnellstmöglich, sicher und standardisiert in allen Kanälen veröffentlichen zu können. 

Lösung durch Avantgarde Labs

Bei Conrad war für die Datenintegration auf der Commerce Plattform die Enterprise Lösung von Talend im Einsatz. Die fachliche Komplexität war jedoch in mehr als 100 ETL-Job-Logiken abgebildet. Die Sicherstellung der Kontinuität in der Datenversorgung erforderte vom Data-Services-Team von Conrad eine 24/7 Bereitschaft und intensive Wartungsarbeiten.

Nach ausführlicher Analyse der Ist-Situation entschied sich das Data-Service-Team von Conrad zusammen mit dem ETL-Entwickler-Team von Avantgarde Labs für 4 nachhaltige Anpassungen in Conrad’s Produktdaten-Logistik:

Trotz einer Verzehnfachung der Datenmenge konnte die Zeit zur Prozessierung der Produktdaten um 85% reduziert werden. Die Lösung basierte auf einer Delta-Prozessierungslogik in Talend und der horizontalen Skalierung innerhalb der Google Cloud Plattform. Durch ein dediziertes Monitoring der Prozesse konnte nun priorisiert auf Fehler reagiert werden, um eine stabile Datenversorgung für Shop, Marktplatz und externe Kanäle sicherzustellen.

Lösung durch Avantgarde Labs

Der erste Schritt war das Einlesen der Quelldateien von den Lieferanten. Aufgrund der unterschiedlichen Datenformate der Hersteller mussten Schnittstellen zu Formaten wie XML, XSLX, C-Code und weiteren implementiert werden.

Für die Überführung der Herstellerdaten auf ODX wurden gemeinsam mit den Fahrzeugprüfern der FSD komplexe Entscheidungsbäume für die Mapping-Regeln erstellt.

Die Qualitätssicherung der Mappings erfolgte mit durchgängigen End-To-End Tests. Dies war nötig, um die tadellose Funktionstüchtigkeit der Prüfgeräte sicherzustellen. So wurden die HU-Adapter mit den ODX-Dateien versorgt und unter Realbedingungen in Labors der FSD getestet. Dadurch konnten etwaige Fehler in den Mapping-Schemata frühzeitig erkannt und behoben werden, was die Qualität der Ergebnisse deutlich beeinflusst. 

Projektergebnis & Kundennutzen

Die Delta-Prozessierung in Verbindung mit der horizontalen Skalierung in der Google Cloud ermöglicht eine sichere und vollautomatisierte Bereitstellung von mehr als 7 Millionen Produktdaten für Shop, Marktplatz und externe Anwender, bei einer Aktualisierungsrate neuer Artikel von nur bis zu einer Stunde.

Hardware Ressourcen werden nur bei Bedarf in Anspruch genommen. Die durchschnittliche Last der Google Compute Engines beträgt mind. 50 Prozent und führt damit zu einer hohen Kosteneffizienz der eingesetzten Hardware. 

Durch die temporäre Skalierung wurden stabile Betriebszeiten in der Datenversorgung erreicht. Sollten dennoch Überlastungen auftreten, können diese frühzeitig durch das erweiterte Monitoring erkannt werden. Je nach Priorität schreitet das Data-Services-Team ein und sichert damit den laufenden Betrieb. 

Durch die Bereitstellung vieler bedarfsgerechter Sichten auf die Produktdaten reduziert das Data-Services-Team als Resultat die aufwendige Datenverarbeitung anderer Konsumenten. Die Nachnutzung spart unternehmensweit Ressourcen und gewährleistet die Datenkonsistenz über die vertikalen Team-Grenzen.

»Avantgarde Labs hat uns sehr dabei geholfen, unsere Datenprozesse schneller, skalierbarer und stabiler zu machen, um den Herausforderungen des schnell wachsenden Datenvolumens und dem erhöhten Bedarf an aktuellen Daten gerecht zu werden. Sie haben uns bei der Planung, Implementierung und auch im Betrieb unterstützt. Dadurch ist Conrad in der Lage, den Kunden unserer Plattform weiterhin die besten Dienstleistungen anzubieten.«
• Ganzheitliche Datenversorgung bei Conrad
Markus Wiesinger
Senior Expert DataService Engineer
Conrad Electronic SE

Weitere Case Studies

Scroll to Top