Herausforderung
Conrad Electronic vertreibt vorwiegend Artikel aus dem Bereich Elektronik und Technik. Über seine digitale Beschaffungsplattform versucht das Unternehmen den gesamten technischen Betriebsbedarf seiner Geschäftskunden abzudecken. Mit mehr als 6 Millionen Produktangeboten von über 4.500 Herstellern, von einzelnen Ersatzteilen bis hin zu hohen Stückzahlen.
Die Verarbeitung der Conrad eigenen rund 700.000 Artikel in Full Batches dauerte damals bereits bis zu 24 Stunden. Für wichtige Marketingaktionen und der Anforderung, sofort auf juristische Themen im Shop reagieren zu können, war diese Zeitspanne bereits viel zu lang.
Das zusätzliche Ziel, einen neuen Marktplatz mit über 7 Millionen Artikeln auf der Plattform zu releasen, würde noch dazu eine Verzehnfachung der bereits bestehenden Datenverarbeitungsprozesse mit sich ziehen.
Aus damaliger Sicht fehlten Conrad für eine Verarbeitung der enormen Datenlast (über 500 Gigabyte) die entsprechenden Produktdaten-Prozesse, um neue Produkte und Updates von Produktinformationen im PIM oder ERP schnellstmöglich, sicher und standardisiert in allen Kanälen veröffentlichen zu können.
Lösung durch Avantgarde Labs
Bei Conrad war für die Datenintegration auf der Commerce Plattform die Enterprise Lösung von Talend im Einsatz. Die fachliche Komplexität war jedoch in mehr als 100 ETL-Job-Logiken abgebildet. Die Sicherstellung der Kontinuität in der Datenversorgung erforderte vom Data-Services-Team von Conrad eine 24/7 Bereitschaft und intensive Wartungsarbeiten.
Nach ausführlicher Analyse der Ist-Situation entschied sich das Data-Service-Team von Conrad zusammen mit dem ETL-Entwickler-Team von Avantgarde Labs für 4 nachhaltige Anpassungen in Conrad’s Produktdaten-Logistik:
- Überführung der bisherigen Batch-Prozesse in eine Delta-Verarbeitungslogik
- Einführung einer horizontalen Skalierungs-Strategie in der Cloud
- Aufbau einer internen Datendrehscheibe
- Ausbau des Monitorings und Einführung automatischer Wartungsservices
Trotz einer Verzehnfachung der Datenmenge konnte die Zeit zur Prozessierung der Produktdaten um 85% reduziert werden. Die Lösung basierte auf einer Delta-Prozessierungslogik in Talend und der horizontalen Skalierung innerhalb der Google Cloud Plattform. Durch ein dediziertes Monitoring der Prozesse konnte nun priorisiert auf Fehler reagiert werden, um eine stabile Datenversorgung für Shop, Marktplatz und externe Kanäle sicherzustellen.
Projektergebnis & Kundennutzen
Die Delta-Prozessierung in Verbindung mit der horizontalen Skalierung in der Google Cloud ermöglicht eine sichere und vollautomatisierte Bereitstellung von mehr als 7 Millionen Produktdaten für Shop, Marktplatz und externe Anwender, bei einer Aktualisierungsrate neuer Artikel von nur bis zu einer Stunde.
Hardware Ressourcen werden nur bei Bedarf in Anspruch genommen. Die durchschnittliche Last der Google Compute Engines beträgt mind. 50 Prozent und führt damit zu einer hohen Kosteneffizienz der eingesetzten Hardware.
Durch die temporäre Skalierung wurden stabile Betriebszeiten in der Datenversorgung erreicht. Sollten dennoch Überlastungen auftreten, können diese frühzeitig durch das erweiterte Monitoring erkannt werden. Je nach Priorität schreitet das Data-Services-Team ein und sichert damit den laufenden Betrieb.
Durch die Bereitstellung vieler bedarfsgerechter Sichten auf die Produktdaten reduziert das Data-Services-Team als Resultat die aufwendige Datenverarbeitung anderer Konsumenten. Die Nachnutzung spart unternehmensweit Ressourcen und gewährleistet die Datenkonsistenz über die vertikalen Team-Grenzen.
Conrad Electronic SE
