_Produktdaten: von 900.000 auf 50 Millionen in nahezu Echtzeit
Branche: Handel & E-Commerce
Lösung: Daten-Onboarding, Automatisierung, Software-Entwicklung
Ausgangssituation
Conrad wollte sein Sortiment im Zuge einer Marktplatz-Strategie von 900.000 auf 50 Millionen Produktdatensätze erweitern – das bestehende PIM-System war damit überfordert.
Zusätzlich mussten Produktdaten aus zwei grundlegend unterschiedlichen Quellsystemen in eine einheitliche Struktur gebracht werden.
Besonders die stark schwankende Datenqualität zwischen eigenen Conrad-Produkten und Händlerdaten machte eine individuelle Lösung notwendig.
Lösung
Avantgarde Labs entwickelte eine cloudbasierte Datenintegrationslösung, die beide Quellsysteme konsolidiert und Produktdaten in nahezu Echtzeit für Webshop und weitere Zielsysteme bereitstellt.
Ein intelligentes Change-Data-Capture-System sorgt dafür, dass nur geänderte oder neue Daten verarbeitet werden – das beschleunigt den Importprozess erheblich.
Ein zusätzliches Deduplizierungsmodul reduzierte den Produktkatalog von 18 auf 13 Millionen eindeutige Produkte.
Ergebnis
Kunden erhalten stets aktuelle und korrekte Produktinformationen – für ein besseres Einkaufserlebnis und weniger rechtliche Risiken.
Händler auf dem Marktplatz sehen ihre Datenänderungen innerhalb von maximal 2 Stunden im Webshop.
Automatische Reports geben Händlern Einblick in ihre eigene Datenqualität und helfen, Lücken gezielt zu schließen.
_Über Conrad Electronics
Conrad ist einer der führenden deutschen Online-Händler im Elektronikbereich und bedient sowohl B2B- als auch B2C-Kunden.
Seit 2017 vollzieht das Unternehmen die Transformation von einem reinen Shopsystem zu einem Marktplatz-orientierten Geschäftsmodell.
_Millionen Produkte, zwei Quellen, ein Webshop
Um mit dem stetig wachsenden Konkurrenzdruck im E-Commerce Bereich mitzuhalten, entschied sich Conrad 2017 neben dem eigenen Produktkatalog auch Produkte anderer Händler in einem neu geschaffenen B2B Marktplatz anzubieten.
Die anvisierte 50fache Erweiterung des eigenen Produktsortiments von 900.000 auf 50 Millionen Produkte-Datensätze war mit dem bestehenden STEP PIM-System aber nicht realisierbar. Nicht nur die neue Größenordnung der Produkt-Datensätze, sondern auch der Bedarf nach echtzeitnaher Aktualisierung von Produktinformationen war notwendig.
Für einen MVP des neuen Marktplatzes wurden Conrad-eigene Produktdaten aus der STEP-Plattform und Produktdaten der Marktplatz-Händler aus dem Mirakl System in eine einheitliche Datenstruktur gebracht.
Insbesondere wegen der großen Unterschiede in der Datenqualität zwischen hochwertig kuratierten Conrad Produkt-Datensätzen und Lieferungen der Marktplatz-Händler wurde sich für eine individuelle Datenintegrations-Lösung entschieden.
Avantgarde Labs wurde beauftragt, eine cloudbasierte Datenintegrations-Lösung zu schaffen, die nicht nur die beiden Quellsysteme von STEP und Mirakl konsolidiert, sondern auch die Produktdaten in nahe Echtzeit für den Webshop und weitere Zielsysteme, wie beispielsweise die digitalen Preisschilder in den Conrad Stores, zur Verfügung stellt.
_Skalierbar, schnell und immer aktuell
Im ersten Schritt wurden beide Quellsysteme – Conrad’s STEP-PIM und das Mirakl-Marktplatzsystem – über Schnittstellen angebunden und die Daten skalierbar in einer MongoDB abgelegt.
Ein Change-Data-Capture-Service erkennt Änderungen in den Produktdaten und sorgt dafür, dass nur neue oder geänderte Datensätze verarbeitet werden müssen.
Die durch Mirakl geschaffene einheitliche Datenstruktur reichte aber nicht aus, um die einzelnen Produktdatensätze in einen Golden Record zusammenzuführen.
Hierfür wurde ein zusätzliches Modul entwickelt, welches auf Basis diverser Merkmale die zusammengehörigen Datensätze identifiziert, wodurch der Produktkatalog von 18 Mio. auf 13 Mio. unterschiedliche Produkte reduziert werden konnte.
Die Lösung wurde in Java mit Spring Boot entwickelt und läuft containerisiert über Docker in der Google Cloud.
Produktdaten werden in MongoDB gespeichert, für Analysen und Reports kommt Google BigQuery zum Einsatz.
Die Echtzeit-Kommunikation zwischen den Services erfolgt über Google Cloud Pub/Sub, die Verwaltungsoberfläche wurde mit Vaadin umgesetzt.
_Aktuell, vollständig, skalierbar
Die cloudbasierte Integrations-Lösung stellt den Kunden stets hochaktuelle und korrekte Informationen zur Verfügung. Dies bedeutet einerseits ein verbessertes Einkaufserlebnis und reduziert gleichzeitig rechtliche Risiken durch die schnellstmögliche Umsetzung von Fehlerkorrekturen in den Endkunden-Systemen.
Auch die Händler auf dem Marktplatz profitieren von der hohen Performanz in der Datenbereitstellung. Innerhalb von maximal 2 Stunden sind gemeldete Änderungen ihrer Produktdaten im Webshop ersichtlich.
Automatisch generierte Reports auf Basis der entwickelten Deduplizierung und Change-Data-Capture Algorithmen ermöglichen den Händler bei fehlenden Produktinformationen einen tieferen Einblick in ihre eigene Datenqualität.
Conrad und die Händler profitieren mit der von Avantgarde Labs erstellten Lösung von einer Umsatzsteigerung, während Conrads Kunden ein vergrößertes Angebot mit verbessertem Einkaufserlebnis im Webshop vorfinden.
_Weitere Case Studies
_Kontaktieren Sie uns
