Von Tagen zu Minuten: der Aufbau einer Cloud-Analyseplattform, die Berechnungen in der Marktforschung um über 98 % beschleunigt hat
45 Mio. $
Jahresumsatz, den die Analyseinfrastruktur der Plattform unterstützt
98 %
Kürzere Rechenzeit – von Stunden oder Tagen auf lokalen Rechnern auf unter zehn Minuten in der Cloud
<10 Min.
Verarbeitungszeit der meisten Analyseaufgaben heute – statt nächtlicher und mehrtägiger Berechnungen auf den Laptops der Analysten
Primotly hat eine Cloud-Analyseplattform entwickelt, die die Art und Weise, wie die Data-Science-Teams einer globalen Forschungsagentur statistische Modelle ausführen, grundlegend verändert hat. Vor der Plattform ließen die Analysten komplexe Marktmodelle lokal auf ihren eigenen Rechnern in Jupyter Notebooks laufen – ein Vorgang, der pro Analyse einige Stunden bis mehrere Tage dauerte. Primotly hat die neue Plattform von Grund auf entwickelt und dabei Cloud-Architektur, Backend, Frontend sowie eine eigene Engine zur Parallelisierung von Berechnungen konzipiert. Im Zuge der Weiterentwicklung wurde die Verarbeitungszeit schrittweise verkürzt – heute sind die meisten Analyseaufgaben in weniger als 10 Minuten abgeschlossen. Die Plattform trägt zu rund 45 Millionen US-Dollar Jahresumsatz bei und wächst mit jedem neuen Modul schnell weiter. Die Rolle von Primotly beschränkte sich ausschließlich auf das Software Engineering: Die statistischen Algorithmen entwickelt das interne Data-Science-Team des Kunden. Primotly hat die Infrastruktur, die Orchestrierungsschicht, das Backend und das Frontend gebaut, durch die diese Algorithmen schnell, leicht zugänglich und produktionsreif wurden.
Der Kunde ist ein globales Marktforschungsunternehmen mit eigenen internen Data-Science-Teams, die anspruchsvolle statistische Modelle für Unternehmenskunden entwickeln und ausführen. Diese Modelle analysieren Umfragedaten, Medienreichweite, Verkaufszahlen und weitere Variablen, um zentrale Erkenntnisse über Markengesundheit, Medienwirkung und aktuelle Markttrends zu gewinnen. (Alle Angaben wurden aufgrund einer Geheimhaltungsvereinbarung (NDA) anonymisiert.)
Marktforschung / Data Science
Team Extension – langfristige, dedizierte Partnerschaft
2 Personen (1 Backend / Data Engineer, 1 Frontend Developer)
Die Data-Science-Teams des Kunden hatten ein ausgefeiltes Set analytischer Modelle entwickelt. Das Problem lag nicht in der Qualität der Modelle, sondern darin, wie sie bisher ausgeführt wurden. Die Analytik hinter einer zentralen Umsatzquelle war durch die physische Leistung der Laptops einzelner Analysten begrenzt.
Alle Modelle liefen lokal in Jupyter Notebooks auf den Rechnern einzelner Analysten. Es fehlten eine gemeinsame Infrastruktur, eine Weboberfläche und eine zentrale Aufgabenverwaltung.
Komplexe Analysen dauerten einige Stunden bis mehrere Tage. Die Analysten mussten ihre Rechner über Nacht oder übers Wochenende laufen lassen, um eine einzige Forschungsaufgabe abzuschließen.
Die Modelle wurden vollständig sequenziell ausgeführt. Jede Parameterkombination, jedes Marktsegment und jede Analyseschleife wurde nacheinander abgearbeitet. Es gab keinen Mechanismus, um die Arbeit auf freie Rechenressourcen zu verteilen.
Eingabedateien mussten von Hand in die richtigen lokalen Verzeichnisse gelegt werden. Die Ergebnisse wurden in Dateien auf Festplatten gespeichert, die anschließend selbst eingesammelt, formatiert und weitergegeben werden mussten. Der gesamte Prozess – von der Konfiguration bis zum Ergebnisbericht – erforderte viel manuelle Arbeit.
Mit wachsendem Analysebedarf stieß das System vollständig an seine Grenzen. Jede neue Analyse bedeutete, einen weiteren Mitarbeitenden einzubinden, der ein weiteres Notebook auf einem separaten Rechner laufen ließ.
Die Aufgabe an Primotly war klar umrissen: Die vom Data-Science-Team entwickelten Python-Bibliotheken mussten schnell, skalierbar und für die Mitarbeitenden breit verfügbar werden. Die statistische Logik blieb beim Kunden – Primotly verantwortete alles andere.
Diese klare Aufgabenteilung wurde zum Fundament des Projekterfolgs. Das Data-Science-Team des Kunden entwickelt die statistischen Algorithmen und liefert sie als versionierte Python-Bibliotheken aus (eine Bibliothek je Analysemodul); es verantwortet die mathematische Korrektheit der Ergebnisse. Primotly baut die Cloud-Infrastruktur, die Orchestrierungsschicht, die Backend-API, die Frontend-Oberfläche und die Mechanismen zur Parallelisierung der Berechnungen und verantwortet Performance, Zuverlässigkeit des Systems und User Experience (UX).
Analysiert den Zusammenhang zwischen Medienpräsenz (Werbung, PR, digitale Maßnahmen) und Kennzahlen der Markenwahrnehmung. Analysten können modellieren, wie sich Investitionen in verschiedene Medienkanäle auf die zentralen Leistungskennzahlen (KPIs) der Marke in einzelnen Märkten auswirken.
Modelliert den Zusammenhang zwischen Kennzahlen der Markenstärke (Brand Equity) und Verkaufsergebnissen. Hilft Kunden zu verstehen, welche Markenattribute sich am stärksten in reale kommerzielle Ergebnisse übersetzen.
Ein- und mehrdimensionale Trendanalyse auf Basis von Daten aus aufeinanderfolgenden Erhebungswellen. Erkennt Muster, prognostiziert Verläufe und spürt Anomalien in Zeitreihen auf.
Ein Modul, mit dem Analysten Anomalien in den Daten (Ausreißer) vor der finalen Analyse prüfen und korrigieren können. Ausreißer werden automatisch erkannt; die Analysten können sie bestätigen, anpassen oder ausschließen – mit vollständigem Audit-Trail.
Alle Module nutzen eine gemeinsame, einheitliche Infrastruktur: Upload der Eingabedateien (Daten + Konfiguration in Excel), Oberfläche zur Parametrisierung, Berechnungen in der Cloud, automatisches Einsammeln der Ergebnisse und Download der Abschlussberichte (ZIP-Archiv mit Excel-Tabellen und fertigen Diagrammen).
Problem: Die vom Data-Science-Team gelieferten Python-Modelle waren sequenziell geschrieben – die Berechnungen liefen nacheinander ab. Ein vollständiger Analyselauf mit vielen Parameterkombinationen (Bekanntheitswerte, Marktsegmente, Koeffizientensätze) konnte direkt auf der Plattform bis zu einer Stunde dauern, weil die Arbeit weiterhin in einem einzigen Thread lief.
Lösung: Gemeinsam mit dem Data-Science-Team identifizierte Primotly in jedem Modell die natürlichen Grenzen für die Parallelisierung. Das allgemeine Schema wurde aufgeteilt in: Datenvorbereitung (einzelner Prozess) → parallele Berechnungen (viele unabhängige Teilaufgaben, je eine pro Parameterkombination oder Marktsegment) → Aggregation der Ergebnisse (einzelner Prozess). Primotly baute das Backend so um, dass es dieses Muster (Fan-out/Fan-in) orchestriert: Für jede Teilaufgabe werden parallele Worker gestartet, und die Ergebnisse werden eingesammelt, sobald alle Prozesse abgeschlossen sind. Das erforderte eine enge Zusammenarbeit mit den Mathematikern des Kunden, um zu verstehen, wie sich die Algorithmen zerlegen lassen, ohne die Korrektheit der Ergebnisse zu beeinträchtigen – wegen logischer Abhängigkeiten zwischen einzelnen Schritten keine triviale Designaufgabe.
Ergebnis: die Rechenzeit wurde mit der Weiterentwicklung der Plattform schrittweise verkürzt. Die meisten Analyseaufgaben laufen jetzt in unter 10 Minuten, und gemessen an der Zeit vor der Plattform – als Analysen auf lokalen Rechnern einige Stunden bis mehrere Tage dauerten – bedeutet das eine um über 98 % kürzere Rechenzeit.
Problem: Jedes Analysemodul hängt von einer Python-Bibliothek ab, die das Data-Science-Team des Kunden in einem separaten Repository pflegt. Diese Bibliotheken entwickeln sich unabhängig, haben eigene Release-Zyklen und liegen außerhalb der Kontrolle von Primotly. Die Plattform mit den Bibliotheks-Updates synchron zu halten, ohne bestehende Funktionen zu beschädigen, erforderte ein strukturiertes Abhängigkeitsmanagement.
Lösung: Jedes Modul hat im Code von Primotly einen eigenen Backend-Service, der die jeweilige Data-Science-Bibliothek als Python-Paket importiert. Die Schnittstelle zwischen dem Code von Primotly und der externen Bibliothek ist bewusst schlank gehalten – Primotly ruft ausschließlich Methoden auf und schreibt keine Algorithmen um. Autorisierung und Nutzerverwaltung laufen über eine .NET-Integration mit dem zentralen Hub für Forschungsdaten, was eine einheitliche Zugriffskontrolle über alle internen Plattformen des Unternehmens hinweg sicherstellt.
Ergebnis: eine saubere Trennung zwischen Plattform-Engineering (Primotly) und statistischer Methodik (Data-Science-Team des Kunden). Algorithmus-Updates lassen sich durch ein einfaches Update der Bibliotheksabhängigkeiten ausrollen, ohne den von Primotly geschriebenen Orchestrierungscode anzupassen.
Problem: Analytische Workloads unterscheiden sich von typischen Aufgaben einer Webanwendung: Sie sind rechenintensiv, laufen lange und treten in Schüben auf. Eine klassische monolithische Webarchitektur hätte in Leerlaufphasen zu überdimensionierten Ressourcen und bei analytischen Lastspitzen zu deutlichen Engpässen geführt.
Lösung: Die Plattform nutzt eine Architektur vom Typ „Monolith mit Microservice-Elementen“. Die Hauptanwendung läuft als Monolith, was einfache Deployments und einen gemeinsamen Datenzugriff gewährleistet. Rechenintensive Analysen werden dagegen an isolierte Worker-Prozesse ausgelagert, die sich völlig unabhängig skalieren lassen. So profitiert der Großteil der Anwendung von der Einfachheit des Monolithen, während rechenintensive Aufgaben effizient abgewickelt werden.
Ergebnis: optimale Ressourcennutzung sowohl in ruhigen Phasen als auch zu Spitzenzeiten; einzelne Analysemodule lassen sich je nach aktuellem Bedarf unabhängig skalieren – rechenintensive Module erhalten mehr Ressourcen, ohne leichtere Prozesse im Hintergrund zu beeinträchtigen.
Die Rechenzeit sank von mehreren Stunden oder Tagen auf lokalen Rechnern auf unter zehn Minuten in der Cloud – eine Zeitersparnis von über 98 %, die Analytik von einem nächtlichen Batch-Prozess in ein interaktives Werkzeug auf Abruf verwandelt hat.
Die Plattform ist die zentrale Analyseinfrastruktur hinter der wichtigsten Umsatzquelle des Unternehmens und wächst dynamisch mit jedem neuen Modul und der zunehmenden Nutzung im Unternehmen.
Analysen, die früher nächtliche oder mehrtägige Berechnungen auf lokalen Rechnern erforderten, sind jetzt in unter zehn Minuten in der Cloud abgeschlossen. Die meisten Aufgaben laufen sogar deutlich schneller.
Data-Science-Analysten können fertige Analysen vollständig über eine intuitive Weboberfläche starten, konfigurieren und herunterladen – ohne lokale Einrichtung der Umgebung, manuelle Dateiverwaltung oder Arbeit auf der Kommandozeile.
Die Aufgaben laufen in einer stabilen Cloud-Umgebung statt auf Laptops. Viele Analysten können gleichzeitig anspruchsvolle Prozesse starten, ohne um physische Hardwareressourcen zu konkurrieren.
Die von Primotly geschaffene Infrastruktur ist darauf ausgelegt, neue Analysemodule im Handumdrehen einzubinden. Jede neue Data-Science-Bibliothek lässt sich nach demselben Orchestrierungsmuster integrieren und ohne Umbau der gesamten Plattform in Betrieb nehmen.
/ Case Studies /
Gemeinsam finden wir die beste Lösung für Ihr Unternehmen
Kontakt aufnehmenGemeinsam finden wir die beste Lösung für Ihr Unternehmen