/ Case Study /

Cloud-Analyseplattform

Von Tagen zu Minuten: der Aufbau einer Cloud-Analyseplattform, die Berechnungen in der Marktforschung um über 98 % beschleunigt hat

  • 45 Mio. $

    Jahresumsatz, den die Analyseinfrastruktur der Plattform unterstützt

  • 98 %

    Kürzere Rechenzeit – von Stunden oder Tagen auf lokalen Rechnern auf unter zehn Minuten in der Cloud

  • <10 Min.

    Verarbeitungszeit der meisten Analyseaufgaben heute – statt nächtlicher und mehrtägiger Berechnungen auf den Laptops der Analysten

/ 01 / Zusammenfassung

Case Study auf einen Blick

Primotly hat eine Cloud-Analyseplattform entwickelt, die die Art und Weise, wie die Data-Science-Teams einer globalen Forschungsagentur statistische Modelle ausführen, grundlegend verändert hat. Vor der Plattform ließen die Analysten komplexe Marktmodelle lokal auf ihren eigenen Rechnern in Jupyter Notebooks laufen – ein Vorgang, der pro Analyse einige Stunden bis mehrere Tage dauerte. Primotly hat die neue Plattform von Grund auf entwickelt und dabei Cloud-Architektur, Backend, Frontend sowie eine eigene Engine zur Parallelisierung von Berechnungen konzipiert. Im Zuge der Weiterentwicklung wurde die Verarbeitungszeit schrittweise verkürzt – heute sind die meisten Analyseaufgaben in weniger als 10 Minuten abgeschlossen. Die Plattform trägt zu rund 45 Millionen US-Dollar Jahresumsatz bei und wächst mit jedem neuen Modul schnell weiter. Die Rolle von Primotly beschränkte sich ausschließlich auf das Software Engineering: Die statistischen Algorithmen entwickelt das interne Data-Science-Team des Kunden. Primotly hat die Infrastruktur, die Orchestrierungsschicht, das Backend und das Frontend gebaut, durch die diese Algorithmen schnell, leicht zugänglich und produktionsreif wurden.

/ 02 / Über den Kunden

Über den Kunden

Der Kunde ist ein globales Marktforschungsunternehmen mit eigenen internen Data-Science-Teams, die anspruchsvolle statistische Modelle für Unternehmenskunden entwickeln und ausführen. Diese Modelle analysieren Umfragedaten, Medienreichweite, Verkaufszahlen und weitere Variablen, um zentrale Erkenntnisse über Markengesundheit, Medienwirkung und aktuelle Markttrends zu gewinnen. (Alle Angaben wurden aufgrund einer Geheimhaltungsvereinbarung (NDA) anonymisiert.)

Leistungen
  • Team Extension
  • Cloud Engineering
  • Backend-Entwicklung (Python)
  • Frontend-Entwicklung
  • Data Engineering
Branche

Marktforschung / Data Science

Kooperationsmodell

Team Extension – langfristige, dedizierte Partnerschaft

Teamgröße

2 Personen (1 Backend / Data Engineer, 1 Frontend Developer)

/ 03 / Die Herausforderung

Die Herausforderung: Data Science auf Laptops

Die Data-Science-Teams des Kunden hatten ein ausgefeiltes Set analytischer Modelle entwickelt. Das Problem lag nicht in der Qualität der Modelle, sondern darin, wie sie bisher ausgeführt wurden. Die Analytik hinter einer zentralen Umsatzquelle war durch die physische Leistung der Laptops einzelner Analysten begrenzt.

  • 01/

    Ausschließlich lokale Codeausführung

    Alle Modelle liefen lokal in Jupyter Notebooks auf den Rechnern einzelner Analysten. Es fehlten eine gemeinsame Infrastruktur, eine Weboberfläche und eine zentrale Aufgabenverwaltung.

  • 02/

    Verarbeitungszeiten von mehreren Tagen

    Komplexe Analysen dauerten einige Stunden bis mehrere Tage. Die Analysten mussten ihre Rechner über Nacht oder übers Wochenende laufen lassen, um eine einzige Forschungsaufgabe abzuschließen.

  • 03/

    Keine Parallelisierung

    Die Modelle wurden vollständig sequenziell ausgeführt. Jede Parameterkombination, jedes Marktsegment und jede Analyseschleife wurde nacheinander abgearbeitet. Es gab keinen Mechanismus, um die Arbeit auf freie Rechenressourcen zu verteilen.

  • 04/

    Manuelle Arbeitsorganisation

    Eingabedateien mussten von Hand in die richtigen lokalen Verzeichnisse gelegt werden. Die Ergebnisse wurden in Dateien auf Festplatten gespeichert, die anschließend selbst eingesammelt, formatiert und weitergegeben werden mussten. Der gesamte Prozess – von der Konfiguration bis zum Ergebnisbericht – erforderte viel manuelle Arbeit.

  • 05/

    Keine Skalierbarkeit

    Mit wachsendem Analysebedarf stieß das System vollständig an seine Grenzen. Jede neue Analyse bedeutete, einen weiteren Mitarbeitenden einzubinden, der ein weiteres Notebook auf einem separaten Rechner laufen ließ.

/ 04 / Die Lösung von Primotly

Die Lösung von Primotly: Cloud-Infrastruktur, Parallelisierung und eine produktionsreife Oberfläche

Die Aufgabe an Primotly war klar umrissen: Die vom Data-Science-Team entwickelten Python-Bibliotheken mussten schnell, skalierbar und für die Mitarbeitenden breit verfügbar werden. Die statistische Logik blieb beim Kunden – Primotly verantwortete alles andere.

Diese klare Aufgabenteilung wurde zum Fundament des Projekterfolgs. Das Data-Science-Team des Kunden entwickelt die statistischen Algorithmen und liefert sie als versionierte Python-Bibliotheken aus (eine Bibliothek je Analysemodul); es verantwortet die mathematische Korrektheit der Ergebnisse. Primotly baut die Cloud-Infrastruktur, die Orchestrierungsschicht, die Backend-API, die Frontend-Oberfläche und die Mechanismen zur Parallelisierung der Berechnungen und verantwortet Performance, Zuverlässigkeit des Systems und User Experience (UX).

Zentrale Funktionen

  • Media to Brand (Medien und Marke)

    Analysiert den Zusammenhang zwischen Medienpräsenz (Werbung, PR, digitale Maßnahmen) und Kennzahlen der Markenwahrnehmung. Analysten können modellieren, wie sich Investitionen in verschiedene Medienkanäle auf die zentralen Leistungskennzahlen (KPIs) der Marke in einzelnen Märkten auswirken.

  • Brand to Sales (Marke und Umsatz)

    Modelliert den Zusammenhang zwischen Kennzahlen der Markenstärke (Brand Equity) und Verkaufsergebnissen. Hilft Kunden zu verstehen, welche Markenattribute sich am stärksten in reale kommerzielle Ergebnisse übersetzen.

  • Trend Analytics (Trendanalyse)

    Ein- und mehrdimensionale Trendanalyse auf Basis von Daten aus aufeinanderfolgenden Erhebungswellen. Erkennt Muster, prognostiziert Verläufe und spürt Anomalien in Zeitreihen auf.

  • Outlier Management (Umgang mit Ausreißern)

    Ein Modul, mit dem Analysten Anomalien in den Daten (Ausreißer) vor der finalen Analyse prüfen und korrigieren können. Ausreißer werden automatisch erkannt; die Analysten können sie bestätigen, anpassen oder ausschließen – mit vollständigem Audit-Trail.

  • Gemeinsame Job-Infrastruktur

    Alle Module nutzen eine gemeinsame, einheitliche Infrastruktur: Upload der Eingabedateien (Daten + Konfiguration in Excel), Oberfläche zur Parametrisierung, Berechnungen in der Cloud, automatisches Einsammeln der Ergebnisse und Download der Abschlussberichte (ZIP-Archiv mit Excel-Tabellen und fertigen Diagrammen).


/ 05 / Technische Details

Technische Details

  • 01/

    Parallelisierung sequenzieller statistischer Modelle

    • Problem: Die vom Data-Science-Team gelieferten Python-Modelle waren sequenziell geschrieben – die Berechnungen liefen nacheinander ab. Ein vollständiger Analyselauf mit vielen Parameterkombinationen (Bekanntheitswerte, Marktsegmente, Koeffizientensätze) konnte direkt auf der Plattform bis zu einer Stunde dauern, weil die Arbeit weiterhin in einem einzigen Thread lief.

    • Lösung: Gemeinsam mit dem Data-Science-Team identifizierte Primotly in jedem Modell die natürlichen Grenzen für die Parallelisierung. Das allgemeine Schema wurde aufgeteilt in: Datenvorbereitung (einzelner Prozess) → parallele Berechnungen (viele unabhängige Teilaufgaben, je eine pro Parameterkombination oder Marktsegment) → Aggregation der Ergebnisse (einzelner Prozess). Primotly baute das Backend so um, dass es dieses Muster (Fan-out/Fan-in) orchestriert: Für jede Teilaufgabe werden parallele Worker gestartet, und die Ergebnisse werden eingesammelt, sobald alle Prozesse abgeschlossen sind. Das erforderte eine enge Zusammenarbeit mit den Mathematikern des Kunden, um zu verstehen, wie sich die Algorithmen zerlegen lassen, ohne die Korrektheit der Ergebnisse zu beeinträchtigen – wegen logischer Abhängigkeiten zwischen einzelnen Schritten keine triviale Designaufgabe.

    • Ergebnis: die Rechenzeit wurde mit der Weiterentwicklung der Plattform schrittweise verkürzt. Die meisten Analyseaufgaben laufen jetzt in unter 10 Minuten, und gemessen an der Zeit vor der Plattform – als Analysen auf lokalen Rechnern einige Stunden bis mehrere Tage dauerten – bedeutet das eine um über 98 % kürzere Rechenzeit.

  • 02/

    Integration versionierter externer Python-Bibliotheken

    • Problem: Jedes Analysemodul hängt von einer Python-Bibliothek ab, die das Data-Science-Team des Kunden in einem separaten Repository pflegt. Diese Bibliotheken entwickeln sich unabhängig, haben eigene Release-Zyklen und liegen außerhalb der Kontrolle von Primotly. Die Plattform mit den Bibliotheks-Updates synchron zu halten, ohne bestehende Funktionen zu beschädigen, erforderte ein strukturiertes Abhängigkeitsmanagement.

    • Lösung: Jedes Modul hat im Code von Primotly einen eigenen Backend-Service, der die jeweilige Data-Science-Bibliothek als Python-Paket importiert. Die Schnittstelle zwischen dem Code von Primotly und der externen Bibliothek ist bewusst schlank gehalten – Primotly ruft ausschließlich Methoden auf und schreibt keine Algorithmen um. Autorisierung und Nutzerverwaltung laufen über eine .NET-Integration mit dem zentralen Hub für Forschungsdaten, was eine einheitliche Zugriffskontrolle über alle internen Plattformen des Unternehmens hinweg sicherstellt.

    • Ergebnis: eine saubere Trennung zwischen Plattform-Engineering (Primotly) und statistischer Methodik (Data-Science-Team des Kunden). Algorithmus-Updates lassen sich durch ein einfaches Update der Bibliotheksabhängigkeiten ausrollen, ohne den von Primotly geschriebenen Orchestrierungscode anzupassen.

  • 03/

    Ein Monolith mit Microservice-Elementen für analytische Workloads

    • Problem: Analytische Workloads unterscheiden sich von typischen Aufgaben einer Webanwendung: Sie sind rechenintensiv, laufen lange und treten in Schüben auf. Eine klassische monolithische Webarchitektur hätte in Leerlaufphasen zu überdimensionierten Ressourcen und bei analytischen Lastspitzen zu deutlichen Engpässen geführt.

    • Lösung: Die Plattform nutzt eine Architektur vom Typ „Monolith mit Microservice-Elementen“. Die Hauptanwendung läuft als Monolith, was einfache Deployments und einen gemeinsamen Datenzugriff gewährleistet. Rechenintensive Analysen werden dagegen an isolierte Worker-Prozesse ausgelagert, die sich völlig unabhängig skalieren lassen. So profitiert der Großteil der Anwendung von der Einfachheit des Monolithen, während rechenintensive Aufgaben effizient abgewickelt werden.

    • Ergebnis: optimale Ressourcennutzung sowohl in ruhigen Phasen als auch zu Spitzenzeiten; einzelne Analysemodule lassen sich je nach aktuellem Bedarf unabhängig skalieren – rechenintensive Module erhalten mehr Ressourcen, ohne leichtere Prozesse im Hintergrund zu beeinträchtigen.


/ 06 / Geschäftliche Auswirkungen und Ergebnisse

Geschäftlicher Impact und Ergebnisse

Die Rechenzeit sank von mehreren Stunden oder Tagen auf lokalen Rechnern auf unter zehn Minuten in der Cloud – eine Zeitersparnis von über 98 %, die Analytik von einem nächtlichen Batch-Prozess in ein interaktives Werkzeug auf Abruf verwandelt hat.

  • Basis für rund 45 Mio. $ Jahresumsatz

    Die Plattform ist die zentrale Analyseinfrastruktur hinter der wichtigsten Umsatzquelle des Unternehmens und wächst dynamisch mit jedem neuen Modul und der zunehmenden Nutzung im Unternehmen.

  • Über 98 % kürzere Rechenzeit

    Analysen, die früher nächtliche oder mehrtägige Berechnungen auf lokalen Rechnern erforderten, sind jetzt in unter zehn Minuten in der Cloud abgeschlossen. Die meisten Aufgaben laufen sogar deutlich schneller.

  • Analytik im Self-Service

    Data-Science-Analysten können fertige Analysen vollständig über eine intuitive Weboberfläche starten, konfigurieren und herunterladen – ohne lokale Einrichtung der Umgebung, manuelle Dateiverwaltung oder Arbeit auf der Kommandozeile.

  • Skalierbare Rechenleistung

    Die Aufgaben laufen in einer stabilen Cloud-Umgebung statt auf Laptops. Viele Analysten können gleichzeitig anspruchsvolle Prozesse starten, ohne um physische Hardwareressourcen zu konkurrieren.

  • Schneller Ausbau um neue Module

    Die von Primotly geschaffene Infrastruktur ist darauf ausgelegt, neue Analysemodule im Handumdrehen einzubinden. Jede neue Data-Science-Bibliothek lässt sich nach demselben Orchestrierungsmuster integrieren und ohne Umbau der gesamten Plattform in Betrieb nehmen.

Tech-Stack

Frontend
Angular
Backend
Python (primär), .NET C# (Autorisierung, Nutzerverwaltung)
Datenbank
PostgreSQL
Architektur
Monolith mit Microservice-Elementen
Data-Science-Bibliotheken
Python-Pakete (versioniert, auf Modulebene, gepflegt vom Data-Science-Team des Kunden)
Cloud / Infrastruktur
Google Cloud Platform (GCP)
Weitere Tools
Jira, Confluence

/ Case Studies /

Unsere Case Studies

Wie können wir Ihnen helfen?

Gemeinsam finden wir die beste Lösung für Ihr Unternehmen

Kontakt aufnehmen