/ Case study /

Platforma Research Data Hub

Jedna platforma, kompletne dane: Budowa systemu Research Data Hub napędzającego globalne operacje badania rynku

$80M

Rocznego przychodu wspieranego przez metadane badawcze, którymi zarządza platforma
$45M

Dodatkowego rocznego przychodu wspieranego przez zasilaną przez nią chmurową platformę analityczną
1

Jedyne źródło prawdy dla wszystkich metadanych badawczych — programów, marek, list produktów i fal badawczych w kilkudziesięciu krajach

/ 01 / Podsumowanie

Case study w pigułce

Firma Primotly współpracuje z globalnym liderem branży badań rynkowych przy stałym rozwoju i optymalizacji wydajności ich centralnego węzła danych badawczych (Research Data Hub) – wewnętrznej platformy operacyjnej, która stanowi fundament całego cyklu badawczego organizacji. Platforma służy jako jedyne źródło prawdy (single source of truth) dla wszystkich metadanych badawczych: programów, marek, list produktów oraz fal badawczych (survey waves) obejmujących dziesiątki krajów i języków. Personel badawczy wprowadza dane i zarządza nimi poprzez ustrukturyzowane procesy oparte na plikach Excel, które platforma pobiera, standaryzuje i udostępnia zespołom analitycznym na dalszych etapach pracy. Kluczową, bieżącą inicjatywą jest projekt FLOW – systematyczna refaktoryzacja i przebudowa backendu platformy w celu wyeliminowania skumulowanych wąskich gardeł wydajnościowych oraz problemów z jakością kodu. Platforma wspiera generowanie około 80 milionów dolarów rocznego przychodu.

/ 02 / O kliencie

O kliencie

Klient to globalne przedsiębiorstwo specjalizujące się w zaawansowanych badaniach rynku, analizach zachowań konsumenckich oraz śledzeniu kondycji marek (brand tracking). Firma działa w kilkudziesięciu krajach, prowadząc jednocześnie setki programów badawczych dla swoich partnerów korporacyjnych z sektorów FMCG, technologicznego, ochrony zdrowia i innych. Wewnętrzne zespoły operacyjne – menedżerowie programów, specjaliści ds. marek oraz koordynatorzy danych – polegają na scentralizowanym węźle danych (data hub) w celu zarządzania metadanymi, które napędzają całą aktywność badawczą. (Wszystkie szczegóły zostały zanonimizowane ze względu na NDA.)

Usługi

Rozszerzenie zespołu (Team Extension)
Tworzenie aplikacji webowych
Inżynieria wydajności (Performance Engineering)
Refaktoryzacja kodu dziedziczonego (Legacy Code Refactoring)

Branża

Badania rynkowe

Model współpracy

Team Extension – długoterminowe, dedykowane partnerstwo

Skład zespołu

2 osoby (1 Frontend Developer, 1 Backend Developer)

/ 03 / Wyzwanie

Wyzwanie: rozwijająca się organizacja w starciu z przestarzałą platformą

Węzeł danych badawczych to dojrzały system o krytycznym znaczeniu dla biznesu. Przez lata intensywnego rozwoju zgromadził on jednak dług technologiczny typowy dla dużych, długo działających platform korporacyjnych: spadek wydajności, problemy z jakością kodu oraz architekturę, która sprawiała, że wdrażanie nowych funkcji było wolniejsze i bardziej ryzykowne niż powinno. Konsekwencje były bardzo namacalne: wolniejsze wewnętrzne procesy operacyjne, wyższe ryzyko błędów podczas programowania, a także platforma wymagająca niezwykle ostrożnego traktowania zamiast pewnego i dynamicznego wdrażania innowacji.

01/

Wąskie gardła wydajnościowe

Kluczowe operacje na platformie z czasem uległy znacznemu spowolnieniu. Czas reakcji systemu w procesach wymagających przetwarzania dużych ilości danych negatywnie wpływał na produktywność wewnętrznych zespołów badawczych, które korzystają z platformy na co dzień.
02/

Jakość odziedziczonego kodu (Legacy Code)

Lata skumulowanego rozwoju doprowadziły do powstania sekcji kodu o słabej strukturze, ograniczonym pokryciu testami i wysokim stopniu powiązania komponentów (high coupling). Utrudniało to wprowadzanie zmian i zwiększało ryzyko wystąpienia błędów regresji.
03/

Excel jako fundament

Wprowadzanie danych badawczych opiera się na plikach Excel – pracownicy przesyłają arkusze, które platforma pobiera, waliduje i standaryzuje. Ten proces jest głęboko zakorzeniony w operacjach organizacji i taki pozostanie. Wyzwaniem nie było zastąpienie go, ale upewnienie się, że platforma obsługuje go niezawodnie, wydajnie i na dużą skalę.
04/

Spójność danych z różnych źródeł

Dane badawcze trafiają do węzła z wielu wewnętrznych źródeł i od różnych zespołów, z których każdy stosuje własne formaty i konwencje. Zapewnienie, że zespoły analityczne na dalszych etapach pracy zawsze otrzymują spójne i wiarygodne dane, stanowiło ciągłe wyzwanie.

/ 04 / Rozwiązanie Primotly

Rozwiązanie Primotly: inżynieria wydajności i systematyczna refaktoryzacja

Praca Primotly nad tą platformą przebiega dwutorowo: obejmuje bieżący rozwój nowych funkcjonalności w celu zaspokojenia zmieniających się wymagań biznesowych oraz systematyczną inicjatywę na rzecz poprawy wydajności i jakości kodu, znaną wewnętrznie jako projekt FLOW.

Kluczowe utrzymywane i rozwijane obszary systemu

Zarządzanie programami (Program Management)

Personel badawczy tworzy i konfiguruje programy badawcze, definiując ich zasięg geograficzny (kraje i języki), strukturę własności oraz cykl życia. Platforma wymusza ustrukturyzowaną hierarchię, która zastępuje dotychczasową organizację opartą na luźnych arkuszach kalkulacyjnych.
Zarządzanie markami i listami (Wave List Manager)

Centralny rejestr marek, list produktów oraz jednostek SKU używanych we wszystkich programach badawczych. Utrzymywane są tu konfiguracje marek – w tym aktywacja rynkowa, ustawienia lokalizacyjne i tagi klasyfikacyjne. Zmiany przesyłane przez zewnętrznych klientów korporacyjnych za pośrednictwem portalu samoobsługowego są weryfikowane i zatwierdzane przez personel agencji, zanim trafią do tego modułu.
Zarządzanie falami badawczymi (Wave Management)

Konfiguracja i centralne śledzenie fal badawczych (zdefiniowanych przedziałów czasowych zbierania danych). Zespoły zarządzają harmonogramami, zakresem i parametrami fal dla wielu programów jednocześnie.
Pobieranie danych na bazie plików Excel (Excel-Based Data Ingestion)

Pracownicy przesyłają dane badawcze za pomocą ustrukturyzowanych plików Excel – uznanego standardu wprowadzania danych w organizacji. Platforma pobiera, analizuje (parsuje) i standaryzuje te pliki, udostępniając dane w spójnej strukturze dla systemów analitycznych.
Narzędzie kontroli jakości danych (Data Quality Harness – w fazie rozwoju)

Duża inicjatywa mająca na celu zdefiniowanie uniwersalnego schematu metadanych, z którym muszą być zgodne wszystkie dane trafiające na platformę. Celem jest zapewnienie, że każdy zespół analityczny – niezależnie od źródła pochodzenia danych – pracuje na spójnych i zaufanych strukturach.
Integracja z kolejnymi systemami (Downstream Integration)

Ustandaryzowane dane są eksportowane do zewnętrznej infrastruktury analitycznej, w tym do chmurowej platformy analitycznej, która niezależnie wspiera generowanie ok. 45 mln USD dodatkowego rocznego przychodu.

/ 05 / Szczegóły techniczne

Szczegóły techniczne

01/
Projekt FLOW: systematyczna odbudowa wydajności i jakości kodu
- Problem: Platforma zgromadziła znaczny dług wydajnościowy. Operacje backendowe, od których wewnętrzne zespoły zależały każdego dnia, stały się nieakceptowalnie powolne. Analiza przyczyn źródłowych wykazała połączenie nieefektywnych wzorców zapytań, silnie powiązanych struktur kodu (high-coupling) oraz przestarzałych sekcji bazy kodu, które nigdy nie zostały poddane właściwej refaktoryzacji.
- Rozwiązanie: Primotly uruchomiło projekt FLOW – dedykowaną inicjatywę z zakresu refaktoryzacji i inżynierii wydajności, prowadzoną równolegle z rozwojem nowych funkcji. Podejście jest systematyczne: identyfikacja najbardziej krytycznych wąskich gardeł, refaktoryzacja struktur kodu w celu usunięcia powiązań i poprawy testowalności, a następnie optymalizacja wzorców zapytań i przetwarzania danych. Każdy sprint FLOW przynosi mierzalne przyspieszenie backendu.
- Efekt: mierzalne i odczuwalne skrócenie czasu odpowiedzi backendu w przypadku najbardziej krytycznych operacji platformy, dostarczane przyrostowo z każdym kolejnym sprintem.
02/
Niezawodna standaryzacja danych z wielu różnych źródeł wejściowych
- Problem: Dane badawcze trafiają na platformę od wielu wewnętrznych zespołów i z różnych źródeł, z których każde stosuje własne formaty Excela, konwencje nazewnicze i struktury danych. Platforma musi przyjąć tę heterogeniczność i wygenerować spójne, dobrze ustrukturyzowane dane dla zespołów analitycznych. Niespójności, które przeoczone trafią dalej, generują błędy na etapie analizy.
- Rozwiązanie: Platforma stosuje restrykcyjne reguły standaryzacji i walidacji już na warstwie pobierania danych (ingestion layer). Przesłane pliki Excel są analizowane, a każdy punkt danych jest sprawdzany pod kątem reguł specyficznych dla danego programu i fali przed jego zapisaniem w bazie. Inicjatywa Data Quality Harness rozwinie to podejście poprzez zdefiniowanie uniwersalnego kontraktu metadanych, który muszą spełniać wszystkie dane wejściowe, niezależnie od źródła.
- Efekt: zespoły analityczne otrzymują dane z jednego, spójnego źródła – bez względu na to, ile różnych wewnętrznych działów brało udział w ich tworzeniu. To kluczowa wartość, jaką dostarcza platforma: zaufane, ustandaryzowane dane jako fundament każdej analizy.
03/
Utrzymanie wielkoskalowej platformy monolitycznej w fazie aktywnego rozwoju
- Problem: Platforma to duży monolit, który rósł przez wiele lat. Bez odpowiedniej dyscypliny architektury monolityczne tej skali degradują się do silnie powiązanych baz kodu, gdzie każda zmiana niesie za sobą ogromne ryzyko awarii i regresji.
- Rozwiązanie: Primotly stosuje spójne i surowe standardy architektoniczne w całej bazie kodu: jasne granice modułów, separację odpowiedzialności, wysokie pokrycie testami w refaktoryzowanych sekcjach oraz rygorystyczne przeglądy kodu (code review). Inicjatywa FLOW bierze na cel w szczególności mocno powiązane sekcje i refaktoryzuje je do czystszych wzorców, zanim staną się one barierą deweloperską.
- Efekt: łatwiejsza w utrzymaniu baza kodu o drastycznie obniżonym ryzyku awarii. Każdy sprint FLOW zmniejsza zarówno dług wydajnościowy, jak i koszt złożoności przyszłych prac programistycznych.

/ 06 / Wpływ biznesowy i rezultaty

Wpływ biznesowy i wyniki

Platforma stanowi kręgosłup danych globalnych operacji badawczych – każdy zespół analityczny w strukturach firmy zależy od spójności i niezawodności dostarczanych przez nią informacji.

Wsparcie przychodów na poziomie ok. 80 mln USD

Platforma zarządza metadanymi badawczymi dla programów generujących około 80 milionów dolarów rocznego przychodu, co sprawia, że jej wydajność i niezawodność są bezpośrednio powiązane z kluczowymi wynikami finansowymi firmy.
Mierzalna poprawa wydajności dzięki FLOW

Projekt FLOW dostarcza realne przyspieszenie backendu w każdym sprincie, bezpośrednio podnosząc codzienną produktywność wewnętrznych zespołów badawczych, których praca zależy od platformy.
Jednolite dane dla zespołów analitycznych

Dzięki standaryzacji danych pobieranych z wielu wewnętrznych źródeł, platforma gwarantuje, że analitycy w całej organizacji pracują na spójnych, wiarygodnych informacjach – niezależnie od miejsca ich pierwotnego pochodzenia.
Fundament pod szerszą analitykę

Platforma skutecznie zasila w dane chmurową platformę analityczną, która niezależnie wspiera generowanie około 45 milionów dolarów rocznego przychodu i dynamicznie rośnie.
Długoterminowe partnerstwo strategiczne

Klient powierzył Primotly wieloletnią mapę drogową rozwoju produktu. Samo wdrożenie narzędzia Data Quality Harness zostało zaplanowane jako inicjatywa na kilka lat, co jest jasnym sygnałem ogromnego, strategicznego zaufania do kompetencji inżynieryjnych zespołu.