Projekt obejmował stworzenie nowego, ustandaryzowanego systemu, który działałby zarówno w Wielkiej Brytanii, jak i poza nią. System ten musiał być nowoczesny, skalowalny i zdolny do integracji z różnymi aplikacjami. Poprzedni system oznaczał podwójne koszty przy wprowadzeniu każdej nowej funkcji, drogie utrzymanie i problemy ze starszymi systemami.

Rozwój systemu został oparty na technologii Serverless, zapewniając niskie koszty infrastruktury. Cały proces został udokumentowany przy użyciu Stoplight, narzędzia do dokumentacji i projektowania API.

Realizacja projektu zajęła rok. Od czasu jego wdrożenia, miliony beczek zostały pomyślnie zwrócone za pośrednictwem systemu.

Wprowadzone rozwiązania i technologie do gromadzenia, analizy i zarządzania danymi

Pozyskiwanie danych: Wykorzystaliśmy Azure DataFactory, Databricks, Rivery, Python i PySpark do wydajnego pozyskiwania danych i migracji starszych potoków.

Monitorowanie: Opracowaliśmy solidny system monitorowania z pulpitami nawigacyjnymi, alertami i powiadomieniami przy użyciu Slack API, Snowflake, DataBox i Logic Apps.

Dane real-time: Wybraliśmy AWS Lambda, Snowpipes, AWS Storage, SQS i SNS dla usług danych na żywo, z AWS CloudWatch do ich nadzorowania.

Wersjonowanie i wdrażanie: Wprowadziliśmy dynamiczny system wersjonowania z Azure DevOps, Bash i GitHub Actions dla spójnych i terminowych aktualizacji danych.

Współpraca i raportowanie: Ulepszyliśmy współpracę przy użyciu bota Slack do natychmiastowych snapshotów raportów PowerBI.

Bezpieczeństwo: Najwyższy poziom bezpieczeństwa gwarantuje Key Vaults i MFA dla Snowflake'a.

• Nowy system jest skalowalny i wydajny, działa płynnie w wielu krajach i różnych konfiguracjach logistycznych.

• Ułatwiając zwrot i ponowne wykorzystanie beczek, PerfectDraft znacząco przyczynił się do działań na rzecz zrównoważonego rozwoju.

• Wykorzystanie technologii Serverless pozwoliło utrzymać koszty infrastruktury na niskim poziomie, dzięki czemu system stał się ekonomicznie opłacalny.