DLACZEGO?

Big Data, data driven bussines, cyfryzacja, data science i wiele tym podobnych haseł pada na co drugiej konferencji biznes – IT. Z jednej strony to dobrze, że biznes podąża za mega trendami i szuka możliwości wykorzystania najnowszych technologii do budowania przewagi konkurencyjnej, z drugiej jednak droga od marketingowego wystąpienia na konferencji do wdrożenia produkcyjnego jest długa i wyboista…

Chcemy podzielić się z Wami naszymi doświadczeniami i przedstawić praktyczne przykłady zastosowania Big Data w biznesie. Zaprojektowaliśmy i zbudowaliśmy platformy gromadzące i przetwarzające duże zbiory danych („data lake”) w branży finansowej oraz retail. Dla naszych klientów opisywaliśmy Business Cases, których głównym celem było pozyskanie większej wiedzy o zachowaniu i preferencjach klientów. Na tej podstawie możliwa jest prognozowanie sprzedaży, lepsza segmentacja klientów, identyfikacja trendów i asocjacji, lokalnych mód, i wiele innych. Pozwala to kierować sprofilowaną ofertę do klientów, optymalizować zatowarowanie, kształtować politykę cenową dla poszczególnych produktów, analizować konwersję kampanii marketingowych na sprzedaż, poprawiać programy afiliacyjne, optymalizować logistykę.


JAK?


CO?

Dobór optymalnych parametrów sprzętowych na podstawie sizingu i planowanego sposobu wykorzystania klastra.

Zaprojektowanie polityki dostępu do danych (sandbox, perimeter level security, integracja z AD/LDAP).

Zaprojektowanie procesów data ingestion.

Opracowanie Operational Security Guidliness (OSG) dla systemów operacyjnych oraz oprogramowania klastra.

Instalacja i konfiguracja systemów operacyjnych oraz oprogramowania klastra zgodnie z OSG.

Konfiguracja schedulera YARN (capacity/fair).

Konfiguracja polis Ranger.

Konfiguracja trybu HA dla Name Node.

Konfiguracja interfejsów dostępu do danych.

Inicjalne ładowanie danych.

Implementacja i uruchomienie procesów data ingestion oraz stagingu danych w ramach HDFS.

Operacjonalizacja modeli stworzonych przez DS (uruchomienie w kontenerze R lub w ramach dedykowanych aplikacji, np. SAS Institute).

Integracja narzędzi DS zgodnie ze zdefiniowaną polityką dostępu.

Monitorowanie parametrów ekosystemu z wykorzystaniem uzgodnionych narzędzi.

Patchowanie systemów operacyjnych.

Upgrade oprogramowania klastra.

Utrzymanie ciągłości działania prcesów data ingestion, stagingu oraz warstwy aplikacyjnej.

Rozbudowa infrastruktury klastra oraz rekonfiguracja/rebalancing.