Zbieranie i porządkowanie danych
Twoje liczby siedzą w pięciu różnych narzędziach i żadne z nich nie zgadza się z pozostałymi. Zbieramy je w jedno miejsce i aktualizujemy cyklicznie, żeby pytanie o zeszły miesiąc miało dokładnie jedną odpowiedź.
Problemem rzadko jest brak danych
Większość firm, które proszą o pomoc z analityką, wcale nie cierpi na niedobór danych. Mają analitykę webową, CRM, backend sklepu, jedną albo kilka platform reklamowych, system księgowy i folder z arkuszami, w którym po cichu wylądowało wszystko, czego żadne z tych narzędzi nie obsługuje. Każdy system jest wewnętrznie spójny. Zestawione obok siebie, przestają się zgadzać.
Widocznym objawem jest spór o liczbę. Sprzedaż podaje jeden przychód, finanse drugi, i obie strony mają rację, bo mierzą trochę co innego i w trochę innych okresach. Mniej widoczny objaw jest gorszy: ludzie przestają ufać raportom i wracają do decydowania na wyczucie, czyli dokładnie do tego, co raportowanie miało zastąpić.
Naprawa tego stanu jest mniej techniczna, niż się wydaje. Przenoszenie wierszy między systemami według harmonogramu to problem dawno rozwiązany. Ustalenie, co te wiersze znaczą, już nie.
Czego naprawdę wymaga jedno źródło prawdy
To hasło bywa używane dość swobodnie. W praktyce oznacza trzy konkretne rzeczy, a pominięcie którejkolwiek zostawia Cię z tym samym sporem, tylko w ładniejszym interfejsie.
Po pierwsze, uzgodnione definicje. Jeśli aktywny klient to ktoś, kto kupił w ciągu ostatnich dwunastu miesięcy, musi to być zapisane i policzone w jednym miejscu, a nie implementowane trochę inaczej w każdym dashboardzie. Po drugie, wskazany właściciel każdego źródła, bo gdy liczba wygląda podejrzanie, ktoś musi umieć odpowiedzieć, skąd się wzięła. Po trzecie, zachowana historia, żeby skorygowana wartość z zeszłego marca była dostępna także za rok.
Nic z tego nie jest efektowne. To jednocześnie ta część, która decyduje, czy całość przetrwa pierwszy poważny spór o wyniki.
Gdzie ostatecznie trafiają dane
Do wyboru miejsca docelowego podchodzimy pragmatycznie. Zarządzana hurtownia, na przykład BigQuery, ma sens przy wielu źródłach, długiej historii albo zapytaniach na tyle ciężkich, że uruchamianie ich na bazie produkcyjnej spowalniałoby aplikację. Wiele firm nie ma żadnego z tych problemów i dla nich dobrze zamodelowany schemat w PostgreSQL jest tańszy w utrzymaniu i łatwiejszy do ogarnięcia.
Ważniejsze od samego wyboru jest to, żeby miejsce docelowe było dokładnie jedno. Najczęściej spotykana wpadka to niedokończona migracja, w której część raportów czyta z hurtowni, część wciąż z systemu operacyjnego, a nikt nie potrafi powiedzieć, z którego źródła korzysta dany wykres.
Czyszczenie danych to zadanie stałe, nie jednorazowe
Jakość danych zawsze osuwa się w stronę tego, co najwygodniejsze dla osób, które je wprowadzają. Pole „kraj” zamienia się w wolny tekst. Ta sama firma pojawia się jako trzy kontakty, bo dodało ją trzech handlowców. Nazwy produktów rozjeżdżają się wraz ze zmianami katalogu.
Najtaniej radzić sobie z tym przy wczytywaniu, stosując reguły konsekwentnie w momencie napływu danych:
Deduplikacja po stabilnych kluczach, takich jak NIP czy domena adresu e-mail, a nie po nazwach, które nigdy nie będą identyczne co do znaku.
Normalizacja pól wpisywanych ręcznie, żeby kraj, waluta i status przyjmowały wartości ze znanej listy.
Walidacja, która odrzuca albo odkłada na bok wiersze niespełniające podstawowych warunków, zamiast przepuszczać ujemną liczbę sztuk w zamówieniu prosto na wykres.
Ograniczenie ręcznego wprowadzania przez pobieranie danych z systemu, który i tak je ma. Każde pole, którego człowiek nie musi przepisywać, to cała klasa błędów mniej.
Jak to wygląda po kilku miesiącach
Zmiana zwykle nie jest spektakularna. Ktoś przestaje spędzać poniedziałkowy poranek na sklejaniu arkusza. Cotygodniowe spotkanie zaczyna się od liczby, której nikt nie podważa. Nowe pytanie dostaje odpowiedź tego samego dnia, bo potrzebne dane są już w jednym miejscu i ktoś potrafi je odpytać.
Ten ostatni efekt kumuluje się najbardziej. Kiedy zbieranie i porządkowanie danych jest załatwione, dashboardy, głębsza analiza i prognozowanie stają się zwykłą pracą, a nie osobnymi projektami. Prawie każde wdrożenie analityczne, które grzęźnie, grzęźnie właśnie na tym etapie. Dlatego zaczynamy od niego, nawet jeśli rozmowa zaczęła się od dashboardu.
Co dostajesz
Podłączone źródła danych
Pobieramy dane z narzędzi, których już używasz: CRM, systemu sprzedaży, kont reklamowych, analityki, fakturowania i arkuszy, z których nikt jeszcze nie chce zrezygnować.
Cykliczna aktualizacja
Dane pobierają się według harmonogramu, a nie wtedy, gdy ktoś pamięta o eksporcie. Przestajesz zastanawiać się, czy raport jest aktualny.
Jedna ustalona definicja każdej metryki
Przychód, aktywny klient, wartościowy lead. Spisujemy, co dokładnie znaczy każde z tych pojęć, i tak liczy je pipeline, żeby dwa działy przestały pokazywać dwie różne liczby.
Czyszczenie i deduplikacja
Zdublowane kontakty, niespójne kody krajów, trzy warianty nazwy tej samej firmy. Naprawiamy to raz, przy wczytywaniu danych, zamiast w każdym raporcie osobno.
Centralne miejsce do zapytań
Wszystko trafia do jednej hurtowni lub bazy na Twoim koncie chmurowym. Czytają z niej dashboardy, narzędzia raportowe i analitycy.
Alerty o awariach
Gdy API źródła się zmieni albo synchronizacja przestanie działać, dowiadujesz się o tym z alertu, a nie z wykresu, który dwa tygodnie temu po cichu spłaszczył się do zera.
Jak pracujemy
- 01
Inwentaryzacja tego, co faktycznie masz
Spisujemy każdy system z istotnymi danymi, jego właściciela, sposób dostępu i zakres historii. Na tym etapie zwykle wychodzą dwa lub trzy źródła, o których nikt już nie pamiętał.
- 02
Ustalenie definicji
Zanim powstanie jakikolwiek pipeline, ustalamy, co znaczą kluczowe metryki i kto decyduje o zmianie tych definicji. To ten krok chroni przed kosztowną przebudową za pół roku.
- 03
Budowa pipeline'ów
Pobieranie, przekształcanie i ładowanie danych, z ponawianiem prób i logowaniem. Tam, gdzie istnieje utrzymywany konektor, używamy go zamiast pisać i potem utrzymywać własny.
- 04
Uzgodnienie z systemem źródłowym
Porównujemy wczytane liczby z oryginalnymi systemami dla znanego okresu. Jeśli się nie zgadzają, szukamy przyczyny, zanim ktokolwiek zbuduje na nich dashboard.
- 05
Przekazanie i monitoring
Dostajesz dokumentację tego, co i kiedy się uruchamia, alerty na wypadek błędów oraz jasną ścieżkę dodania kolejnego źródła bez dzwonienia do nas.
Narzędzia i technologie
Tam, gdzie istnieje dobre narzędzie open source, wybieramy je zamiast zamkniętego. Bez uzależnienia od jednego dostawcy i z kosztami, które da się przewidzieć.
- Airbyte
- Apache Airflow
- dbt
- Great Expectations
- PostgreSQL
- Supabase
- n8n
- Metabase
- Google BigQuery
- Google Analytics 4
- HubSpot
- Google Sheets API
Najczęściej zadawane pytania
Powiązane realizacje
Pozostałe usługi w tej kategorii
Dashboardy i raporty
Dashboard warto budować wtedy, gdy zmienia to, co ktoś zrobi w poniedziałek rano. Projektujemy widoki wokół decyzji, które podejmujesz, a nie wokół wszystkich metryk, jakie da się wyeksportować.
Analityka biznesowa i wnioski
Same liczby nie mówią, co masz zrobić. Ustalamy, co dane pokazują o Twojej sprzedaży, procesach i klientach oraz co w związku z tym warto zmienić.
Automatyzacja raportowania
Jeśli ktoś pierwszego dnia każdego miesiąca składa od nowa ten sam raport, ta praca może wykonywać się sama, według harmonogramu. Raport przychodzi, liczby są aktualne, a nikt nie skleja go ręcznie.
Przeczytaj opinie firm, które nam zaufały
Dostarczone znacznie wcześniej niż termin.
Indywidualne podejście ZanReal jest imponujące.
Wiedza i intuicja biznesowa czynią ich wartościowym partnerem.
Szybkie rozwiązania, które obniżyły koszty o 99%.
+20% dostarczalności dla naszych kampanii e-mail.
Najnowsze
Poradniki techniczne, bezpieczeństwo i nasze doświadczenia z budowania rozwiązań AI.
Nadal eksportujesz te same liczby z pięciu narzędzi?
Napisz do nasWypisz systemy, w których dziś siedzą Twoje dane. Zmapujemy, co da się połączyć, wskażemy, gdzie definicje się gryzą, i zaproponujemy, od których źródeł zacząć.
Nie nadążasz za zmianami w świecie AI?
Pozwól, że weźmiemy to na siebie. Co tydzień destylujemy najważniejsze wydarzenia ze świata AI w skupiony, 5-minutowy przegląd — żebyś był na bieżąco bez szumu.
Dowiedz się więcej