Dane i AI

Wszystkie mają jedną wspólną cechę: zadanie jest trudne do spisania jako sztywna logika, ale łatwe do oceny przez człowieka, gdy jest już wykonane. To połączenie decyduje o tym, że warto sięgnąć po AI. Tam, gdzie logikę da się prosto sformułować, lepsza jest reguła. Jest tańsza i szybsza, a myli się w sposób, który da się przewidzieć.

Mówimy o tym na początku, bo najczęstszym powodem rozczarowania projektem AI w analityce jest zastosowanie go do problemu, który rozwiązałoby zwykłe zapytanie.

Krótkie wyjaśnienie tekstem, co się ruszyło i dlaczego, dołączone do cyklicznego raportu, dociera do osób, które nigdy nie otworzą narzędzia BI. Model pracuje na liczbach i ich historii, a nie na ogólnej wiedzy, i opisuje zmianę wobec poprzedniego okresu oraz wobec analogicznego okresu rok wcześniej. Nie spekuluje o przyczynach, których w danych nie widać.

Wykrywanie anomalii dotyczy sytuacji odwrotnej: coś się zmieniło, a nikt nie patrzył. Sztywne progi radzą sobie z tym słabo, bo normalny zakres zależy od dnia tygodnia, sezonu i etapu wzrostu. Model, który nauczył się kształtu metryki, potrafi zgłosić wtorek nietypowy jak na wtorek. Trudność nie leży w samym wykrywaniu, tylko w czułości: strumień alertów zawierający zwykłe wahania zostaje wyciszony w dwa tygodnie, dlatego dostrajamy go na historii, zanim cokolwiek wystartuje.

Prognoza to przedłużenie wzorców, które obowiązywały w przeszłości. Radzi sobie z sezonowością, trendem i znanymi efektami, takimi jak promocje. Nie radzi sobie z wejściem konkurenta na rynek, zerwaniem łańcucha dostaw ani ze zmianą własnego cennika, dla której nie ma precedensu w historii, na której się uczyła. Model, który twierdzi inaczej, jest przeuczony.

Prognozę użyteczną czyni dopiero przedział ufności wokół niej. Wiedza, że popyt w kolejnym miesiącu z określonym prawdopodobieństwem zmieści się między dwiema wartościami, wystarcza do decyzji o zapasie albo obsadzie. Pojedyncza liczba bez przedziału sugeruje precyzję, której nie ma, i to na nią spada wina, gdy rzeczywistość wygląda inaczej. Skuteczność raportujemy z testów na okresach, których wynik już znasz, żeby ocena modelu opierała się na dowodach, a nie na naszym opisie.

Modele językowe dobrze zamieniają pytanie zapisane słowami na SQL i to usuwa tę kolejkę dla prostych pytań. Charakterystyczna słabość jest warta zapamiętania: system odpowiada tak samo pewnie, gdy źle zrozumiał pytanie, połączył nie te tabele albo po cichu zignorował filtr. Rzadko przyznaje, że nie jest pewny.

Radzimy sobie z tym przez ograniczenia. Model odpytuje wyselekcjonowany, udokumentowany model danych, a nie surowe tabele produkcyjne, wygenerowane zapytanie jest pokazywane obok odpowiedzi, żeby dało się je sprawdzić, a takich interfejsów nie dopuszczamy do liczb trafiających bez weryfikacji do raportowania zewnętrznego. W tych granicach sprawdzają się dobrze przy eksploracji i przy wielu pytaniach, które dziś w ogóle nie padają.

Podsumowania raportów i alerty o anomaliach zwykle są najlepszym pierwszym krokiem: powstają szybko, łatwo je ocenić i od razu widać je poza zespołem danych. Prognozowanie warto robić wtedy, gdy historia to udźwignie. Wszystko inne łatwiej ocenić, gdy działa już jeden komponent AI, któremu ludzie faktycznie ufają.