Ile rozmów bot domyka sam. Jak to policzyć uczciwie

Na każdej prezentacji chatbota pada jedna liczba: procent rozmów obsłużonych bez człowieka. Brzmi twardo, wygląda jak metryka i wchodzi prosto do uzasadnienia zakupu. Kłopot w tym, że nie ma jednej, powszechnie przyjętej definicji tego wskaźnika, więc każdy dostawca liczy go tak, jak mu wygodnie. Zanim zaczniesz porównywać oferty, musisz mieć własny sposób liczenia.

Containment rate, czyli udział rozmów domkniętych bez udziału konsultanta, to ułamek. Spory o niego prawie nigdy nie dotyczą licznika. Dotyczą tego, co wpada do mianownika.

Czy liczysz każde otwarcie okienka czatu, także te, w których ktoś kliknął i wyszedł bez słowa? Czy liczysz rozmowy, w których padło jedno pytanie i nie było reakcji na odpowiedź? Czy wliczasz ruch botów indeksujących i własne testy zespołu?

Dlatego pierwszy krok jest administracyjny, a nie analityczny. Zapisz w jednym akapicie, co uznajesz za rozmowę, jaki ruch odsiewasz i od którego dnia liczysz. Ten akapit jest wart więcej niż jakikolwiek wykres, bo bez niego porównanie dwóch kolejnych miesięcy nie ma podstaw.

Różnica jest ogromna. Ta sama miesięczna historia rozmów potrafi dać wynik lepszy o kilkanaście punktów procentowych wyłącznie dzięki wyrzuceniu z mianownika sesji bez żadnej wypowiedzi użytkownika. Żadna z tych definicji nie jest oszustwem, dopóki jest zapisana. Problem zaczyna się, gdy nie jest.

| Co trafia do mianownika | Co mierzysz naprawdę | |---|---| | Wszystkie otwarte sesje | Skuteczność widżetu, nie bota | | Sesje z co najmniej jednym pytaniem | Zdolność bota do odpowiadania | | Sesje z pytaniem w zakresie bazy wiedzy | Jakość samej bazy wiedzy |

Najbardziej użyteczna operacyjnie jest trzecia wersja, choć daje najniższy wynik. Odpowiada na pytanie, które faktycznie prowadzi do decyzji: czy bot zawodzi dlatego, że źle odpowiada, czy dlatego, że pytają go o rzeczy, których nigdy mu nie dano.

Trzeba też zadbać o jedną rzecz czysto techniczną: ruch automatów indeksujących i testy własnego zespołu należy odsiać przed liczeniem. Przy małych wolumenach potrafią przesunąć wynik mocniej niż jakakolwiek zmiana w konfiguracji bota.

Drugi wybór, który trzeba podjąć świadomie, dotyczy tego, co uznajesz za domknięcie. Sama nieobecność przekazania do konsultanta nie wystarcza, bo klient, który się poddał i zamknął okno, wygląda w statystyce identycznie jak klient obsłużony.

Rozdzielenie dwóch pojęć załatwia większość nieporozumień. Odbicie to rozmowa, która nie dotarła do człowieka. Rozwiązanie to sprawa, która została załatwiona. Wskaźnik mierzy pierwsze, a kupujesz drugie.

Bot, który na każde trudniejsze pytanie odsyła do formularza kontaktowego, pokaże znakomity wynik i wygeneruje falę maili. Bot, który odpowiada pewnie zawsze, nawet gdy nie ma podstaw w dokumentach, pokaże wynik jeszcze lepszy i część tych odpowiedzi będzie nieprawdziwa. Wskaźnik rośnie w obu przypadkach.

Jest jeszcze trzeci wariant, najtrudniejszy do wychwycenia. Klient dostaje odpowiedź poprawną, tyle że nie na swoje pytanie, i rezygnuje. W statystyce wygląda to jak sukces, w rzeczywistości jest utraconym kontaktem, którego nikt nigdy nie policzy.

Dlatego liczbę domkniętych rozmów trzeba czytać razem z tym, co dzieje się po nich, a nie w oderwaniu. Jak rozpisać taki pomiar krok po kroku, od definicji sesji po odsiew ruchu testowego, pokazuje metodyka pomiaru opisana przez Botino.

Pierwsza to odsetek pytań bez pokrycia w bazie wiedzy. To jedyna metryka w całym zestawie, która sama mówi, co zrobić dalej: każde takie pytanie jest gotowym zadaniem dla osoby uzupełniającej dokumenty. Platformy pokazują to różnie, w Botino znajdziesz takie rozmowy w historii, ale liczbę i tak trzeba wyciągnąć samodzielnie, bo nikt nie zrobi tego za ciebie w formie wskaźnika.

Druga to kontakty powtórzone w ciągu doby. Jeśli ten sam klient wraca kanałem mailowym albo telefonicznym kilka godzin po domkniętej rozmowie, domknięcie było pozorne. Ta liczba demaskuje sztucznie zawyżony wynik szybciej niż jakakolwiek analiza transkryptów.

Trzecia to udział rozmów przekazanych do człowieka, które zakończyły się reklamacją albo eskalacją. Rosnący udział oznacza, że bot oddaje sprawy za późno, już po zirytowaniu klienta.

Czwarta to koszt na rozmowę, liczony razem z abonamentem i czasem pracy osoby, która utrzymuje bazę wiedzy. Tu pojawia się pułapka rozliczeniowa: część dostawców sprzedaje nie liczbę rozmów, tylko pulę tokenów, czyli jednostek przetworzonego tekstu. W Botino plan startowy ma 2 mln tokenów miesięcznie, a wyższy 10 mln, więc na koszt jednostkowy wpływa również to, jak długie są odpowiedzi i ile materiału bot przeszukuje.

Weź liczbę rozmów domkniętych w miesiącu, pomnóż przez średni czas, jaki konsultant poświęcał wcześniej na takie zgłoszenie, i przelicz na godziny. Potem porównaj to z sumą abonamentu i czasu spędzonego na utrzymaniu.

Ten rachunek bywa brutalny. Przy dwustu rozmowach miesięcznie i pięciu minutach na zgłoszenie mówimy o niecałych siedemnastu godzinach, czyli o dwóch dniach pracy. Jeśli utrzymanie bazy wiedzy zjada pół dnia tygodniowo, oszczędność topnieje do symbolicznej.

Przy dwóch tysiącach rozmów miesięcznie ta sama arytmetyka daje wynik, przy którym dyskusja o abonamencie za kilkaset złotych przestaje mieć sens. Skala jest tu ważniejsza niż jakiekolwiek benchmarki z prezentacji dostawców, których i tak nie da się zweryfikować.

Wdrożenie nie zwraca się w firmach o małym i bardzo zróżnicowanym ruchu. Sto rozmów miesięcznie, z których każda dotyczy czegoś innego, to zbiór, z którego nie da się zbudować powtarzalności, a koszt utrzymania zostaje ten sam.

Nie zwraca się też tam, gdzie wiedza firmy nie istnieje w formie dokumentu. Jeśli odpowiedzi siedzą w głowach trzech osób i w mailach, pierwszy miesiąc projektu to nie konfiguracja, tylko spisywanie, i ten koszt trzeba wpisać do rachunku od razu.

Trzeci przypadek to procesy wymagające decyzji, a nie informacji. Negocjacja, wycena indywidualna, rozpatrzenie sporu: tu wskaźnik będzie niski i takim powinien zostać, bo jego wzrost oznaczałby, że bot rozstrzyga rzeczy, których rozstrzygać nie powinien.

Jest też sytuacja, w której wskaźnik rośnie z powodów niezwiązanych z botem. Zmiana układu strony, przeniesienie widżetu na inną podstronę albo kampania sprowadzająca zupełnie inny ruch potrafią przesunąć wynik o kilka punktów bez jednej zmiany w konfiguracji. Dlatego obok liczby warto zapisywać, co jeszcze zmieniło się w danym miesiącu.

Sensowny sposób pracy z tą liczbą jest nudny i sprawdzony: ustal własną definicję, zapisz ją, mierz co miesiąc tak samo i nie porównuj się z nikim poza sobą sprzed kwartału. Narzędzia w rodzaju Botino dają dostęp do historii rozmów i do informacji o tym, na które pytania zabrakło materiału. Panel pokaże dane, natomiast to, co uznasz za rozmowę domkniętą, musisz zdefiniować sam.