LLM
Opracowanie: Heuriso · Weryfikacja treści:
LLM, czyli Large Language Model, to model AI wytrenowany na dużych zbiorach danych, który potrafi przetwarzać i generować język. Jest jednym z elementów działania współczesnych chatbotów.
Model a chatbot
Chatbot jest aplikacją, z którą rozmawiasz. Może korzystać z modelu językowego, wyszukiwarki i dodatkowych narzędzi. Dlatego odpowiedź aplikacji nie musi pochodzić wyłącznie z wiedzy zdobytej podczas treningu modelu.
Dlaczego odpowiedzi bywają różne?
Na odpowiedź wpływa treść pytania, wcześniejsza rozmowa, dostępne źródła i sposób działania aplikacji. Model może też wygenerować wiarygodnie brzmiącą informację, która jest błędna.
W Heuriso porównujemy zapisane odpowiedzi poszczególnych usług. Nie zakładamy, że wszystkie chatboty widzą markę w ten sam sposób.
Dlaczego model może pomylić informacje o firmie?
Model językowy nie przechowuje każdej informacji w postaci zatwierdzonej kartoteki. Generuje odpowiedź na podstawie wyuczonych zależności i otrzymanego kontekstu. Może więc połączyć dane o podobnie nazwanych firmach, przypisać produkt niewłaściwemu dostawcy albo przedstawić dawną ofertę jako aktualną. Dostęp do wyszukiwarki może pomóc, lecz również wtedy trzeba ocenić jakość znalezionych materiałów.
Z perspektywy właściciela marki oznacza to potrzebę publikowania jednoznacznych informacji. Nazwa firmy, adres domeny, zakres usług i warunki oferty powinny być ze sobą spójne. Nie chodzi o pisanie sztucznie pod model, lecz o ograniczanie niejasności, które utrudniają interpretację również człowiekowi. Warto sprawdzać, czy podobne nazwy produktów lub firm nie prowadzą do mylenia ich w odpowiedziach.
Warto odróżnić wiedzę modelu od dokumentów przekazanych w bieżącej rozmowie. Jeżeli użytkownik dołączy ofertę firmy, odpowiedź może uwzględnić jej zawartość bez jakiejkolwiek zmiany treningu. Taki wynik mówi o pracy z dostarczonym materiałem, a nie o spontanicznej znajomości marki.
Częsty błąd: utożsamianie modelu z całą usługą
Zmiana odpowiedzi chatbota nie musi oznaczać ponownego treningu modelu. Aplikacja mogła wykorzystać inne wyniki wyszukiwania, zmienić instrukcje albo dobrać inne narzędzie. Z kolei poprawienie strony nie aktualizuje automatycznie wiedzy wszystkich modeli. Dlatego w monitoringu zapisuj usługę, pytanie i datę odpowiedzi, zamiast przypisywać każdą zmianę jednemu mechanizmowi.
Przykład
Jeden chatbot może wymienić firmę na podstawie informacji znanych modelowi, a drugi znaleźć aktualny ranking w internecie i zaproponować inną listę.
Warto zapamiętać
Płynny i pewny styl odpowiedzi nie jest dowodem jej poprawności. Ważne informacje sprawdzaj w źródłach.