Metodologia

Pytania: to, o co pyta klient

Pomiar zaczyna się od tematów, czyli usług, których szukają Twoi klienci, np. „rejestracja domen” albo „escape room we Wrocławiu”. Do każdego tematu powstają dwa pytania: pełne zdanie, jakie ktoś wpisuje do czatu, i krótkie hasło, jakie wpisuje się do wyszukiwarki.

Nazwa Twojej marki nigdy nie pada w pytaniu. Pytanie „czy firma X jest dobra?” samo podaje modelowi odpowiedź i mierzy jego znajomość nazwy, a nie to, czy poleci Cię komuś, kto o Tobie jeszcze nie słyszał.

• Miasto pojawia się w pytaniu tylko przy firmach lokalnych, do których klient musi przyjechać.
• Zestaw pytań jest stały, dzięki czemu kolejne dni da się ze sobą porównać.
• Pytania możesz edytować, a jeśli połączysz Google Search Console, dostaniesz też propozycje z fraz, na które Twoja strona już się wyświetla.

Zobacz w słowniku: Prompt

Zbieranie odpowiedzi: tak, jak widzi je użytkownik

Pytamy przez zwykłe okno czatu w przeglądarce, a nie przez API. Odpowiedź z API potrafi się różnić od tej w czacie: inny model, inne wyszukiwanie w sieci, brak źródeł. Mierzymy to, co widzi człowiek.

Pytania idą z polskiego adresu IP. Wyszukiwanie w czatach, a najbardziej Google AI Overview, ustala kraj na podstawie adresu, więc pytanie zadane z zagranicy dostałoby wyniki dla innego rynku. Każde pytanie zaczyna nową rozmowę, więc wcześniejsze odpowiedzi nie wpływają na kolejne.

• Silniki: ChatGPT, Gemini, Perplexity, Microsoft Copilot i Google AI Overview. W okresie próbnym pierwsze trzy.
• Każde pytanie trafia do każdego silnika raz na dobę.
• Zapisujemy pełną treść odpowiedzi, źródła (linki z treści i z panelu źródeł) oraz zapytania, które model wysłał do wyszukiwarki, jeśli silnik je ujawnia (ChatGPT, Perplexity).

Zobacz w słowniku: Monitoring AI, Cytowanie

Analiza: jedna reguła dla marki i konkurentów

Każdą odpowiedź czyta model językowy. Jego zadanie to wypisać wszystkie firmy wymienione w odpowiedzi, a przy każdej podać miejsce na liście, sposób przedstawienia i ton. Twoja marka jest oceniana dokładnie tak samo jak konkurenci, z tej samej listy. Gdyby marka dostawała osobne, dokładniejsze pytania, jej wynik byłby zawyżony względem rywali.

Model może się pomylić, dlatego jego odpowiedź sprawdza kod. Firma trafia do wyników tylko wtedy, gdy jej nazwa rzeczywiście pada w tekście. Ocena tonu inna niż „wymieniona bez oceny” wymaga dosłownego cytatu z odpowiedzi. Cytat, którego w odpowiedzi nie ma, kasuje ocenę.

Różne zapisy jednej firmy („Otterly”, „Otterly AI”, „Otterly.ai”) łączymy w jedną pozycję. W przeciwnym razie jedna firma miałaby rozbite wzmianki na kilka wierszy.

Zobacz w słowniku: Wydźwięk i sentyment, LLM

Visibility Score

Każda odpowiedź dostaje od 0 do 10 punktów. Brak marki w odpowiedzi to 0. Gdy marka jest, punkty składają się z trzech części:

• Pozycja: 4 punkty za pierwsze miejsce, 3 za drugie, 2 za trzecie, 1 za dalsze.
• Sposób przedstawienia: 3 punkty, gdy marka jest polecana jako najlepszy wybór, 2 jako jedna z opcji, 1 za krótką wzmiankę.
• Ton: 3 punkty za pozytywny, 2 za neutralny, 1 za negatywny.

Zobacz w słowniku: Visibility Score, Mention Rate

Okno pięciu próbek

Ten sam model na to samo pytanie odpowiada każdego dnia trochę inaczej. Jedna odpowiedź to więc losowanie, a nie pomiar. Wynik każdej pary pytanie × silnik liczymy dlatego ze średniej z pięciu ostatnich odpowiedzi, nie starszych niż 14 dni. Każdy dzień dokłada jedną próbkę, więc okno zapełnia się po pięciu dniach. Do tego czasu przy wyniku stoi „wynik wstępny”.

Wyniki pytań uśredniamy w obrębie silnika, a silniki łączymy z wagami: ChatGPT 35%, Gemini 22%, Perplexity 17%, Google AI Overview 14%, Copilot 12%. Gdy któregoś silnika brakuje, wagi pozostałych przeliczają się proporcjonalnie.

Share of Voice

Share of Voice to Twój udział we wzmiankach: liczba odpowiedzi z Twoją marką wobec wszystkich wzmianek o Twojej marce i firmach z listy konkurentów, z tego samego okna. Liczą się tylko firmy z listy konkurentów, a nie każdy serwis wymieniony w odpowiedzi. Portal z recenzjami albo sprzedawca usług pobocznych zaniżałby Twój udział bez powodu. Firmę, której nie uważasz za konkurenta, możesz wyłączyć jednym kliknięciem, a wtedy znika też z tego wyliczenia.

Zobacz w słowniku: Share of Voice

Co nie jest zerem

Zero punktów dostaje wyłącznie poprawna odpowiedź, w której marki nie ma. Nieudane pobranie, blokada wyszukiwarki i brak AI Overview dla danego pytania nie wchodzą do wyniku wcale. To brak pomiaru, a nie dowód, że AI pominęło markę. Gdyby liczyć je jako zera, awaria po naszej stronie wyglądałaby jak spadek widoczności.

Czego pomiar nie mówi

Visibility Score to podsumowanie próbek, a nie odsetek użytkowników, którzy zobaczyli Twoją markę, ani prognoza sprzedaży. Pytamy z kont bez historii rozmów, a odpowiedź dla konkretnej osoby bywa spersonalizowana. Pomiar pokazuje kierunek i porównanie z konkurencją. Wpływ na biznes ocenisz dopiero razem z ruchem na stronie i zapytaniami od klientów.