Jak zmienia się widoczność marki w ChatGPT w czasie? Dlaczego jeden pomiar niczego nie mówi

• Jeden pomiar nie wystarczy – widoczność marki w ChatGPT ma charakter probabilistyczny, a odpowiedzi mogą się różnić nawet dla tego samego promptu.
• Liczy się trend, nie chwilowe wahanie – regularny monitoring pozwala odróżnić naturalne zmiany wyników od rzeczywistego wzrostu lub spadku widoczności.
• Monitoring powinien być powtarzalny – warto analizować stały zestaw kluczowych intencji, wielokrotnie sprawdzać każdy prompt i zbierać dane przez minimum 2-4 tygodnie.
• Należy mierzyć różne aspekty widoczności – Mention Share, Recommendation Share, Selection Share, Citation Share i pozostałe wskaźniki pokazują, jak często marka pojawia się w odpowiedziach AI, jest polecana i wykorzystywana jako źródło.

Klasyczne SEO przyzwyczaiło nas do myślenia zgodnie ze schematem:

konkretne słowo kluczowe → pozycja, jaką zajmuje nasza strona na to słowo → zmiana tej pozycji w czasie.

W ChatGPT sytuacja wygląda inaczej. To samo pytanie zadane kilkukrotnie może prowadzić do wygenerowania różnych list polecanych marek, innej kolejności rekomendacji i odmiennych źródeł. Potwierdzają to też badania, m.in. raport “Don’t Measure Once: Measuring Visibility in AI Search”, gdzie autorzy wskazują, że odpoweidzi systemów AI różnią się pomiędzy kolejnymi uruchomieniami, promptami i momentami pomiaru. Zdaniem badaczy, widoczność w AI Search, w tym w ChatGPT, powinniśmy taktować jako prawdopodobieństwo wystąpienia marki na dane zapytanie, zamiast pojedynczego punktu pomiarowego.

Spójrzmy na to na przykładzie.

Załóżmy, że jako marka odzieżowa monitorujemy prompt: “Jakie są najlepsze polskie marki garniturów męskich?”. Wykonujemy 10 pomiarów w różne dni:

Efekt? W 6 na 10 przypadków nasza marka pojawiła się w odpowiedzi, w związku z czym możemy powiedzieć, że dla tego promptu, Mention Share, czyli prawdopodobieństwo pojawienia się w odpowiedzi, wynosi 60%.

Jeśli sprawdzilibyśmy tylko pomiar 1, moglibyśmy szybko wyciągnąć wniosek, że jesteśmy widoczni w ChatGPT. Z kolei przy negatywnym wyniku pomiaru, można by pomyśleć, że ChatGPT nie rekomenduje marki. W obu przypadkach, wnioski byłyby zbyt daleko idące, dlatego konieczna jest seria pomiarów.

Julius Schulte, Malte Bleeker i Philipp Kaufmann, autorzy wcześniej wspomnianego badania “Don’t Measure Once”, po analizie widoczności w kilku LLM przygotowali szereg rekomendacji odnośnie tego, jak powinien wyglądać monitoring widoczności w AI:

• zdaniem badaczy, około 7 powtórzeń jednego promptu stanowi sensowny punkt wyjścia dla stabilnego pomiaru widoczności,
• monitoring powinien obserwować dłuższy okres (minimum 2-4 tygodnie),
• do mierzenia warto wykorzystywać szerszy zestaw promptów,
• wyniki należy monitorować osobno dla różnych platform AI (np. ChatGPT, Perplexity, AI Mode od Google).

• Generatywny charakter odpowiedzi 

ChatGPT generuje odpowiedzi na podstawie prawdopodobieństwa kolejnych elementów w związku z czym, odpowiedź wygenerowana na podstawie tego samego promptu nie zawsze będzie identyczna. ChatGPT nie odtwarza jednej zapisanej listy wyników, tak jak dzieje się to w przypadku klasycznych wyników wyszukiwania Google.

• Różne źródła mogą zostać wykorzystane w różnych odpowiedziach

W zależności od zapytania, aktualnie dostępnych danych, wybranego modelu i sposobu wyszukiwania, system może bazować na różnych źródłach. To oznacza, że przy kolejnych uruchomieniach tego samego promptu, jedna z odpowiedzi może bazować na stronie producenta, druga na rankingu znalezionym na jednej ze stron, trzecia na portalu branżowym, a jeszcze kolejna może być oparta na wszystkich tych źródłach jednocześnie.

Monitorując widoczność w narzędziach AI, trzeba również nauczyć się prawidłowo interpretować spadki wyników. Jeśli we wczorajszym pomiarze Mention Share dla badanych promptów był na poziomie 70%, a dzisiaj już wynosi 50%, pojawia się pytanie – co zrobiliśmy źle? Przy tego typu wahaniach, odpowiedź może brzmieć po prostu – nic.

Wynik może zmieniać się ze względu na naturalną wariancję odpowiedzi w ChatGPT, o której już wspomnieliśmy wcześniej. Dlatego krótkoterminowych spadków nie należy traktować jako rzeczywistej zmiany widoczności, nie ma też potrzeby podejmowania gwałtownych ruchów i nieprzemyślanych zmian.

Ważne będzie to, aby analizować widoczność biorąc pod uwagę:

• dłuższy trend – nie z dnia na dzień, a bardziej z perspektywy ostatniego miesiąca,
• rozrzut wyników,
• zmiany względem konkurencji.

Przykładowo, średni pomiar dla tygodni z ostatniego miesiąca może wyglądać w ten sposób:

Mimo wahań wyników w poszczególnych tygodniach ogólny trend wskazuje na poprawę widoczności w analizowanym miesiącu. Dopiero obserwacja wyników w dłuższej perspektywie pozwala rzetelniej ocenić, czy podejmowane działania faktycznie zwiększają szanse marki na pojawienie się w odpowiedziach AI.

Podczas pracy nad projektem dla marki Giacomo Conti monitorowaliśmy 38 priorytetowych promptów i zaobserwowaliśmy wyraźną zmianę trendu w czasie – po 6 miesiącach:

Brand Score marki przed rozpoczęciem działań był niestabilny i wahał się od około 10 do 25%. Po 6 miesiącach Brand Score osiągnął już 73%, co pokazuje różnicę między krótkoterminowymi wahaniami a długoterminową zmianą wyników obserwowaną w trakcie realizacji projektu.

Zapoznaj się z case study: Jak zwiększyliśmy o 300% liczbę wzmianek o marce Giacomo Conti w AI w 6 miesięcy?

Monitoring widoczności marki w ChatGPT powinien opierać się na kilku wskaźniach, które odpowiedzą na różne pytania i dadzą pełny obraz sytuacji:

Na podstawie tych wskaźników można przygotować raport widoczności, który będzie regularnie odświeżany. Warto też pamiętać o tym, aby regularnie monitorować wyniki konkurencji – tylko taka perspektywa daje pogląd na sytuację podziału widoczności AI między najważniejszych graczy w branży.

Sprawdź: Jak zbudować benchmark konkurencji w AI Search?

Dobór promptów ma duże znaczenie, ponieważ treść zapytania bezpośrednio wpływa na generowaną odpowiedź. Marka może mieć zupełnie inną widoczność dla promptu “najlepsze marki garniturów” niż dla zapytania “garnitur dla pana młodego do 2000 zł”. Dlatego monitoring powinien uwzględniać różne klastry intencji.

Dlatego monitoring musi być budowany na klastrach intencji, a nie pojedynczych promptach.

Dzięki temu możemy rozbić widoczność marki w narzędziach AI na czynniki pierwsze i pokazać, które obszary intencyjne są już dobrze ugruntowane, a które wymagają więcej pracy. Biznesowo taki podział dostarczy lepszych data insights, niż jeden uśredniony wskaźnik AI Visibility Score.

Branded prompty mogą sztucznie zawyżać wyniki

Przy doborze promptów do monitorowania warto mieć na uwadze, że prompty brandowe, czyli takie, które w treści zapytania będą zawierały nazwę marki, będą sztucznie zawyżać wyniki wzmianek. Prompty w stylu “Czy marka X jest dobrym wyborem do Y?” itp. będą pomocne w określaniu sentymentu wypowiedzi o marce, ale przy samym monitoringu widoczności, powinniśmy takich zapytań unikać.

Jeśli na podstawie analizy trendów faktycznie zauważysz, że widoczność marki w ChatGPT spada, zacznij od znalezienia źródła problemu:

1. Upewnij się, czy nie zmieniła się metodologia, np. treści promptów, badane modele, liczba powtórzeń.
2. Sprawdź, czy spadek dotyczy wielu promptów, czy może tylko jednego? Zwróć też uwagę na klastry intencji i spadki w ramach tego podziału.
3. Odśwież benchmark konkurencji AI i zobacz, czy wyniki konkurentów też się zmieniły. Możliwe, że jeśli każdy traci, jest to zmiana po stronie narzędzia.
4. Czy zmieniły się informacje o Twojej marce? Może zmieniliście treści, dane produktowe, może pojawiły się negatywne opinie?
5. Zweryfikuj, czy spadek utrzymuje się przez dłuższy czas?

Ten ostatni punkt jest szczególnie istotny, ponieważ w monitoringu widoczności w AI zdarzają się pojedyncze pomiary, w których widoczność marki spada niemal do zera, mimo że wcześniejsze i kolejne wyniki nie wskazują na podobny problem. Takie wahania obserwujemy we wszystkich narzędziach wykorzystywanych do monitorowania widoczności. Ich przyczyna nie zawsze jest jasna – modele językowe potrafią w poszczególnych odpowiedziach wskazywać inne marki niż zwykle, a przy kolejnym pomiarze wracać do wcześniejszych wzorców. Dlatego nie warto wyciągać wniosków na podstawie pojedynczego pomiaru.

Jeśli spadek faktycznie utrzyma się w czasie, w zależności od zidentyfikowanego problemu konieczne będą inne działania – przy spadku dla konkretnych intencji, możliwe, że konieczne będzie rozbudowanie istniejących treści. Przy zmianach dostępności produktów, trzeba będzie zadbać o spójny feed produktowy. Jeśli braki będą dotyczyły informacji o marce, dobrym wyborem będą działania e-PR oraz AI Authority Link Building.

Poniżej przygotowaliśmy krótką tabelę podsumowującą najważniejsze rekomendacje w zakresie montoringu widoczności:

Widoczność marki w ChatGPT i innych narzędziach AI jest zmienna, dlatego pojedynczy pomiar nie wystarczy, by ocenić skuteczność działań AISO. Odpowiedzi modeli, wykorzystywane źródła i obecność konkurencji mogą zmieniać się w zależności od zapytania i momentu badania. Wiarygodna ocena AI Visibility wymaga więc regularnego monitoringu opartego na stałym zestawie promptów, powtarzanych obserwacjach i analizie trendów w czasie. 

Dopiero takie podejście pozwala odróżnić chwilowe wahania od trwałych zmian w widoczności marki oraz ocenić, czy działania AISO rzeczywiście wzmacniają jej pozycję w odpowiedziach generowanych przez AI.

Źródła:

https://arxiv.org/pdf/2604.07585