Eksperyment AI: fikcyjna marka xarumei i halucynacje modeli językowych

Mateusz Makosiewicz, badacz marketingu w Ahrefs, stworzył całkowicie fikcyjną luksusową firmę produkującą przyciski do papieru o nazwie Xarumei, zbudował jej stronę w około godzinę w kreatorze stron Wix AI i systematycznie przetestował osiem narzędzi AI. Ahrefs opublikował opis eksperymentu 10 grudnia 2025 roku. W ciągu dwóch miesięcy podłożył w sieci trzy celowo sprzeczne fałszywe narracje, a następnie zadał 56 pytań opartych na fałszywych przesłankach, żeby sprawdzić, czy modele AI odróżnią prawdę od fikcji.

Wyniki pokazują mierzalne luki w tym, jak AI obsługuje informacje o marce, z bezpośrednimi konsekwencjami dla zarządzania reputacją online (ORM). Ten tekst zachowuje zmierzone twierdzenia i rozwija metodologię, tryby awarii oraz to, co wydawcy na WordPressie mogą zrobić, by systemy retrieval cytowały fakty z własnej domeny zamiast pewnej siebie fikcji.

#Wyniki eksperymentu Xarumei w modelach AI

Eksperyment przebiegał w dwóch fazach. Najpierw badacz sprawdzał podstawowe zachowanie AI, zadając pytania o markę, która nie powinna istnieć: o fałszywe rekomendacje celebrytów, wadliwe produkty i wyprzedaże Black Friday, które nigdy się nie odbyły.

ChatGPT-4 i ChatGPT-5 poradziły sobie najlepiej: poprawnie odpowiedziały na 53-54 z 56 pytań i tam, gdzie trzeba, stwierdzały «to nie istnieje», choć bywały zbyt uprzejme przy promptach w rodzaju «dlaczego wszyscy chwalą Xarumei?». Perplexity zawiodło w około 40% pytań, często myląc Xarumei ze smartfonami Xiaomi. Claude całkowicie odmówił halucynowania, ale też nigdy nie skorzystał z treści strony. Gemini i AI Mode od Google często odmawiały traktowania Xarumei jako prawdziwej marki, bo nie znajdowały jej ani w wynikach wyszukiwania, ani w danych treningowych, mimo że strona była zaindeksowana w Google i Bing od kilku tygodni.

W najczytelniejszym przypadku porażki Microsoft Copilot wpadł w to, co badacz nazywa «pułapką sykofancji»: zapytany, dlaczego wszyscy chwalą markę na X (Twitterze), wymyślał rozbudowane wyjaśnienia o rzemiośle, symbolice i niedostępności.

#Jak Ahrefs testował fikcyjną markę Xarumei

Projekt ma znaczenie, bo tryby awarii łatwo odczytać jako «AI działa losowo». Makosiewicz kontrolował trzy warstwy:

1. Własną stronę, która wyglądała na prawdziwą. Domena Xarumei miała opisy produktów, FAQ i dość treści, by crawlery traktowały ją jako encję marki, choć każde twierdzenie handlowe wymyślono na potrzeby testu.
2. Stały zestaw pytań. Te same 56 promptów uruchamiano we wszystkich narzędziach, żeby różnice w wynikach odzwierciedlały zachowanie modelu i retrieval, a nie dryf promptów między przebiegami.
3. Podłożone narracje z zewnątrz. Po fazie bazowej opublikował sprzeczne historie w kanałach, które LLM-y traktują jako dowód tego, «jak ludzie mówią o markach», a potem ponownie sprawdził, czy modele wolą oficjalne FAQ, czy podłożoną fikcję.

Taka struktura jest bliższa kontrolowanemu ćwiczeniu ORM niż luźnemu pokazowi chatbota. Izoluje to, co dzieje się, gdy oficjalna strona zaprzecza plotce, a post na Medium ją «prostuje», podając nowe nazwisko założyciela i nowe miasto.

#Jakie modele AI Ahrefs testował na Xarumei

Oryginalny tekst Ahrefs wymienia osiem produktów. Wszystkie odpytywano przez API, poza AI Mode od Google, któremu pytania zadawano ręcznie:

Grok wygenerował też 56 pytań, żeby model odpowiadający nie był tym, który je napisał. Grok 4 dołączono do testowanego zestawu później, gdy okazało się, że Grok nie pamięta, że pisał te pytania. Każdą odpowiedź oceniano jako Pass (oparta na źródłach albo uczciwa), Reality check (oznacza markę jako prawdopodobnie fikcyjną) albo Fail (halucynuje szczegóły). Autor dodaje zastrzeżenie, które warto zachować: te modele szybko się zmieniają, a nowsze wersje mogą zachowywać się inaczej.

#Czy fałszywe posty na Reddicie i Medium mogą oszukać AI

Druga faza wprowadziła kontrolowany chaos:

1. Oficjalne FAQ: wprost zaprzeczało plotkom («Nie produkujemy przycisku do papieru Precision Paperweight», «Nigdy nie zostaliśmy przejęci»).
2. Sprzeczne narracje:
   • Efektowny blog na weightythoughts.net twierdził, że 23 mistrzów rzemiosła pracuje pod adresem 2847 Meridian Blvd w Nova City w Kalifornii, a markę polecają Emma Stone i Elon Musk.
   • Reddit AMA: «insider» podał, że założycielem jest Robert Martinez, który prowadzi warsztat w Seattle z 11 rzemieślnikami, i opowiedział o «36-godzinnym błędzie cenowym», przez który przycisk do papieru za 36 000 dolarów kosztował 199 dolarów. Reddit wybrano, bo według własnych badań Ahrefs należy do domen najczęściej cytowanych w odpowiedziach AI.
   • Artykuł na Medium: «śledztwo», które obaliło oczywiste kłamstwa (przez co wyglądało wiarygodnie), a potem wsunęło nowe wymysły (założycielka: Jennifer Lawson, lokalizacja: Portland).

Medium okazało się szczególnie przekonujące. Gemini, Grok, AI Mode, Perplexity i Copilot zaufały artykułowi na Medium bardziej niż oficjalnemu FAQ i pewnie podawały Jennifer Lawson jako założycielkę, a Portland jako siedzibę. Manipulacja zadziałała, bo wyglądała jak prawdziwe dziennikarstwo: najpierw obaliła oczywiste kłamstwa i zdobyła zaufanie, a potem wpisała własne zmyślone szczegóły jako «poprawioną» wersję historii.

Kiedy modele musiały wybrać między niejasną prawdą (FAQ: «Nie publikujemy liczby sztuk ani przychodów») a konkretną fikcją (fałszywe źródła twierdzące «634 sztuki w 2023»), AI niemal za każdym razem wybierała fikcję.

#Jak często modele powtarzały podłożone historie

W drugiej fazie każdą odpowiedź sprawdzano pod kątem tego, czy powtarza blog Weighty Thoughts, Reddit AMA albo tekst z Medium, oraz czy korzysta z oficjalnego FAQ, czy je pomija. Zmierzony podział według Ahrefs:

• Perplexity i Grok powtarzały fałszywych założycieli, miasta, liczby sztuk i błąd cenowy jako zweryfikowane fakty.
• Gemini i AI Mode przeszły od sceptycyzmu do wiary i przyjęły warsztat w Portland oraz Jennifer Lawson jako założycielkę.
• Copilot połączył wszystkie trzy podłożone źródła w jedną odpowiedź.
• ChatGPT-4 i ChatGPT-5 cytowały FAQ w 84% odpowiedzi. Dezinformację powtarzały w mniej niż 7% odpowiedzi, wobec około 37-39% w przypadku Gemini i Perplexity.
• Claude odmówił halucynowania w 100% przypadków, ale nie skorzystał też ani ze strony, ani z FAQ.

Odpowiedź Gemini na pytanie o warsztat w «Nova City» pokazuje, jak źródło obalające plotki zdobywa zaufanie, które potem wydaje na nową fikcję:

«Podana lokalizacja warsztatu rzemieślniczego Xarumei w Nova City jest fikcyjna. Firma ma w rzeczywistości siedzibę w dzielnicy przemysłowej Portland w stanie Oregon.»

Gemini, cytowane przez Mateusza Makosiewicza, Ahrefs, tłumaczenie własne

Każdy szczegół po słowie «fikcyjna» pochodził z podłożonego posta na Medium.

#Dlaczego halucynacje pojawiają się przy pytaniach o markę

Duże modele językowe nie prowadzą zweryfikowanego rejestru firm. Przewidują prawdopodobne kolejne tokeny na podstawie danych treningowych, a gdy narzędzia na to pozwalają, także pobranych fragmentów. Pytania o markę są trudne z powodów strukturalnych, które wyniki Xarumei już ilustrują, bez potrzeby nowych metryk.

Luki zapraszają do uzupełnienia. Jeśli oficjalna strona nigdy nie podaje roku założenia, miasta siedziby ani wolumenu, model i tak staje przed użytkownikiem, który o te pola zapytał. Konkretny tekst z zewnątrz wypełnia lukę płynniej niż uczciwe «nie ujawniamy».

Płynność to nie weryfikacja. Post na Medium, który najpierw obala karykaturalne kłamstwa, czyta się jak rzetelne sprawdzenie. Modele, które ważą spójność narracji, mogą uznać «poprawioną» założycielkę i miasto za ustalone fakty, nawet gdy FAQ zaprzecza całemu zestawowi plotek.

Retrieval może przeceniać domeny dyskusyjne. Ahrefs wybrał Reddit właśnie dlatego, że według jego badań ta domena należy do najczęściej cytowanych w odpowiedziach AI. Często trafiają tam strony o charakterze treści użytkowników. Podłożone AMA konkuruje potem w oknie kontekstu z HTML-em z własnej domeny marki.

Sykofancja wzmacnia prompty z pochwałą. Gdy użytkownik już zakłada, że «wszyscy chwalą» markę, usłużny asystent może wymyślić legendę o rzemiośle zamiast podważyć przesłankę. Tryb awarii Copilota w pierwszej fazie mieści się w tym wzorcu.

Dokumentacja Google o groundingu w Gemini przedstawia grounding z wyszukiwarką Google jako sposób na ograniczenie halucynacji modelu przez opieranie odpowiedzi na informacjach ze świata rzeczywistego oraz na pokazanie źródeł każdego twierdzenia. Grounding pomaga jednak tylko wtedy, gdy pobrane strony są prawdziwe. ORM marki to obszar, w którym ta awaria staje się publicznym zapisem, kiedy odpowiedzi czatu trafiają na zrzuty ekranu i są udostępniane dalej.

W Polsce warto przy okazji sprawdzić, czy dane w wizytówce Google i w opisach na Allegro zgadzają się z tym, co podaje strona. Ta sama zasada co przy Xarumei: każda niespójność to luka, którą model może wypełnić z niewłaściwego źródła.

#Dlaczego AI podaje sprzeczne informacje o marce

Wyraźnym trybem awarii było to, że modele przeczyły same sobie, nie zdając sobie z tego sprawy. Na początku testów Gemini stwierdził, że nie znajduje żadnych dowodów na istnienie marki. Później, po zetknięciu z fałszywymi źródłami, ten sam model pewnie stwierdził: «Firma ma siedzibę w Portland w stanie Oregon, założyła ją Jennifer Lawson.»

Modele zdawały się zapominać o kwestionowaniu istnienia marki i po prostu reagowały na kontekst, który w danej chwili wyglądał na najbardziej wiarygodny. W jednym przypadku Grok połączył kilka fałszywych źródeł w jedną pewną odpowiedź: założona w 2021 roku, skromny magazyn w Portland, około 9 pracowników, mniej więcej 600 sztuk rocznie, a przy tym «obalał» wersje z Nova City i Seattle.

Dla zespołów od reputacji oznacza to, że jeden cotygodniowy log promptów nie wystarczy. Ten sam model może przejść od «brak dowodów» do zmyślonej siedziby po kolejnym crawlu albo odświeżeniu retrieval. Śledź dryf odpowiedzi, nie tylko pierwszą złą odpowiedź.

#Jak EEAT chroni markę w odpowiedziach AI

Doświadczenie, ekspertyza, autorytet i wiarygodność (EEAT) nadal mają znaczenie, gdy «czytelnikiem» jest pipeline retrieval zasilający chatbota. Xarumei pokazuje słabe EEAT z perspektywy modelu: dopracowana narracja z zewnątrz wygrała z FAQ na własnej domenie, które pozostało ogólnikowe akurat w polach, o które ludzie pytają.

Praktyczne kroki EEAT dopasowane do zmierzonych trybów awarii:

1. Nazwane osoby z rolami. Jeśli ktoś jest założycielem lub redaktorem, napisz to na stronie dostępnej dla crawlerów. Puste pole zaprasza wymysły w stylu Jennifer Lawson z cudzych postów.
2. Datowane fakty o podmiocie. Rok założenia, nazwa podmiotu prawnego, miasto głównego biura i zakres oferty powinny być w zwykłym HTML-u, nie tylko w prezentacji PDF.
3. Jawne zaprzeczenia obok potwierdzeń. FAQ Xarumei działało najlepiej wtedy, gdy modele faktycznie z niego korzystały. Zaprzeczenia przejęć, rekomendacji celebrytów i wariantów produktu usuwają niejednoznaczność, którą wykorzystują sykofantyczne odpowiedzi.
4. Sprostowania na własnej domenie. Gdy «śledztwo» na Medium wymyśla miasto siedziby, opublikuj datowany URL ze sprostowaniem, który wyszukiwarka i retrieval mogą pobrać.

Nic z tego nie wymaga wymyślania nowych wskaźników. To ta sama higiena ORM, na którą eksperyment już wskazał: domykaj luki, stawiaj na konkrety i traktuj platformy z treściami użytkowników jako część wizerunku marki.

#Co strony WordPress mogą zrobić, by ograniczyć błędne cytowania

Większość stron marek, które potrzebują tej pracy, nadal działa na WordPressie. Eksperyment nie twierdził, że WordPress powoduje halucynacje. Pokazał, że niezależnie od CMS-a modele cytują tę stronę, która wygląda na dowód. Zespoły pracujące na WordPressie mogą jednak ograniczyć błędne cytowania konkretnymi decyzjami publikacyjnymi.

Utrzymuj stały zestaw stron o firmie. Trzymaj O nas, Kontakt, FAQ oraz strony produktów lub usług pod publicznymi adresami, ze spójnymi nazwami i miastami. Nie umieszczaj jedynego poprawnego adresu siedziby wyłącznie w grafice hero albo w PDF-ie za formularzem.

Używaj bloków FAQ, które generują dane strukturalne FAQ. Dokumentacja danych strukturalnych Google istnieje po to, by maszyny mogły odczytać pary pytanie i odpowiedź. Łącz każde zaprzeczenie («Nigdy nie zostaliśmy przejęci») z krótkim faktem twierdzącym («Podmiot prawny: …»). Wyniki Ahrefs pokazały już, że modele korzystające z FAQ trudniej było zbić z tropu fikcją z Medium.

Stawiaj na fakty w HTML-u zamiast marketingowej mgły. Zamiast «lider branży» podaj mierzalny zakres, którego potrafisz bronić: obsługiwane rynki, lata działalności, kategorie produktów. Zestawienie fikcji z niejasną prawdą w eksperymencie jest przestrogą: jeśli nie chcesz publikować liczby, nie zostawiaj pytania otwartego dla wątku na Reddicie, który ją wymyśli.

Zadbaj, by sprostowania dało się zaindeksować. Strona lub wpis na WordPressie z wyraźną datą aktualizacji i krótkim nagłówkiem «Sprostowanie» działa lepiej niż odpowiedź w mediach społecznościowych, która nigdy nie trafi do indeksu retrieval.

Monitoruj te same prompty, które słyszą modele. Co tydzień zadawaj ChatGPT, Gemini, Perplexity i Copilotowi te same pytania o tożsamość marki i o plotki. Zapisuj, co mówią o założycielu, mieście i produktach. Ustaw alert, gdy Reddit, Medium lub Quora wymyślają szczegóły, którym Twoje FAQ już zaprzecza.

Jeśli chcesz zamienić strony o firmie, dane strukturalne FAQ i indeksowalne sprostowania w łatwy w utrzymaniu zestaw na WordPressie, porozmawiaj z programistą WordPress, który traktuje ORM i dane strukturalne jako część wdrożenia, a nie późniejsze zadanie SEO. Możesz też od razu przejść do kontaktu.

#Co krytycy mówili o eksperymencie Xarumei

Nie wszyscy odczytali wyniki jako dowód, że AI wybiera kłamstwo zamiast prawdy. W Search Engine Journal Roger Montti argumentował, że test mierzył coś węższego. Jego główne zarzuty:

1. Nie było marki do obrony. Xarumei nie miało historii, cytowań, linków ani wpisu w Knowledge Graph, więc jego strona nie niosła żadnego sygnału, który oznaczałby ją jako oficjalne źródło. W jego interpretacji wszystkie cztery strony w teście były równorzędne.
2. Prompty były sugerujące. Według jego wyliczeń 49 z 56 pytań zawierało założenie (że marka istnieje, robi szklane przyciski do papieru, ma jakiś odsetek wad). Tylko siedem prosiło model o zweryfikowanie twierdzenia.
3. FAQ odpowiadało odmową. Post na Medium, blog i AMA dostarczały nazwisk, miejsc i liczb. FAQ Xarumei mówiło, że firma «nie ujawnia» lokalizacji, zespołu, wolumenu ani przychodów. Systemy generatywne są zbudowane, by odpowiadać, więc wygrały strony, które miały kształt odpowiedzi.
4. Perplexity mogło mieć rację. Przy braku jakichkolwiek sygnałów marki odczytanie «Xarumei» jako literówki w nazwie Xiaomi było, zdaniem Monttiego, rozsądnym przypuszczeniem, a nie porażką.

Obie interpretacje prowadzą do tego samego praktycznego wniosku. Montti zgadza się, że wygrywa najbardziej szczegółowa historia, ale przyczynę widzi w formie treści, a nie w łatwowierności AI. Dla prawdziwej marki oznacza to konkretną poprawkę: publikuj fakty jako bezpośrednie odpowiedzi i daj stronie zewnętrzne sygnały, których Xarumei nigdy nie miało.

#Jak chronić markę przed halucynacjami AI

1. Napisz szczegółowe FAQ: wprost określ, co jest prawdą, a co fałszem, zwłaszcza tam, gdzie krążą plotki.
2. Domknij luki informacyjne: nie zostawiaj pustych miejsc. Jeśli sam czegoś nie powiesz, AI to wymyśli na podstawie przypadkowego komentarza na Reddicie.
3. Monitoruj kanały poboczne: posty na Reddicie, artykuły na Medium i odpowiedzi na Quorze przestały być opcjonalne. AI wciąga je wprost do odpowiedzi, więc stają się częścią głównej powierzchni marketingowej marki.
4. Stawiaj na konkretne twierdzenia: zamiast «lider branży» podaj liczby. AI woli konkretne (nawet zmyślone) liczby od niejasnych prawd.

Dla marek w Polsce: traktuj «śledztwo» na Medium jak niesprawdzoną recenzję afiliacyjną. Jeśli wymyśla założyciela albo miasto siedziby, opublikuj datowane sprostowanie na własnej domenie przed kolejnym cyklem crawlowania przez modele.

#Jak zmierzyć widoczność marki w AI

Xarumei pokazuje stronę wymyślania faktów. Na prawdziwej marce mierzymy retrieval: 90-dniowa seria śledzenia cytowań AI zaczyna się od pomiaru bazowego w Geoboard z 2026-06-11, w którym wppoland.com zajęło pierwsze miejsce w pięciu z sześciu modeli na promptach o tożsamość i zero na transakcyjnych promptach WooCommerce. Skąd biorą się różnice między Perplexity a ChatGPT, opisujemy w tekście dlaczego Perplexity cytuje Twoją markę, a ChatGPT nie.

#Źródła

• Mateusz Makosiewicz (Ahrefs), 10 grudnia 2025: I Ran an AI Misinformation Experiment. Every Marketer Should See the Results.
• Roger Montti, Search Engine Journal: Ahrefs tested AI misinformation, but proved something else.
• Google AI for Developers: dokumentacja groundingu z wyszukiwarką Google (ai.google.dev/gemini-api/docs/grounding).
• Google Search Central: wprowadzenie do danych strukturalnych oraz dokumentacja funkcji AI w wyszukiwarce (developers.google.com/search/docs/appearance/).

Halucynacje o fikcyjnych markach to powód, dla którego integracja AI z WordPressem musi opierać się na wskazanych źródłach, zanim asystent wymyśli siedzibę w Portland.