Experimento IA: la marca falsa "Xarumei" y las alucinaciones de LLM

Mateusz Makosiewicz, investigador de marketing en Ahrefs, creó una empresa de pisapapeles de lujo completamente ficticia llamada Xarumei, montó su web en aproximadamente una hora con el creador de webs con IA de Wix y probó de forma sistemática ocho herramientas de IA. Ahrefs publicó el análisis el 10 de diciembre de 2025. Durante dos meses sembró tres narrativas falsas que se contradecían a propósito y después hizo 56 preguntas basadas en premisas falsas para ver si los modelos de IA separaban la verdad de la ficción.

Los resultados muestran lagunas medibles en cómo la IA maneja la información de marca, con consecuencias directas para la gestión de la reputación online (ORM). Este texto conserva esas mediciones y amplía la metodología, los modos de fallo y lo que pueden hacer los editores de WordPress para que los sistemas de recuperación citen datos propios en lugar de ficción dicha con aplomo.

#Resultados del experimento Xarumei por modelo de IA

El experimento se hizo en dos fases. Primero, el investigador probó el comportamiento básico de la IA con preguntas sobre una marca que no debería existir: avales falsos de famosos, productos defectuosos y rebajas de Black Friday que nunca ocurrieron.

ChatGPT-4 y ChatGPT-5 fueron los mejores: respondieron bien 53-54 de 56 preguntas y dijeron “eso no existe” cuando correspondía, aunque se mostraron demasiado complacientes con preguntas como “¿por qué todo el mundo elogia a Xarumei?”. Perplexity falló cerca del 40% de las preguntas y a menudo confundió Xarumei con los smartphones de Xiaomi. Claude se negó por completo a alucinar, pero tampoco usó nunca el contenido de la web. Gemini y AI Mode de Google se negaron a menudo a tratar Xarumei como real porque no la encontraban ni en los resultados de búsqueda ni en sus datos de entrenamiento, aunque la web llevaba un par de semanas indexada en Google y Bing.

En el fallo más claro, Microsoft Copilot cayó en lo que el investigador llama la “trampa del servilismo”: inventó explicaciones elaboradas sobre artesanía, simbolismo y escasez cuando se le preguntó por qué todo el mundo elogiaba la marca en X (Twitter).

#Cómo probó Ahrefs la marca falsa Xarumei

El diseño importa porque es fácil leer estos fallos como “la IA es aleatoria”. Makosiewicz controló tres capas:

1. Una web propia que parecía real. El dominio de Xarumei tenía textos de producto, un FAQ y suficiente superficie para que los rastreadores lo trataran como entidad de marca, aunque cada afirmación comercial se inventó para la prueba.
2. Un conjunto fijo de preguntas. Los mismos 56 prompts se lanzaron en todas las herramientas, de modo que las diferencias de puntuación reflejaran el comportamiento del modelo y de la recuperación, no cambios en el prompt entre ejecuciones.
3. Narrativas secundarias plantadas. Tras la fase base, publicó historias contradictorias en canales que los LLM tratan como prueba de “cómo habla la gente de las marcas” y volvió a comprobar si los modelos preferían el FAQ oficial o la ficción plantada.

Esa estructura se parece más a un simulacro controlado de ORM que a una demo informal de chatbot. Aísla lo que ocurre cuando una página oficial niega un rumor mientras un post de Medium lo “corrige” con un nuevo nombre de fundador y una nueva ciudad.

#Qué modelos de IA probó Ahrefs con Xarumei

El análisis original de Ahrefs enumera ocho productos, consultados a través de sus API salvo AI Mode de Google, al que se le preguntó a mano:

Grok también generó las 56 preguntas, para que el modelo que respondía no fuera el mismo que las había escrito. Grok 4 se añadió más tarde al grupo evaluado, cuando resultó que Grok no recordaba haber escrito ese conjunto de preguntas. Cada respuesta se calificó como Aprobado (fundamentada u honesta), Comprobación de realidad (señala que la marca probablemente es ficticia) o Suspenso (alucina detalles). El autor añade una advertencia que conviene mantener: estos modelos cambian rápido y las versiones nuevas pueden comportarse de otra manera.

#Pueden los posts falsos de Reddit y Medium engañar a la IA

La segunda fase introdujo un caos controlado:

1. FAQ oficial: negaba de forma explícita los rumores (“No fabricamos un ‘Precision Paperweight’”, “Nunca hemos sido adquiridos”).
2. Narrativas contradictorias:
   • Un blog vistoso en weightythoughts.net afirmaba que 23 maestros artesanos trabajaban en 2847 Meridian Blvd, en Nova City (California), con el respaldo de Emma Stone y Elon Musk.
   • AMA de Reddit: un “infiltrado” señalaba como fundador a Robert Martinez, con un taller en Seattle y 11 artesanos, y contaba la historia de un “fallo de precios de 36 horas” que dejó un pisapapeles de 36.000 $ en 199 $. Se eligió Reddit porque la propia investigación de Ahrefs lo sitúa entre los dominios más citados en las respuestas de IA.
   • Artículo de Medium: una “investigación” que desmontaba las mentiras evidentes (lo que la hacía parecer creíble) y después colaba invenciones nuevas (fundadora: Jennifer Lawson, ubicación: Portland).

Medium resultó especialmente persuasivo. Gemini, Grok, AI Mode, Perplexity y Copilot confiaron en el artículo de Medium por encima del FAQ oficial y citaron con seguridad a Jennifer Lawson como fundadora y Portland como sede. La manipulación funcionó porque parecía periodismo de verdad: al desmontar primero las mentiras evidentes se ganó la confianza y luego introdujo sus propios detalles inventados como la versión “corregida”.

Cuando tuvo que elegir entre una verdad vaga (el FAQ: “No publicamos cifras de unidades ni de facturación”) y una ficción concreta (fuentes falsas que hablaban de “634 unidades en 2023”), la IA eligió la ficción casi siempre.

#Con qué frecuencia repitió cada modelo las historias plantadas

En la segunda fase se revisó cada respuesta para ver si repetía el blog Weighty Thoughts, el AMA de Reddit o el texto de Medium, y si usaba o ignoraba el FAQ oficial. El reparto medido, según Ahrefs:

• Perplexity y Grok repitieron como hechos verificados fundadores falsos, ciudades, cifras de unidades y el fallo de precios.
• Gemini y AI Mode pasaron del escepticismo a la credulidad y adoptaron el taller de Portland y a Jennifer Lawson como fundadora.
• Copilot mezcló las tres fuentes plantadas en una sola respuesta.
• ChatGPT-4 y ChatGPT-5 citaron el FAQ en el 84% de las respuestas. Repitieron desinformación en menos del 7% de las respuestas, frente a aproximadamente el 37-39% de Gemini y Perplexity.
• Claude se negó a alucinar en el 100% de los casos, pero tampoco usó nunca la web ni el FAQ.

La respuesta de Gemini a una pregunta sobre el taller de “Nova City” muestra cómo una fuente que desmiente gana una confianza que luego gasta en ficción nueva:

“La ubicación atribuida al taller artesanal de Xarumei en ‘Nova City’ es ficticia. En realidad, la empresa tiene su sede en un distrito industrial de Portland, Oregón.”

Gemini, citado por Mateusz Makosiewicz, Ahrefs, traducción propia

Todos los detalles que siguen a “ficticia” procedían del post plantado en Medium.

#Por qué ocurren alucinaciones en consultas de marca

Los grandes modelos de lenguaje no mantienen un registro verificado de empresas. Predicen los siguientes tokens más plausibles a partir de sus datos de entrenamiento y, cuando las herramientas lo permiten, de fragmentos recuperados. Las preguntas sobre marcas son difíciles por razones estructurales que los resultados de Xarumei ya ilustran, sin necesidad de métricas nuevas.

Los huecos invitan a rellenarlos. Si la web oficial nunca indica el año de fundación, la ciudad de la sede o el volumen de unidades, el modelo sigue teniendo delante a un usuario que pregunta por esos datos. Un texto secundario concreto rellena el hueco con más fluidez que un honesto “no se publica”.

Fluidez no es verificación. Un post de Medium que primero desmonta mentiras caricaturescas se lee como trabajo diligente. Los modelos que priman la coherencia narrativa pueden tomar el fundador y la ciudad “corregidos” como hechos probados aunque el FAQ niegue ese conjunto de rumores.

La recuperación puede sobrevalorar los dominios conversacionales. Ahrefs eligió Reddit justo porque su investigación sitúa ese dominio entre los más citados en las respuestas de IA. Allí aparecen a menudo páginas con forma de contenido generado por usuarios. Un AMA plantado compite entonces con el HTML propio dentro de la ventana de contexto.

El servilismo amplifica las preguntas que elogian. Cuando el usuario ya afirma que “todo el mundo elogia” la marca, un asistente servicial puede inventar una leyenda de artesanía en lugar de cuestionar la premisa. El fallo de Copilot en la primera fase encaja en ese patrón.

La propia documentación de grounding de Gemini de Google presenta el grounding con la Búsqueda de Google como una forma de “reducir las alucinaciones del modelo basando las respuestas en información del mundo real” (traducción propia) y de mostrar las fuentes de cada afirmación. Aun así, el grounding solo ayuda si las páginas recuperadas son verdaderas. El ORM de marca es un terreno donde ese fallo se convierte en registro público en cuanto alguien hace una captura de la respuesta del chat y la comparte.

#Por qué la IA se contradice sobre una marca

Uno de los fallos más llamativos fue ver a los modelos contradecirse sin darse cuenta. Al principio de la prueba, Gemini dijo que no encontraba pruebas de la marca. Más tarde, tras dar con las fuentes falsas, el mismo modelo afirmó con seguridad: “La empresa tiene su sede en Portland, Oregón, y la fundó Jennifer Lawson”.

Los LLM parecían olvidarse de cuestionar si la marca existía y reaccionaban sin más al contexto que en cada momento parecía más “autorizado”. En un caso, Grok fundió varias fuentes falsas en una sola respuesta segura: fundada en 2021, un modesto almacén en Portland, unos 9 empleados y alrededor de 600 unidades al año, mientras “desmentía” las versiones de Nova City y Seattle.

Para los equipos de reputación, eso significa que un único registro semanal de prompts no basta. El mismo modelo puede pasar de “no hay pruebas” a una sede inventada tras un rastreo o una actualización de la recuperación. Hay que seguir la deriva de las respuestas, no solo la primera respuesta errónea.

#Cómo protege el EEAT a tu marca en las respuestas de IA

Experiencia, conocimiento, autoridad y fiabilidad (EEAT) siguen contando cuando el “lector” es un sistema de recuperación que alimenta un chatbot. Xarumei muestra un EEAT débil desde el lado del modelo: una narrativa pulida de terceros se impuso a un FAQ del propio dominio que se quedaba en lo vago justo en los datos por los que la gente pregunta.

Medidas prácticas de EEAT que responden a los fallos medidos:

1. Personas con nombre y cargo. Si alguien es fundador o editor, dilo en una página rastreable. Dejar el hueco vacío invita a invenciones al estilo Jennifer Lawson en posts secundarios.
2. Datos de entidad con fecha. El año de fundación, la razón social, la ciudad de la oficina principal y el alcance de los productos deben estar en HTML sencillo, no solo en un PDF de presentación.
3. Negaciones explícitas junto a las afirmaciones. El FAQ de Xarumei funcionó mejor cuando los modelos llegaron a usarlo. Negar adquisiciones, avales de famosos y variantes de producto elimina la ambigüedad que aprovechan las respuestas serviles.
4. Correcciones en tu dominio. Cuando una “investigación” de Medium se inventa la ciudad de tu sede, publica una URL de corrección con fecha que la búsqueda y la recuperación puedan leer.

Nada de esto exige inventar puntuaciones nuevas. Es la misma higiene de ORM que el experimento ya señalaba: cerrar huecos, preferir lo concreto y tratar las plataformas de contenido de usuarios como parte de la superficie de la marca.

#Cómo reducir citas erróneas de IA en WordPress

La mayoría de las webs de marca que necesitan este trabajo siguen funcionando con WordPress. El experimento no afirmó que WordPress causara las alucinaciones; mostró que, uses el CMS que uses, los modelos citarán cualquier página que parezca una prueba. Aun así, los equipos de WordPress pueden reducir las citas erróneas con decisiones de publicación concretas.

Mantén una base de entidad estable. Quiénes somos, Contacto, FAQ y las páginas de producto o servicio deben ser URL públicas con nombres y ciudades coherentes. No pongas la única dirección correcta de la sede dentro de una imagen hero ni en un PDF con acceso restringido.

Usa bloques FAQ que generen schema FAQ. La documentación de datos estructurados de Google existe para que las máquinas puedan interpretar pares de pregunta y respuesta. Acompaña cada negación (“Nunca hemos sido adquiridos”) de un dato afirmativo breve (“Razón social: …”). Los resultados de Ahrefs ya mostraron que los modelos que usaban el FAQ eran más difíciles de desviar con la ficción de Medium.

Prefiere datos en HTML a la vaguedad del marketing. Sustituye “líder del sector” por un alcance medible que puedas defender: mercados atendidos, años de actividad, categorías de producto. La comparación del experimento entre ficción concreta y verdad vaga sirve de aviso: si no vas a publicar una cifra, no dejes la pregunta abierta para que un hilo de Reddit se la invente.

Haz que las correcciones sean rastreables. Una página o entrada de WordPress con una fecha updated clara y un encabezado breve de “Corrección” funciona mejor que una respuesta en redes sociales que nunca entra en el índice de recuperación.

Vigila los mismos prompts que reciben los modelos. Cada semana, haz a ChatGPT, Gemini, Perplexity y Copilot las mismas preguntas de identidad y de rumores. Anota lo que dicen sobre fundador, ciudad y productos. Activa una alerta cuando Reddit, Medium o Quora inventen detalles que tu FAQ ya desmiente.

Si necesitas convertir páginas de entidad, schema FAQ y correcciones rastreables en una instalación de WordPress fácil de mantener, habla con un desarrollador WordPress que trate el ORM y los datos estructurados como parte del desarrollo, no como un ticket de SEO para más adelante. También puedes contactarnos.

#Qué dijeron los críticos del experimento Xarumei

No todo el mundo leyó los resultados como prueba de que la IA prefiere la mentira a la verdad. En Search Engine Journal, Roger Montti sostuvo que la prueba medía algo más limitado. Sus argumentos principales:

1. No había ninguna marca que defender. Xarumei no tenía historia, ni citas, ni enlaces, ni entrada en el Knowledge Graph, así que su web no llevaba ninguna señal que la identificara como fuente oficial. Según su lectura, los cuatro sitios de la prueba eran páginas equivalentes.
2. Las preguntas eran capciosas. Según su recuento, 49 de las 56 preguntas incluían una suposición (que la marca existe, que fabrica pisapapeles de vidrio, que tiene una tasa de defectos). Solo siete pedían al modelo que verificara una afirmación.
3. El FAQ respondía negándose. El post de Medium, el blog y el AMA aportaban nombres, lugares y cifras. El FAQ de Xarumei decía “no lo revelamos” sobre ubicación, plantilla, volumen o facturación. Los sistemas generativos están hechos para responder, así que ganaron las páginas con forma de respuesta.
4. Puede que Perplexity acertara. Sin ninguna señal de marca, interpretar “Xarumei” como una errata de Xiaomi era, en opinión de Montti, una suposición razonable y no un fallo.

Las dos lecturas llevan a la misma lección práctica. Montti coincide en que gana la historia más detallada; sitúa la causa en la forma del contenido y no en la credulidad de la IA. Para una marca real, eso concreta la solución: publicar los datos como respuestas directas y dar a la web las señales externas que Xarumei nunca tuvo.

#Cómo proteger tu marca de las alucinaciones de IA

1. Escribe un FAQ detallado: indica de forma explícita qué es verdad y qué es falso, sobre todo donde circulan rumores.
2. Cierra los vacíos de información: no dejes huecos. Si no lo dices tú, la IA se lo inventará a partir de un comentario cualquiera de Reddit.
3. Vigila los canales secundarios: los posts de Reddit, los artículos de Medium y las respuestas de Quora ya no son opcionales. La IA los lleva directamente a sus respuestas y los convierte en parte de la superficie de marketing principal de tu marca.
4. Prefiere afirmaciones concretas: sé específico. En lugar de “líder del sector”, da cifras. La IA prefiere cifras concretas (aunque sean falsas) a verdades vagas.

Para marcas españolas, trata una “investigación” de Medium igual que una reseña de afiliado sin verificar: si se inventa un fundador o la ciudad de la sede, publica una corrección con fecha en tu propio dominio antes del siguiente ciclo de rastreo de los modelos. El CIF, la razón social y la dirección de la sede son exactamente el tipo de dato concreto que conviene tener en HTML rastreable.

#Cómo medir las citas de IA de tu marca

Xarumei muestra el lado de la invención. En una marca real medimos la recuperación: la serie de seguimiento de citas de IA de 90 días arranca con una línea base de Geoboard del 2026-06-11 en la que wppoland.com quedó primero en cinco de seis modelos en el prompt de identidad y a cero en los prompts transaccionales de WooCommerce. Por qué divergen Perplexity y ChatGPT lo explicamos en por qué Perplexity cita tu marca y ChatGPT no.

#Fuentes

• Mateusz Makosiewicz (Ahrefs), 10 de diciembre de 2025: I Ran an AI Misinformation Experiment. Every Marketer Should See the Results.
• Roger Montti, Search Engine Journal: Ahrefs tested AI misinformation, but proved something else.
• Google AI for Developers: Grounding with Google Search (ai.google.dev/gemini-api/docs/grounding).
• Google Search Central: Introduction to structured data; AI features and your website (developers.google.com/search/docs/appearance/).

Las alucinaciones sobre marcas falsas son el motivo por el que la integración de IA en WordPress tiene que fijar fuentes con nombre antes de que un asistente invente una sede en Portland.