Que sus respuestas sean verosímiles no significa que sean ciertas. La construcción de sus frases responde a cálculos de probabilidad, así que si la máquina ha aprendido de información falsa que hay publicada en la web lo que estará haciendo es replicar esos bulos. El riesgo va más allá. Un estudio de Anthropic ha señalado que cuanto más grandes sean los modelos de lenguaje usados para programar esos sistemas mayor tendencia tendrán a "responder preguntas en formas que crean cámaras de eco repitiendo las respuestas favoritas de los usuarios".