Publicado en

¿Por qué ChatGPT y otras IA inventan respuestas?

Por qué una respuesta plausible puede ser falsa

ChatGPT puede producir una afirmación convincente y falsa, incluso acompañada de una cita aparente. Se conoce como alucinación. La fluidez del texto informa de que la respuesta está bien construida, pero no de que sus afirmaciones estén respaldadas.

¿Qué le pasa al modelo cuando falta el dato?

Un modelo de lenguaje aprende regularidades de grandes cantidades de texto y genera una respuesta a partir del contexto. La continuación más probable puede tener buen aspecto sin coincidir con un hecho. El entrenamiento y determinadas evaluaciones también pueden premiar acertar por aproximación frente a reconocer la incertidumbre, según una investigación de OpenAI.

Un ejemplo que puedes detectar

Cuando pides una referencia sobre un tema muy específico, el modelo puede combinar un nombre de autor plausible, el título de una revista real y un artículo inexistente. También hay errores más difíciles: la fuente existe, pero su fecha, muestra o conclusión no respalda lo que dice la respuesta.

¿Cómo comprobarlo antes de usar el dato?

  1. Delimita qué afirmación necesitas verificar.
  2. Abre la fuente original y localiza el pasaje que la respalda.
  3. Comprueba fecha y contexto. Si el dato te importa y no lo encuentras, déjalo sin verificar.

Una herramienta de búsqueda o un conjunto de documentos puede dar al modelo mejor contexto. Conviene revisar igualmente cómo los interpreta. Consulta la investigación de OpenAI y nuestra reflexión sobre cómo la IA cambia la forma de buscar en la web.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *