Alucinaciones en IA, qué son y cómo detectarlas

 

Una alucinación, en términos generales, es una percepción en ausencia de un estímulo externo que tiene cualidades de ser una impresión real. Es decir, una experiencia en la que una persona percibe algo que no está presente en el entorno. Las alucinaciones pueden involucrar cualquiera de los sentidos, pero las más comunes son visuales y auditivas y en el caso de los humanos responden por lo general a estados alterados de consciencia.

Por otra parte, las «alucinaciones» de la Inteligencia Artificial se refieren a situaciones donde un sistema de IA genera respuestas o resultados erróneos, incoherentes o completamente sin sentido, especialmente en contextos donde se esperaría que produzca información precisa y coherente.

Este fenómeno afecta a prácticamente cualquier tipo de IA, incluyendo modelos de procesamiento de lenguaje natural, sistemas de visión artificial y otros algoritmos de aprendizaje automático. Todos los sistemas de generación de contenido, –entre ellos ChatGPT, Bard, Copilot o Bing Chat, entre otros– pueden presentar (y presentan) alucinaciones en sus resultados.

Alucinaciones famosas

En febrero de 2023, el modelo de IA Bard de Google afirmó que el telescopio espacial James Webb había tomado las primeras imágenes de un exoplaneta fuera de nuestro sistema solar, una respuesta falsa que se contradecía con los hechos conocidos en astronomía y que fue ampliamente contestada por la comunidad científica.

En mayo de 2023, el abogado de Nueva York A. Schwartz utilizó ChatGPT para elaborar una moción legal contra la aerolínea Avianca que resultó estar llena de opiniones judiciales y citas legales falsas. Perdió el caso y además fue amonestado por el juez.

Algunas respuestas de IA también ha sido señaladas por generar información completamente fabricada, como URLs falsas, bibliotecas de código, e incluso personas, estudios, libros y artículos de investigación inexistentes.

¿Por qué alucinan las IAs?

Las alucinaciones en inteligencia artificial se producen por varias razones, relacionadas con las limitaciones inherentes a los modelos de aprendizaje automático y los datos con los que estos sistemas han sido entrenados.

Algunas de las causas principales apuntan al entrenamiento con datos sesgados o incompletos, a la propia complejidad y abstracción del lenguaje, a las limitaciones del modelo en cuestión y a la interferencia de patrones anteriores. Es decir, a veces, las IAs se inventan los resultados.

En este punto cabría preguntarse ¿cómo es que este tipo de sistemas entregan información inexacta en lugar de contestar simplemente “no lo sé” o “este dato no lo tengo”?

La razón principal radica en que se trata de sistemas optimizados para “maximizar la respuesta”. Es decir, modelos como ChatGPT están entrenados para generar la respuesta más probable basada en el patrón de datos que han aprendido. No están programados para reconocer y admitir sus limitaciones o desconocimiento.

Sistemas carentes de conciencia

A diferencia de los humanos, y contrariamente a lo que podría parecer por su comportamiento, ChatGPT no posee conciencia real ni autoconciencia. No tiene la capacidad de evaluar su propio conocimiento o la falta de este. Simplemente, sigue su entrenamiento para generar respuestas basadas en los datos con los que fue entrenado.

Es decir, ChatGPT genera respuestas basadas en la probabilidad estadística derivada de los patrones en los datos de entrenamiento. Si no encuentra una respuesta clara o precisa, intentará generar la mejor respuesta posible según lo que «cree» basado en esos patrones, incluso si esa respuesta es inexacta o inventada.

Aunque ChatGPT es avanzado en el procesamiento del lenguaje, puede no llegar a reconocer cuándo un tema está fuera de su alcance de conocimiento o cuándo la información específica es necesaria, pero no está disponible en su entrenamiento.

Los modelos de lenguaje están diseñados para generar texto y ofrecer información, no hacia la omisión o el reconocimiento de la falta de conocimiento.

Cómo detectar las alucinaciones en IA

El gran problema de las alucinaciones de los sistemas de IA es que parecen muy reales; es información que tiene toda la pinta de ser verdadera, pero que en realidad es falsa.

El impacto de trabajar con información inexacta puede ser muy negativo para los profesionales que no conozcan y apliquen los controles adecuados antes de dar por bueno y finalizado un trabajo.

Algunos elementos que podemos considerar a la hora de detectar estos fallos son los siguientes:

  • Citas, referencias, estudios y autores. Cada vez que el contenido generado incluya alguno de estos elementos, deberíamos estar alerta y validar la información entregada, contrastándola con fuentes de información confiables, con hechos conocidos y también con expertos humanos expertos en el tema.
  • Pruebas de consistencia. Estar atentos de que la IA responde de manera consistente a preguntas o situaciones similares. Las inconsistencias notables podrían ser indicativas de alucinaciones.
  • Limitar el alcance de la IA. Se trata de definir claramente los límites dentro de los cuales la IA puede operar de manera confiable. Por ejemplo, limitar los temas o tipos de preguntas que puede responder con seguridad.
  • Análisis de patrones de error. Analizar los errores cometidos por la IA para entender sus limitaciones y áreas de mejora. Por ejemplo, en los casos de citas, datos y referencias suele haber más errores que a respuestas sobre temas simples y genéricos.

Es importante recordar que ninguna IA es perfecta y siempre existe la posibilidad de errores. Por lo tanto, es crucial utilizar la IA como una herramienta de apoyo en lugar de una fuente definitiva de información, especialmente en decisiones críticas.

Cuídate de las alucinaciones

Si 2024 viene con una tarea para los profesionales del marketing y la comunicación, esa es comprender el impacto de la IA en nuestras empresas o negocios. No solo se trata de conocer lo bueno, sino de evitar lo potencialmente perjudicial de los sistemas de IA. Y el de las alucinaciones es uno de esos capítulos.

Si quieres avanzar rápido en el dominio de la IA para ti como profesional o para tu empresa o negocio, inscríbete en las siguientes ediciones de curso intensivo de Inteligencia Artificial que tenemos preparadas para enero de 2024.

Puedes escoger la sesión presencial de Madrid (23 de enero) o la online o presencial de Barcelona (25 de enero). Más de 500 profesionales formados dan fe del resultado práctico y ejecutivo de la experiencia de vivir este curso express de un día.

Haz clic en la fecha de tu elección para acceder al programa del curso. También puedes obtener información enviándonos un email a info@community.es, por teléfono al +34 932 386 505, por WhatsApp al +34 687 044 744. Aprovecha las inscripciones con descuento por tiempo limitado.

 

Índice de IA de este artículo: texto, 60%; imagen, 90%.


Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

CURSO PRESENCIAL Y ONLINE

Community Manager (+IA) 2024

Barcelona - Presencial u Online
Jueves 27 de junio de 9 a 17h
close-link