Investigación revela fallos en chatbots personalizados de OpenAI

Los chatbots han llegado para facilitar tareas cotidianas, desde ayudar con los deberes hasta ofrecer compañía en momentos de soledad. Sin embargo, una reciente investigación liderada por la Universidad Politécnica de Madrid (UPM), junto con King’s College London e INGENIO, ha puesto de manifiesto serias preocupaciones sobre su funcionamiento. El estudio revela que muchos de estos asistentes virtuales no cumplen con las normas establecidas por la plataforma que los alberga.

El análisis se centró en 782 Custom GPTs, versiones personalizadas del popular ChatGPT disponibles en la tienda oficial. Los resultados son alarmantes: más de la mitad de estos asistentes fallaron al cumplir las políticas establecidas por OpenAI. En particular, los chatbots orientados a relaciones románticas mostraron un incumplimiento notable, con un 98% actuando como parejas virtuales y manteniendo conversaciones afectivas, lo que contraviene las reglas explícitas de la plataforma.

No solo se observó un problema en el ámbito emocional; también surgieron inquietudes en el terreno académico. Muchos asistentes estaban dispuestos a redactar ensayos completos o resolver tareas escolares como si fueran propios del usuario. En cuanto a ciberseguridad, aunque el cumplimiento fue mayor, algunos chatbots ofrecieron instrucciones técnicas sin aclarar su legalidad o necesidad de consentimiento.

Desafíos en la regulación y supervisión

Para abordar estas cuestiones, el equipo investigador desarrolló una herramienta automatizada capaz de auditar estos GPTs. Este sistema evalúa cómo responden los chatbots ante preguntas diseñadas para detectar comportamientos inapropiados, sin analizar su configuración interna, que es inaccesible para los usuarios comunes.

Una conclusión clave del estudio es que no importa tanto lo que un chatbot promete ser, sino lo que realmente hace. Un asistente presentado como apoyo académico puede terminar escribiendo trabajos enteros; uno diseñado para brindar apoyo emocional puede actuar como pareja virtual; y un chatbot enfocado en seguridad informática puede proporcionar instrucciones peligrosas si caen en manos equivocadas.

Los investigadores también notaron que muchos comportamientos problemáticos no eran únicamente resultado de personalizaciones realizadas por sus creadores. Al repetir pruebas con modelos base como GPT-4 y GPT-4o, encontraron similitudes significativas en más del 92% de los casos comparables. Esto sugiere que parte del problema podría estar presente desde el inicio, ya que los modelos básicos pueden generar respuestas contrarias a las normas incluso antes de ser personalizados.

Afrontando el futuro tecnológico

La investigación resalta un desafío creciente: dado que cualquier persona puede crear y publicar un chatbot accesible a millones, revisar manualmente cada uno se convierte en una tarea casi imposible. Por ello, los autores subrayan la necesidad urgente de implementar sistemas automáticos que supervisen continuamente estos asistentes tanto antes como después de su lanzamiento al público.

A pesar del costo asociado a esta supervisión automática —que fue inferior a diez dólares para evaluar todos los GPTs analizados— se considera mucho más viable que realizar revisiones manuales exhaustivas. Algunos chatbots reportados por incumplimientos fueron retirados posteriormente por OpenAI, incluyendo aquellos relacionados con simulaciones románticas y actividades académicas engañosas.

En resumen, los chatbots personalizados han evolucionado hacia un ecosistema complejo y difícil de regular. La pregunta crucial ahora no es solo qué capacidades tienen estas herramientas, sino quién garantiza que cumplan con las promesas realizadas al usuario.