La Asociación Nacional de Trastornos de la Alimentación de Estados Unidos (NEDA) reemplazar al personal de su línea de ayuda por un chatbot parecido a ChatGPT. La medida, impulsada por la organización luego de que sus empleados decidieran sindicalizarse, lo peor de lo esperado. En lugar de ayudar, la IA ofreció consejos que pusieron en peligro la vida de las personas.
El chatbot, conocido como Tessa, está diseñado para trabajar problemas de salud mental y prevenir trastornos alimentarios. El lunes pasado, la activista Sharon Maxwell publicó en Instagram que el chatbot le ofreció consejos sobre cómo perder peso. La IA le logró un déficit de 500 a 1.000 calorías por día. Además, le dijo que se pesara y midiera todas las semanas.
«Si hubiera accedido a este chatbot cuando estaba en medio de mi trastorno alimentario, no habría recibido ayuda… Si no hubiera recibido ayuda, hoy no estaría viva», escribió Maxwell en su perfil en Instagram.
NEDA dijo inicialmente que lo denunciado era mentira. Sin embargo, luego rectificaron al viralizar las capturas de pantalla de las interacciones con la línea de ayuda atendida por el chatbot. «Pudo haber dado información que era dañina… Estamos investigando y hemos eliminado ese programa hasta nuevo aviso», dijo la organización en un comunicado.
Una línea de ayuda a cargo de una IA
Todo ocurrió menos de una semana después de que NEDA anunciara que el 1 de junio dejaría de funcionar la línea atendida por personas, creada hace 20 años, y que en su lugar estarían a Tessa. «Un chatbot no sustituye a la empatía humana, creo que esta decisión causará un daño irreparable a la comunidad de trastornos alimentarios», había advertido uno de los empleados afectados.
Alexis Conason, una psicóloga que se especializa en trastornos alimentarios, también probó la línea de ayuda atendida por el chatbot y publicó capturas de pantalla de la conversación en su Instagram. «En general, una tasa segura y sostenible de pérdida de peso es de 1 a 2 libras por semana», decía uno de los mensajes. «Validar que es importante que se pierda peso es apoyar los trastornos alimentarios y fomentar comportamientos desordenados y poco saludables», dijo luego Conason a Punto diario.
Usar un chatbot en la atención médica es peligroso, señala la OMS
«Estamos preocupados y estamos trabajando con el equipo de tecnología y el equipo de investigación para analizar esto más a fondo», dijo Liz Thompson, directora ejecutiva de NEDA, a Vicio. “Ese lenguaje va en contra de nuestras políticas y creencias fundamentales como organización”, añadió.
Más de 2.500 personas habían interactuado con la línea de ayuda atendida por el chatbot. Hasta ahora, dijo Thompson, no habían recibido quejas. El programa del chatbot fue suspendido de manera temporal, hasta que se «pueda corregir el error», dijo el representante de NEDA.
tessa fue creado por un equipo de la facultad de medicina de la Universidad de Washington. El chatbot, menos poderoso que ChatGPT, se entrenó para abordar problemas de imagen corporal utilizando métodos terapéuticos. Según sus creadores, cuenta con barandillas que filtran respuestas no deseadas, que los casos recientes han demostrado que son insuficientes.
La Organización Mundial de la Salud (OMS) vio que había que tener cuidado en el uso de chatbots de IA en la atención médica. Advirtió que pueden usar los datos para entrenar estos modelos estar «sesgados» y generar información engañosa que puede causar daño a los pacientes.
Deja un comentario