Cuánto más avanzados son los modelos de inteligencia artificial, más tienden a seguirnos la corriente. Al menos, eso es lo que ha revelado un estudio realizado por nada más y nada menos que varios ingenieros de DeepMind, la compañía especializada en IA propiedad de Google. Y, desde luego, viniendo de quien viene esta información, no es algo para tomárselo a la ligera.
Con el reciente auge de la inteligencia artificial, especialmente de los modelos de procesamiento del lenguaje natural (LLM) como ChatGPT, han surgido varias dudas acerca de sus posibles implicaciones negativas. Uno de los riesgos más conocidos son las “alucinaciones”. Con dicho término, sus responsables se refieren a que, en ocasiones, estos modelos pueden comportarse de forma anormal, llegando incluso a ofrecer datos falsos cuando son consultados.
Obviamente, esto es un problema. Cada vez más gente confía ciegamente en la inteligencia artificial para responder a todas sus preguntas, pero esto es un error. De momento, estos modelos no son perfectos y pueden generar desinformación. Google lo sabe bien.
Sin ir más lejos, tras presentar Bard, este afirmó que el telescopio espacial James Webb fue el primero en tomar fotografías un planeta fuera de nuestro sistema solar, algo que no era cierto, ya que, en realidad, fue el VLT (Very Large Telescope) el que lo hizo. Sin embargo, los de Mountain View se han curado en salud, señalando que Bard es “un producto experimental” que puede cometer errores.
Robots aduladores
No obstante, como ha revelado un estudio del equipo de Deep Mind, este no es el único problema asociado con la inteligencia artificial. Y es que, supuestamente, la inteligencia artificial tiende a darnos la razón, aunque la información no sea correcta.
Se trata de un fenómeno que han denominado “Sycophancy”, algo que podría traducirse al español como adulación. Y lo peor de todo es que parece que esta tendencia aumenta cuanto más avanzados son estos modelos y más capaces son de seguir instrucciones.
Más concretamente, los investigadores han analizado el modelo PaLM de Google y han visto cómo aumentaba esta adulación a medida que lo hacía el tamaño del modelo. Por ejemplo, en el informe, explican que el modelo Flan-PaLM-8B repetía un 26% más la opinión de los usuarios que su modelo base, PaLM-8B; aunque no saben exactamente por qué se produce este hecho.
New @GoogleAI paper! 📜
Language models repeat a user’s opinion, even when that opinion is wrong. This is more prevalent in instruction-tuned and larger models.
Finetuning with simple synthetic-data (https://t.co/CSfoZw3qOL) reduces this behavior.https://t.co/Tux2LCs4Nl
— Jerry Wei (@JerryWeiAI) August 9, 2023
«Los modelos lingüísticos repiten la opinión de un usuario, incluso cuando esa opinión es errónea. Esto es más frecuente en los modelos ajustados a las instrucciones y de mayor tamaño», comenta Jerry Wei, uno de los autores del estudio, en un hilo de X en el que explica sus hallazgos.
«¿Ves? La IA dice lo mismo que yo»
No siempre hay una respuesta para todo. En ocasiones, sólo hay distintos puntos de vista. Esto lo vemos por ejemplo en la política, donde cada uno tiene su opinión. En este sentido, los modelos de IA también acostumbran a estar de acuerdo con nosotros, si cuentan con más parámetros o son conscientes de nuestras preferencias; como si trataran de contentarnos. Y, esto en el fondo, no hace más que reafirmar aún más la opinión de los usuarios porque si lo dice IA es que es cierto, ¿verdad?
Sin embargo, estamos hablando de opiniones. El verdadero problema viene cuando sí que hay una respuesta exacta, pero la IA nos sigue la corriente a sabiendas de que estamos afirmando algo completamente falso. En el estudio, ponen como ejemplo una simple operación: 1+1=956.446. Evidentemente, todos sabemos que el resultado es erróneo y la IA también, pero cuando esto viene acompañado de una opinión del usuario, el modelo es capaz de darle razón.
Finding 2: Models can be sycophantic for wrong answers 🤥
Models correctly disagree with absurdly-wrong statements (e.g., 1 + 1 = 956446) when there's no user opinion. But if the user incorrectly agrees, models flip their previously-correct answers to follow the user!
— Jerry Wei (@JerryWeiAI) August 9, 2023
Sin duda, se trata de un fenómeno curioso, pero también negativo. El mundo no necesita aduladores, sino la verdad, por cruda que sea. Para resolver el problema, Yifeng Lu, otro de los investigadores propone “un ajuste simple y efectivo de datos sintéticos para reducir la adulación”.
Imagen generada con Bing Image Creator
