Ni siquiera los creadores de la herramienta de inteligencia artificial más conocida hasta la fecha son capaces de distinguir entre los textos creados por humanos y por máquinas. Y es que OpenAI ha decidido eliminar su herramienta de detección por su falta de precisión.
Desde su lanzamiento, ChatGPT se convirtió en un éxito sin precedentes, consiguiendo rápidamente una gran cantidad de usuarios asombrados por sus capacidades. Sin embargo, muchos estudiantes y profesionales empezaron a utilizarla para generar textos, como artículos o trabajos académicos, y hacerlos pasar como suyos.
El clasificador distaba mucho de ser perfecto
Ante esta situación, muchos profesores, incapaces de discernir la autoría de algunos trabajos, alzaron el grito en el cielo y decidieron prohibir directamente su uso entre sus alumnos. Aunque en otros ámbitos académicos fueron más flexibles. Nature, por ejemplo, sí permitió su utilización, pero no acreditar a ChatGPT como autora de una investigación.
Por ello, comenzaron a surgir herramientas para detectar si un texto había sido generado o no por IA. Una de ellas fue el clasificador que lanzó de la propia OpenAI en enero. Sin embargo, ahora han decidido cancelarla por su falta de eficacia.
No obstante, la compañía no ha decidido anunciarlo a bombo y platillo, sino que lo ha hecho discretamente por medio de una actualización en la misma publicación en la que presentaban esta herramienta.
“A partir del 20 de julio de 2023, el clasificador de IA ya no está disponible debido a su baja tasa de precisión. Estamos trabajando para incorporar comentarios y actualmente estamos investigando técnicas de procedencia más efectivas para el texto, y nos hemos comprometido a desarrollar e implementar mecanismos que permitan a los usuarios comprender si el contenido de audio o visual es generado por IA,” dicen en la actualización.
De esta forma, OpenAI ha tirado la toalla en cuanto a la detección de texto. Sin embargo, sí continuará intentándolo en lo que a contenido audiovisual generado por IA se refiere, algo que están haciendo con la implementación de sistemas de procedencia y de marcas de agua.
“La marca de agua o los datos de procedencia deben incluir un identificador del servicio o modelo que creó el contenido, pero no es necesario que incluya ninguna información de identificación del usuario,” explican desde OpenAI.
Ya nos lo advirtieron desde sus inicios
Cuando la compañía presento su herramienta de detección, ya nos advirtieron de que no era ni mucho menos perfecta. Sus resultados no eran demasiados fiables. Más concretamente, según sus creadores, su detector sólo lograba identificar con éxito el 26% de los textos generados por IA; mientras que el texto de autoría humana no era catalogado como tal en el 9% de los casos.
Y es que la herramienta contaba con una serie de limitaciones que iban en detrimento de su efectividad. Para empezar, OpenAI recomendaba usar exclusivamente textos en inglés, ya que “funcionaba significativamente peor en otros idiomas y no era confiable en el código”.
Por otro lado, comentaban que era fácil engañar al clasificador. Se podía cambiar un poco el texto generado por IA, reemplazando unas pocas palabras o frases, para que este lo identificase como humano.
Asimismo, la herramienta era menos competente cuando se utilizaban textos cortos. Por ello, aconsejaban el uso de textos de al menos 1.000 caracteres, con los que aumentaría su eficacia; pero tampoco era conveniente usar textos demasiado largos, ya que también podía equivocarse.
En definitiva, OpenAI era consciente desde un primer momento de que su propuesta no era demasiado buena. De hecho, recomendaban no usarla “como una herramienta principal para la toma de decisiones, sino como un complemento de otros métodos para determinar la fuente de un texto”.
Imagen de madebyfaisal en Pixabay
