OpenAI ha lanzado un detector de texto generado por inteligencia artificial. Los responsables de ChatGPT son conscientes de las polémicas generadas en algunos ámbitos, como el educativo o el académico, donde algunas instituciones ya han prohibido el uso de este software entre sus alumnos y colegas científicos. Por eso, ahora quieren ayudarles a determinar si un texto ha sido creado por un humano o por una máquina.
Desde el lanzamiento de ChatGPT, los estudiantes y algunos profesionales han intentado aprovechar sus capacidades de redacción para hacer pasar algunas de sus respuestas como suyas propias. Ante esta situación, muchos, sobre todo en Estados Unidos, han optado por acabar con el problema de raíz, prohibiendo directamente el uso de la herramienta. El software también ha generado revuelo en el campo de la programación. Así, por ejemplo, Stack Overflow decidió desautorizar temporalmente la publicación de respuestas generadas por la IA, ya que aunque muchas pudieran parecer válidas, no lo eran.
Por otro lado, otros, como Nature, se han mostrado más flexibles. La prestigiosa revista científica sí que permite utilizarla, pero con condiciones: no se podrá acreditar a ChatGPT como autora de una investigación. La principal razón de ello es que la autoría de un texto conlleva responsabilidad y, de momento, a una IA no se le puede considerar responsable. En lugar de ello, los que la utilicen deberán mencionarlo en la sección de métodos del estudio en cuestión.
Aún dista mucho de ser perfecto
En respuesta a estas preocupaciones y para luchar contra algunas campañas de desinformación, OpenAI ha hecho público su propio detector de textos escritos por máquinas. Su clasificador ya se puede utilizar, pero sus resultados aún no son del todo fiables. Según la compañía, la herramienta solo identifica con exactitud los textos generados por inteligencia artificial en el 26% de los casos y en el 9% clasifica incorrectamente el texto creado por humanos.
Como saben que el clasificador no es del todo preciso, este muestra distintos niveles de probabilidad de que un texto haya sido escrito por una IA, pudiendo ser “muy poco probable” (menos del 10%), “poco probable” (entre el 10% y el 45%), “poco claro” (entre el 45% y el 90%), “posiblemente” (entre el 90% y el 98%) y “probablemente” (más del 98%).
Estas son sus limitaciones
Es importante señalar que, de momento, esta herramienta principalmente solo domina el inglés. Por este motivo, OpenAI recomienda exclusivamente usar textos escritos en esta lengua, ya que “funciona significativamente peor en otros idiomas y no es confiable en el código”.
Además de esta barrera lingüística, el software todavía cuenta con algunas limitaciones. Por ello, afirman que sus posibilidades de éxito aumentarán si se combina su uso con otros métodos o herramientas.
“No debe usarse como una herramienta principal para la toma de decisiones, sino como un complemento de otros métodos para determinar la fuente de un texto”, comentan en su publicación.
Otra de las limitaciones del clasificador es que es “muy poco fiable con textos cortos”. Se recomienda el uso de textos de al menos 1.000 caracteres para que tenga una mayor probabilidad de éxito; aunque, como señalan, en ocasiones también se equivoca al clasificar textos más largos.
Por otro lado, comentan que sigue siendo sencillo engañar a la herramienta porque se puede modificar un texto generado por IA fácilmente para hacerlo pasar por humano. Una razón más por las que el software podría equivocarse.
Este detector cuenta con un dataset de textos de Wikipedia y un conjunto de “demostraciones humanas”, pero, más allá de esos datos con los que ha sido entrenado, pierde eficacia. En palabras de la propia compañía, “el clasificador a veces tiene mucha confianza en una predicción incorrecta.”
Por último, mencionan que, como es evidente, no puede identificar la naturaleza del texto en campos como el de las matemáticas. Por ejemplo, dicen que es imposible que determine si una lista de los 1.000 primeros números primos ha sido generada por un humano o una máquina, ya que el resultado es siempre el mismo.
