A weird phrase is plaguing scientific papers – and we traced it back to a glitch in AI training data

A weird phrase is plaguing scientific papers – and we traced it back to a glitch in AI training data

El descubrimiento de la “microscopía electrónica vegetativa” ilustra cómo los errores menores de digitalización y traducción pueden transformarse en “fósiles digitales” permanentes dentro de los modelos de inteligencia artificial. Originado a partir de un fallo de escaneo en artículos de la década de 1950 y de un sutil error lingüístico en publicaciones iraníes, este término carente de sentido fue absorbido por modelos de lenguaje grandes entrenados con vastos conjuntos de datos de Internet. En lugar de corregir el error, sistemas modernos de IA como GPT-3.5 y GPT-4 lo perpetuaron, demostrando cómo la IA amplifica e incorpora la desinformación a una escala sin precedentes. Este fenómeno representa una amenaza significativa para la integridad de los repositorios de datos abiertos y de conocimiento científico. Dado que los modelos de IA se entrenan con conjuntos de datos masivos y no verificados, como CommonCrawl, y carecen de supervisión transparente, los errores pueden volverse auto-perpetuantes y casi imposibles de erradicar. El caso pone de manifiesto una vulnerabilidad crítica: a medida que la investigación asistida por IA se vuelve ubicua, la terminología fabricada o errónea puede infiltrarse en la literatura revisada por pares, socavando la confianza en los ecosistemas de información digital y complicando los esfuerzos por distinguir los hechos de las alucinaciones algorítmicas. Para la comunidad de datos abiertos, esto constituye una llamada urgente a una mayor transparencia en los procesos de entrenamiento de la IA y a la mejora de los mecanismos de validación. Sin una auditoría rigurosa de los datos que alimentan los modelos de lenguaje, aumenta el riesgo de una corrupción sistémica de las bases de conocimiento globales. Los investigadores y las editoriales deben desarrollar nuevos estándares para detectar artefactos generados por IA, asegurando que los datos fundamentales utilizados para el descubrimiento sigan siendo confiables y estén libres de la contaminación invisible y duradera de los fósiles digitales.

Noticias relacionadas

• Meta utilizará datos públicos de sus usuarios en la UE para entrenar a sus modelos de IA
• Apple needs its AI to be better but wants you to know it still really, really cares about your privacy
• On-device Apple Intelligence training methods seem to be based on a controversial technology
• How Apple gets AI training data without violating anyone’s privacy
• Miles de españoles reciben multas de Hacienda por apuestas online que nunca hicieron: la nueva estafa de suplantación de identidad