[Interview] ‘Nobody has any promising ideas’: Former Google AI safety researcher sounds warning bell

Ramana Kumar, exdirector de investigación sobre alineación en Google DeepMind, sostiene que la suposición central de la industria —que podemos controlar de manera fiable a la inteligencia artificial avanzada— es fundamentalmente defectuosa. Argumenta que los modelos actuales se «crecen» mediante un entrenamiento complejo, en lugar de «construirse» mediante programación explícita, lo que significa que sus objetivos reales permanecen opacos incluso para sus creadores. Esta falta de transparencia implica que los seres humanos no pueden garantizar que los sistemas de IA actúen de acuerdo con los valores humanos, especialmente a medida que estos sistemas comienzan a contribuir autónomamente a su propio desarrollo. La desconexión entre el rápido avance de las capacidades de la IA y el estancamiento de la investigación sobre alineación crea un riesgo existencial que a menudo se subestima. Kumar sugiere que los recientes incidentes de seguridad son meros presagios menores de pérdidas de control más graves, ya que la brecha entre lo que la IA puede hacer y cómo puede ser gobernada de forma segura sigue ampliándose. Subraya que las técnicas de seguridad existentes son demasiado frágiles para manejar la superinteligencia, convirtiendo el sueño de sistemas superinteligentes perfectamente alineados en una quimera actual, más que en un objetivo de ingeniería viable. En consecuencia, Kumar aboga por una congelación indefinida de los avances en las capacidades de la IA, respaldada por una supervisión pública robusta y una regulación democrática, en lugar de la autorregulación corporativa. Esta perspectiva es altamente relevante para los datos abiertos, ya que destaca la necesidad urgente de información transparente y de acceso público sobre el desarrollo de la IA y sus limitaciones de seguridad. Sin un escrutinio abierto y el conocimiento compartido, la sociedad no puede exigir eficazmente las estructuras de gobernanza necesarias para prevenir daños irreversibles, convirtiendo los datos abiertos en una herramienta crítica para la rendición de cuentas y el debate público informado frente a la aceleración tecnológica incontrolable.

Fuente: english.hani.co.kr
Publicado el 2026-10-04

[Interview] ‘Nobody has any promising ideas’: Former Google AI safety researcher sounds warning bell

Noticias relacionadas