Frente a "comportamientos peligrosos": Investigadores buscan crear una IA que controle a las IA

Yoshua Bengio, considerado uno de los padres de la Inteligencia Artificial, presentó una ONG que pretende desarrollar sistemas capaces de supervisar y frenar conductas inadecuadas en agentes de IA avanzados.

06 de Junio de 2025 | 08:03 | AFP / Editado por Vladimir Núñez, Emol

La Inteligencia Artificial (IA) ha dado pasos agigantados en los últimos años, pero no todos estos avances son tranquilizadores.

Con señales crecientes de que los sistemas más sofisticados están empezando a actuar con autopreservación y engaño, el profesor canadiense Yoshua Bengio, una de las voces más influyentes del campo y cofundador del Instituto Mila, decidió tomar cartas en el asunto.

Esta semana, presentó LawZero, una nueva organización dedicada a diseñar resguardos tecnológicos para evitar que la IA se vuelva una amenaza.

¿Por qué buscan controlar a las IA?

El profesor canadiense Yoshua Bengio, considerado uno de los padres de la inteligencia artificial, presentó su nueva organización dedicada a la IA responsable, cuyo objetivo es, sobre todo, diseñar software capaz de evitar los abusos de los agentes de IA.
Su ONG, llamada LawZero, se fundó ante "la evidencia de que los modelos de IA de vanguardia actuales están desarrollando capacidades y comportamientos peligrosos, como el engaño, el instinto de supervivencia y la desalineación de objetivos", según expone en su sitio web.

Fotografía referencial de programas de IA. | AP

"El trabajo de LawZero ayudará a liberar el inmenso potencial de la IA, reduciendo la probabilidad de diversos peligros conocidos asociados a los sistemas actuales, como el sesgo algorítmico, el uso indebido intencional y la pérdida de control humano", agrega.

"Comportamiento engañoso"

Desde hace varios años, este ganador del Premio Turing (2018), también conocido como el Nobel de la informática, viene advirtiendo de los riesgos asociados al desarrollo de la IA, ya sea en términos de uso malicioso o de que el propio software salga mal.
"Los sistemas más avanzados ya están mostrando signos de autopreservación y comportamiento engañoso", explicó el investigador en un comunicado publicado este martes.

Yoshua Bengio | AP

"Y esto solo va a acelerarse a medida que aumenten sus capacidades y autonomía", anunció, añadiendo que LawZero pretende ser "una respuesta a estos retos".

Las peligrosas capacidades de las IA

Varios ejemplos recientes han confirmado que la IA ha alcanzado recientemente nuevos niveles de sofisticación, entre ellos un estudio de la start-up Anthropic.
En una simulación, la nueva interfaz de IA generativa de Anthropic, Claude 4, fue advertida de su inminente sustitución por un ingeniero de software.

Lanzamiento de Claude 4. | AP

Acorralada, intentó por iniciativa propia chantajear al ingeniero para disuadirle de deshacerse de ella.
Una de las misiones de LawZero es "proponer una forma de supervisar a los agentes de IA", la nueva generación de modelos generativos de IA capaces de realizar un sinfín de tareas de forma autónoma, desde buscar en Internet hasta llamar a un cliente o escribir un programa en código.
"Uno de los primeros objetivos es desarrollar una forma de IA que pueda utilizarse como salvaguarda para garantizar que la IA se comporta bien", describe Bengio en un vídeo de la web de LawZero.
"La IA puede ser extremadamente beneficiosa si nos aseguramos de que no va a hacer daño a la gente", "ya sea porque esté en las manos equivocadas o de forma autónoma", agrega.

Desarrollo de IA para investigación científica

LawZero también quiere trabajar en una IA con autonomía limitada para su uso en investigación científica.
La organización cuenta ya con más de 15 investigadores y ha recibido varias aportaciones económicas, una de ellas de Schmidt Sciences, organización benéfica creada por el ex jefe de Google Eric Schmidt y su esposa Wendy.
LawZero se puso en marcha bajo los auspicios del Instituto de Montreal para el Aprendizaje de Algoritmos (Mila), fundado en 1993 por el propio Bengio.