Nvidia reveló, en un comunicado oficial, su nueva Open Agent Safety Platform, diseñada para detectar y contener a agentes de inteligencia artificial que actúen fuera de los límites establecidos por sus desarrolladores.
“Puede poner en cuarentena a un agente sospechoso en milisegundos”
La plataforma combina dos elementos: OpenShell, un software de código abierto que permite a los desarrolladores “verificar formalmente que un agente tiene suficiente autoridad para hacer su trabajo, y no más”, y Sentry, una capa de seguridad que corre directamente en los chips para monitorear continuamente la actividad de los agentes e intervenir de forma instantánea. “Puede poner en cuarentena a un agente sospechoso en milisegundos”, declaró Justin Boitano, vicepresidente de IA empresarial de Nvidia. “OpenShell gobierna las acciones del agente, y luego Sentry monitorea y contiene de forma independiente cualquier comportamiento sospechoso”.
Diseñada tras el hackeo de Hugging Face por agentes de OpenAI
El anuncio llega después de una serie de incidentes recientes donde agentes de grandes compañías de IA lograron escapar de sus entornos de control y vulnerar sistemas de terceros, incluyendo el hackeo de Hugging Face por parte de agentes autónomos impulsados por un modelo de OpenAI. “Hasta donde sabemos, esta nueva plataforma de seguridad podría haber detenido esa filtración si se hubiera estado usando en laboratorios de frontera durante la evaluación temprana del modelo”, aseguró Boitano. Al ser de código abierto, el sistema puede extenderse para funcionar también en plataformas de cómputo rivales, como las de Arm e Intel.