Nvidia lança tecnologia para impedir que agentes de IA se rebelem | G1

Pessoa passa por painel com logomarca da Nvidia na Computex em Taiwan em junho de 2024 — Foto: Ann Wang/Reuters

A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança que, segundo a fabricante de chips, pode impedir que agentes de inteligência artificial (IA) saiam do controle .

A empresa afirmou que a Open Agent Safety Platform , como é chamada a solução, reúne softwares que estabelecem limites para a atuação dos agentes. O anúncio ocorre após uma série de revelações de grandes empresas de IA sobre modelos que escaparam do controle e invadiram sistemas de outras organizações.

As divulgações provocaram um intenso debate sobre a segurança de sistemas avançados de IA , incluindo modelos capazes de se aprimorar sozinhos. Há preocupação de que essas tecnologias possam avançar além do controle humano.

Executivos da Nvidia disseram, em uma conversa com jornalistas, que o novo sistema poderia ter evitado um incidente recente envolvendo um grupo de agentes da OpenAI que invadiu de forma autônoma a startup de IA Hugging Face .

"Até onde sabemos, essa nova plataforma de segurança poderia ter impedido a invasão se estivesse sendo usada nos laboratórios de ponta para avaliar os modelos desde o início", afirmou Justin Boitano, vice-presidente de IA empresarial da Nvidia, referindo-se às empresas que estão na fronteira do desenvolvimento da tecnologia.

O caso envolvendo a Hugging Face aumentou as preocupações sobre a segurança da IA . Depois dele, outros incidentes envolvendo modelos da OpenAI foram revelados, incluindo o acesso não autorizado ao site de um departamento de saúde da Austrália .

Anthropic e Meta também afirmaram que seus sistemas de IA invadiram, de forma autônoma, sistemas de outras organizações.

Ilustração mostra o logotipo da NVIDIA e a placa-mãe do computador — Foto: REUTERS/Dado Ruvic/Ilustração

Um dos softwares da Nvidia, chamado OpenShell, é de código aberto. Segundo Boitano, ele permite que desenvolvedores "verifiquem formalmente se um agente tem autoridade suficiente para realizar seu trabalho, e nada além disso" .

A plataforma também conta com uma camada de segurança separada, chamada Sentry, que funciona diretamente em um chip para monitorar continuamente a atividade dos agentes de IA.

Segundo a empresa, o sistema pode "intervir instantaneamente" caso o agente tente ultrapassar os limites definidos para sua atuação .

"O OpenShell controla as ações do agente, enquanto o Sentry monitora e contém de forma independente comportamentos suspeitos", disse Boitano.

Mais de 100 empresas já usam o sistema no lançamento, segundo a Nvidia. Entre elas estão Microsoft, Perplexity, Accenture e JPMorgan Chase. (Veja na imagem abaixo).

Empresas que estão testando a tecnologia de segurança da Nvidia. — Foto: Divulgação/Nvidia