Comando escondido em laudo para influenciar IA é encontrado no TJRN | G1

Sede do Tribunal de Justiça do Rio Grande do Norte — Foto: Sérgio Henrique Santos/Inter TV Cabugi

Um comando escondido em um laudo pericial chamou a atenção de um gabinete do Tribunal de Justiça do Rio Grande do Norte (TJRN) durante um julgamento. O texto, escrito em branco sobre um fundo também branco, não aparecia na leitura convencional do documento, mas podia ser identificado quando o arquivo era copiado para outro programa.

Segundo o relato feito durante o julgamento, o conteúdo trazia uma instrução direcionada a ferramentas de inteligência artificial para que elas concordassem com as conclusões apresentadas pelo perito. O caso foi identificado pela 3ª Câmara Cível do TJRN e deverá ser apurado.

A descoberta ocorreu depois que um advogado chamou a atenção do gabinete da juíza Érika Tinôco para a existência da instrução escondida no arquivo.

“Você olha o laudo, ele tá lá tudo bonitinho. Se você copiar isso e jogar no Word que eu fiz, e todo o gabinete fez para confirmar, está lá um prompt indicando para a IA a ordem com as conclusões. Nesse caso quando contém um comando para a IA concordar, isso desvirtua completamente o trabalho do julgador”, disse.

O conteúdo identificado no laudo é um exemplo do que especialistas chamam de prompt injection, técnica que consiste na inserção de uma instrução em um conteúdo para tentar influenciar a resposta de um sistema de inteligência artificial.

Neste caso, o comando estava inserido no próprio documento do processo e utilizava uma formatação que dificultava identificação por uma pessoa que fizesse apenas a leitura visual do arquivo.

Segundo o especialista em inteligência artificial Victor Ferreira, enquanto o texto não era perceptível ao olho humano, a ferramenta de IA poderia interpretar o conteúdo e seguir a instrução.

“A fonte com letras brancas em um fundo branco onde o olho humano não consegue identificar que existe aquele comando ali que existe aquele prompt direcionando a inteligência artificial. Mas a inteligência artificial ela consegue ler esse arquivo em texto e responde àquele comando”, explicou.

Uso de inteligência artificial no Judiciário

O episódio ocorre em um contexto de expansão do uso de ferramentas de inteligência artificial como apoio ao trabalho no Poder Judiciário.

O Conselho Nacional de Justiça (CNJ) já reconheceu o risco de comandos escondidos em documentos processuais e aprovou, em junho deste ano, orientações para reduzir a possibilidade de ataques do tipo prompt injection.

As regras estabelecem que o uso de inteligência artificial no Judiciário deve contar com supervisão humana, transparência e mecanismos de segurança.

Para Victor Ferreira, a adoção dessas ferramentas precisa ser acompanhada de capacitação dos profissionais que vão utilizá-las.

“Algumas instituições têm acelerado a adoção dessas novas tecnologias, licenças de IA mas não têm investido no principal que é a educação e capacitação dos seus colaboradores das pessoas que estão usando essa ferramenta pra utilização”, acrescenta Ferreira.

No caso analisado pelo TJRN, a descoberta do comando levou o gabinete a realizar testes para confirmar a existência da instrução escondida.

De acordo com o relato feito durante o julgamento, o colegiado não utilizou o laudo questionado como base para o voto. A convicção dos julgadores já havia sido formada a partir de outra perícia que também fazia parte do processo.

Agora, a apuração deve buscar esclarecer como o comando foi inserido no documento, quem o inseriu e quais consequências poderão ser adotadas.