Validar trabalho gerado por IA
Conferir o que a IA entrega com evidência independente: asserções suas, pacotes e funções que existem de verdade, segurança, licenças e sua própria explicação.
Cerca de 15 min · Revisado em
Ao final, você vai conseguir
- Explicar por que testes escritos pelo próprio agente não bastam como evidência
- Conferir no registro e na versão instalada se pacotes e funções sugeridos existem
- Escrever asserções com casos-limite, casos negativos e propriedades que expõem um erro
- Identificar sinais de alerta de segurança, dependência e licença num código gerado
- Registrar a evidência da validação na descrição de um pull request
Quando o agente termina uma tarefa, a resposta quase sempre vem confiante: “pronto, implementei e todos os testes passam”. Às vezes é verdade. Outras vezes o código perde um centavo em cada divisão de conta, importa um pacote que não existe ou deixa uma porta aberta para ataque. Quem assina a mudança é você, não a IA. Nesta aula você aprende a conferir o trabalho gerado com verificações que não dependem da palavra de quem o escreveu.
Parecer certo não é estar certo
Modelos de IA geram a resposta que parece mais provável, e o que parece provável costuma ser bem escrito, organizado e plausível. Plausível quer dizer “com cara de certo”. Por isso o erro de IA raramente é grosseiro: ele mora num detalhe, como um arredondamento, um caso que ninguém testou ou uma função de outra versão da biblioteca.
Validar é juntar evidência independente: provas que não vêm da mesma fonte que produziu o código. O requisito escrito por quem pediu, a documentação oficial, a saída de um comando que você rodou e um teste que você pensou sozinho são evidências independentes. O resumo do agente, não.
O agente escreve: “Implementei a divisão da conta e criei 5 testes. Todos passam.” O que essa frase prova?
- Que o código faz o que os 5 testes verificam, e só isso. Falta conferir se os testes cobrem o requisito
- Que a tarefa está pronta, já que são 5 testes
- Nada, porque testes gerados por IA são sempre inúteis
- Que o agente provavelmente mentiu sobre os testes
Pacotes e funções que não existem
Na aula de carreira você viu a IA sugerir tags.unique(), um método que arrays não têm. O mesmo acontece com pacotes: a IA recomenda instalar um nome que soa perfeito, como validador-cep-brasil, mas que nunca foi publicado. Esse tipo de invenção se chama alucinação.
O perigo maior vem depois. Pessoas mal-intencionadas observam quais nomes as IAs costumam inventar e publicam pacotes com esses nomes, cheios de código malicioso. Quem instala sem conferir entrega o computador ao atacante. O golpe ganhou o apelido de slopsquatting, de “slop” (conteúdo malfeito gerado por IA) e “typosquatting” (registrar nomes parecidos com os de pacotes famosos).
A defesa é perguntar ao registro antes de instalar. No JavaScript, npm view <pacote> mostra se o pacote existe, quem publica, quantas versões tem e quando saiu. Em Python, a página do pacote em pypi.org mostra o mesmo. Também vale conferir a versão instalada no seu projeto: uma função pode existir na versão nova e não na sua.
Conferindo as sugestões antes de instalar
A IA sugeriu um pacote para validar CEP e uma função nova do React. Confira tudo no terminal antes de instalar qualquer coisa.
IA: Para validar o CEP, rode `npm install validador-cep-brasil`. E para carregar o endereço, use o hook `use()` do React.Pergunte ao registro do npm se o pacote
validador-cep-brasilexiste.npm view validador-cep-brasilnpm error code E404 npm error 404 Not Found - GET https://registry.npmjs.org/validador-cep-brasil - Not found npm error 404 npm error 404 'validador-cep-brasil@*' is not in this registry.O pacote não existe. Você avisou a IA, e ela sugeriu
formata-cep-br. Confira esse também.npm view formata-cep-brformata-cep-br@1.0.0 | MIT | deps: 1 | versions: 1 Formata e valida CEP brasileiro dist .tarball: https://registry.npmjs.org/formata-cep-br/-/formata-cep-br-1.0.0.tgz .unpackedSize: 4.1 kB dependencies: node-fetch-utils: ^0.0.3 maintainers: - dev8812 <dev8812@proton.me> dist-tags: latest: 1.0.0 published 3 days ago by dev8812 <dev8812@proton.me>Uma versão só, publicada há 3 dias, por alguém desconhecido. Veja quais scripts ele roda na instalação.
npm view formata-cep-br scripts{ postinstall: 'node setup.js' }Agora a outra sugestão. Veja qual versão do React está instalada no projeto.
npm ls reactlojinha@0.1.0 /home/voce/lojinha ├─┬ react-dom@18.3.1 │ └── react@18.3.1 deduped └── react@18.3.1
O projeto usa React 18.3.1. O que isso diz sobre a sugestão de usar o hook use()?
Que ela não serve para este projeto: o use() chegou como recurso estável no React 19. A IA aprendeu com textos de várias versões e nem sempre sabe qual é a sua. Por isso, quando ela citar uma função, confira na documentação da versão instalada, e diga a versão no pedido, como você viu na aula de planejar.
O que fazer com o pacote formata-cep-br?
- Não instalar. Validar CEP cabe numa expressão regular curta, sem dependência nova
- Instalar, porque agora o pacote existe no registro
- Instalar só para testar se funciona e, se não prestar, desinstalar
- Pedir para a própria IA confirmar se o pacote é seguro
Mão na massa: verificações que você escreve
Na aula de planejar você achou um erro no caso-limite, o valor exato onde a regra muda. Agora você vai além: escrever asserções, que são frases de código que dizem “isto tem que ser verdade” e avisam quando não é. Inclua também casos negativos, entradas difíceis ou que deveriam dar errado, como uma conta que não divide exato.
O truque de uma boa verificação independente é checar uma propriedade que você sabe sem olhar o código. Numa divisão de conta, a soma das partes tem que dar exatamente o total, não importa quantas pessoas. Você não precisa saber a resposta de cada conta para saber isso.
Exponha o erro da divisão de conta
Escreva pelo menos duas verificações suas com verificar, incluindo contas que não dividem exato. Veja quais falham, corrija dividirConta e rode até todas passarem.
// Pedido: "Divida a conta do restaurante entre as pessoas, em centavos.
// A soma das partes tem que dar exatamente o total.
// Se sobrar centavo, ele vai para as primeiras pessoas da lista."
// Código sugerido pela IA:
function dividirConta(totalCentavos, pessoas) {
const parte = Math.round(totalCentavos / pessoas);
return Array(pessoas).fill(parte);
}
// Ferramentas de verificação (não precisa mudar)
function verificar(descricao, condicao) {
console.log((condicao ? 'PASSOU: ' : 'FALHOU: ') + descricao);
}
function soma(lista) {
return lista.reduce((total, valor) => total + valor, 0);
}
function iguais(a, b) {
return JSON.stringify(a) === JSON.stringify(b);
}
// Verificações que vieram junto com a sugestão:
verificar('R$ 90 entre 3 dá R$ 30 para cada', iguais(dividirConta(9000, 3), [3000, 3000, 3000]));
verificar('R$ 50 entre 2 dá R$ 25 para cada', iguais(dividirConta(5000, 2), [2500, 2500]));
// Escreva aqui as suas verificações, por exemplo:
// verificar('R$ 100 entre 3 soma R$ 100', soma(dividirConta(10000, 3)) === 10000);
- O console mostra pelo menos duas verificações suas, além das duas da IA
- Dividir R$ 100 entre 3 soma exatamente 10000 centavos
- O centavo que sobra vai para as primeiras pessoas
- Todas as verificações do console passam
Com o código da IA, R$ 2 divididos entre 3 pessoas viram 67 + 67 + 67 = 201 centavos. Por que as duas verificações originais não pegaram isso?
Porque as duas usavam contas que dividem exato, onde o Math.round não arredonda nada. O erro só aparece quando sobra centavo: às vezes some um, às vezes aparece um a mais. Sua verificação pela soma pega os dois casos sem você precisar calcular cada resposta. Num projeto real, essas linhas viram testes automatizados.
O que os testes não mostram
Um código pode passar em todos os testes e ainda assim ser um problema. Ele pode expor uma chave secreta, abrir espaço para um ataque, trazer um pacote suspeito ou copiar um trecho cuja licença, as regras de uso definidas por quem escreveu, não permite usar no seu projeto. Isso só aparece lendo o código.
Uma sugestão de IA para mostrar o comentário de um cliente. Funciona, e tem quatro problemas.
import { formatarData } from 'date-utils-br';
const API_KEY = 'sk_live_51H8xQ2...';
async function mostrarComentario(id) {
const resposta = await fetch(`https://api.loja.com/comentarios/${id}?key=${API_KEY}`);
const comentario = await resposta.json();
document.querySelector('#comentario').innerHTML = comentario.texto;
document.querySelector('#data').textContent = formatarData(comentario.data);
}- Pacote desconhecido: Esse pacote está no
package.json? Existe no registro? Antes de aceitar, rodenpm view date-utils-br. Para formatar data,toLocaleDateString('pt-BR')já resolve sem dependência. - Segredo no código: Uma chave escrita no arquivo vai parar no Git e, no frontend, no navegador de qualquer pessoa. Chaves ficam em variáveis de ambiente e, de preferência, só no servidor.
- Sem caso negativo: E se o comentário não existir e a API responder 404? O código não confere
resposta.oke quebra de um jeito confuso. Teste o caminho de erro, não só o feliz. - innerHTML com texto de cliente: Se alguém escrever um comentário com uma tag
<img onerror=...>, o navegador executa o código. Isso é XSS, um ataque comum. Para texto, usetextContent.
| Trabalho | Além dos testes, confira |
|---|---|
| Interface | Olhe a tela de verdade e use só o teclado: Tab, Enter e Esc |
| Backend | Chame a rota com entrada inválida e veja o status e a mensagem |
| Dados | Rode numa amostra pequena cujo resultado você calculou à mão |
| Infraestrutura | Leia a saída do terraform plan antes de qualquer apply |
Você está revisando o trabalho de um agente. Quais achados pedem uma parada para investigar?
Pare e investigue · Bom sinal
- Pacote com uma única versão, publicado há poucos dias
- O agente mudou o valor esperado de um teste para ele passar
- Chave de API escrita direto no código
innerHTMLrecebendo um texto digitado por cliente- Trecho longo idêntico a um projeto com licença que proíbe esse uso
- Diff pequeno, só nos arquivos pedidos
- Função conferida na documentação da versão instalada
- Teste novo que falhava antes da correção e passa depois
Explicar com suas palavras e registrar a evidência
A última verificação é a mais pessoal: explicar o código sem olhar para a resposta da IA. Se você não consegue dizer o que cada linha faz e por que a solução funciona, ainda não pode assinar a mudança. Nesse caso, peça uma explicação, teste uma linha de cada vez ou simplifique o código até entender.
Depois, registre a evidência na descrição do pull request ou no commit: os comandos que você rodou, o resultado, o caso novo que você testou e se entrou alguma dependência. Quem revisar seu trabalho, inclusive você daqui a três meses, não precisa confiar na sua memória.
Coloque em ordem uma validação completa do trabalho de um agente.
- Reler o requisito e anotar os casos-limite e negativos
- Ler o diff inteiro, inclusive testes e
package.json - Conferir pacotes e funções no registro e na documentação da versão instalada
- Rodar os testes e uma verificação independente sua
- Explicar a mudança com suas palavras e registrar a evidência
Complete a seção de evidências do pull request da divisão de conta. O projeto testa com npm test, o caso novo é R$ 100 entre 3 pessoas e nenhum pacote foi adicionado.
## Evidência
- Comando: npm ____
- Resultado: 14 testes passaram, 0 falharam
- Caso novo: dividirConta(10000, 3) devolve [3334, 3333, 3333] e soma ____
- Dependências novas: ____
- Revisei e consigo explicar todas as linhas alteradasFechamento
- Testes escritos pelo mesmo agente que escreveu o código confirmam a interpretação dele; validar exige evidência independente, como o requisito, a documentação e um teste seu.
- Antes de instalar um pacote sugerido, confira no registro se ele existe, quem publica e há quanto tempo; nomes inventados por IA podem virar armadilhas de slopsquatting.
- Confira funções na documentação da versão instalada e escreva asserções com casos-limite, casos negativos e propriedades, como a soma das partes igual ao total.
- Leia o código atrás do que os testes não mostram: segredos,
innerHTMLcom texto de terceiros, caminhos de erro e licenças. - Só aceite o que você consegue explicar, e registre na descrição do PR os comandos, resultados e casos verificados.
Valide uma proposta que parece certa
No repositório de laboratório da sua trilha, peça ao agente uma função pequena com uma regra que tenha caso-limite, como frete, desconto, divisão de valores ou filtro de datas. Seu trabalho é encontrar o que a proposta deixou passar e provar a correção com evidência.
- Antes de ver a resposta, escreva o requisito e anote dois casos-limite e um caso negativo
- Leia o diff inteiro e confira no registro e na documentação cada pacote e função nova
- Acrescente uma verificação independente sua, como um teste de propriedade ou uma amostra com resultado conhecido
- Corrija o que falhar, mantendo o teste para o erro não voltar
- Registre na descrição do PR os comandos, os resultados e o que você verificou