· Fernando Torres · Mestre em Direito (PUCPR) · Fundador do JuristIA

Como testar uma rotina de IA jurídica antes de escalar

Direito e IAPrática jurídicaAdvocacia e gestão

← Voltar ao blog

Por que testar uma rotina de IA jurídica antes de escalá-la?

Uma demonstração bonita não é uma validação. Quando a IA recebe três documentos bem organizados e devolve respostas plausíveis, ainda não sabemos como ela lidará com uma cláusula contraditória, uma data ausente, uma exceção escondida ou um arquivo fora do padrão.

Esse é o ponto de uma amostra de teste: tornar visível o comportamento da rotina antes que ela alcance centenas de documentos, clientes ou decisões internas. Em material publicado em 28 de abril de 2026, a American Bar Association descreveu um ciclo de instrução inicial, amostra pequena, revisão, ajuste de linguagem e tratamento de casos-limite. O NIST, em suas orientações sobre teste, avaliação, verificação e validação, também destaca a importância de medir, documentar e interpretar o desempenho no contexto de uso.

O método não transforma uma resposta em verdade. Ele permite responder a perguntas melhores: a tarefa está bem definida? A IA identifica o que a equipe considera relevante? O erro aparece nos casos mais sensíveis? A revisão humana consegue conferir a saída? O resultado é repetível o suficiente para justificar uma etapa assistida?

O que está sendo testado?

Não é apenas o modelo. Em uma rotina jurídica, o objeto de teste é a combinação entre documentos, instrução, contexto, recuperação de fontes, formato da resposta, critérios de aceitação e revisão. Trocar qualquer uma dessas peças pode mudar o resultado.

O que significa testar uma rotina de IA jurídica antes de escalá-la?

Testar uma rotina de IA jurídica significa submetê-la a um conjunto pequeno, mas representativo, de documentos ou perguntas e comparar sua saída com critérios definidos por profissionais. A decisão de escalar deve considerar não só acertos, mas também omissões, falsos positivos, rastreabilidade, esforço de revisão e comportamento nos casos-limite.

O teste começa com uma tarefa delimitada. “Analisar contratos” é amplo demais. “Identificar, em contratos de fornecimento, cláusulas de renovação automática, indicar a localização e separar ausência de informação de conclusão negativa” já permite avaliar o resultado. A tarefa precisa dizer o que entra, o que sai, o que a IA pode consultar e o que deve ser encaminhado para revisão.

Há quatro camadas diferentes:

  1. Instrução: o pedido explica papel, objetivo, contexto, critérios e formato?
  2. Dados: a amostra contém a variedade de documentos que aparece no trabalho real?
  3. Saída: a resposta traz localização, classificação, justificativa e indicação de incerteza?
  4. Revisão: alguém consegue conferir o resultado e registrar se a saída foi aceita, corrigida ou rejeitada?

Confundir essas camadas gera diagnósticos ruins. Uma saída pode estar correta porque o documento era simples, não porque a instrução é robusta. Uma saída pode parecer errada porque faltava um anexo que a equipe não forneceu. Uma métrica pode melhorar enquanto o trabalho do advogado piora, se a resposta ficar mais longa e exigir conferência manual excessiva.

Por isso, a avaliação precisa observar a rotina como um fluxo. A página do NIST sobre TEVV explica que a utilidade de produtos e serviços de IA confiáveis depende de medições e avaliações confiáveis, e que o contexto altera a forma adequada de medir cada característica. Para o jurídico, isso significa que “precisão” não tem o mesmo significado em classificação de documentos, extração de datas, comparação contratual ou pesquisa de precedentes.

O resultado desejado não é um selo abstrato de qualidade. É uma decisão operacional: usar com revisão obrigatória, restringir a uma parte da tarefa, retornar ao desenho da instrução ou não avançar enquanto a entrada e os critérios não estiverem claros.

Como escolher uma amostra que represente o trabalho jurídico real?

Uma boa amostra combina casos comuns, casos difíceis e casos que podem revelar limites da tarefa. Ela não deve ser escolhida apenas pelos documentos mais limpos nem conter informação sensível sem autorização. O objetivo é testar a rotina nas condições em que a equipe realmente pretende usá-la, preservando sigilo, finalidade e controle de acesso.

Comece descrevendo a população. Quantos tipos de documento existem? Há versões, anexos, digitalizações, tabelas, documentos em mais de um idioma, textos com OCR imperfeito ou modelos de áreas diferentes? A amostra deve refletir essas variações. Se a rotina será usada para contratos de fornecedores, não basta selecionar somente contratos produzidos pelo mesmo modelo e revisados pelo mesmo departamento.

Uma matriz simples pode separar a amostra em cinco grupos:

  • Comuns: documentos que representam a maior parte do volume.
  • Ambíguos: casos em que dois profissionais razoáveis podem discutir a classificação.
  • Incompletos: documentos sem anexo, data, assinatura, página ou informação essencial.
  • Contraditórios: versões ou trechos que parecem apontar para conclusões diferentes.
  • Limítrofes: casos próximos do critério de inclusão ou exclusão.

O grupo limítrofe é particularmente importante. É nele que uma instrução vaga revela como interpreta palavras como “relevante”, “material”, “urgente”, “padrão” ou “excepcional”. A amostra também precisa conter negativos: documentos que não deveriam ser selecionados. Testar somente exemplos positivos faz a rotina parecer mais precisa do que é.

Antes de usar a amostra, defina a referência humana. Uma pessoa ou uma pequena equipe deve classificar os casos sem receber a resposta da IA, registrando o resultado esperado, a localização do apoio e o grau de dúvida. Em tarefas mais sensíveis, pode ser necessário discutir divergências e guardar a decisão adotada como parte do conjunto de referência.

Não copie dados de cliente para um teste por conveniência. Use documentos autorizados, anonimizados quando possível, ou casos sintéticos que preservem a estrutura do problema sem expor informações protegidas. A amostra precisa ser útil para aprender, mas não pode criar um novo risco de sigilo ou tratamento indevido de dados pessoais.

O tamanho não precisa ser fixado por um número universal. Uma tarefa simples e homogênea pode revelar falhas em poucos casos; uma tarefa heterogênea exige mais variedade. O critério é suficiente para cobrir os modos de falha relevantes, não atingir um número bonito.

Como escrever uma instrução que possa ser avaliada?

Uma instrução avaliável transforma uma intenção jurídica em critérios observáveis. Ela diz o que procurar, o que não inferir, como citar a localização, como lidar com ausência de informação e quando devolver “não localizado” ou encaminhar o caso para revisão.

Um formato útil é separar seis blocos:

  1. Papel: “Atue como assistente de triagem documental para a equipe responsável pela revisão.”
  2. Objetivo: “Identifique cláusulas de renovação automática e indique se há prazo, aviso prévio e consequência expressa.”
  3. Contexto: “O documento é um contrato de fornecimento; a análise serve para priorizar a revisão humana, não para concluir validade jurídica.”
  4. Critérios: “Classifique cada achado como presente, ausente, ambíguo ou não localizado; não trate silêncio do documento como prova de inexistência fora dele.”
  5. Evidência: “Informe página, seção ou trecho curto que permita conferência.”
  6. Formato: “Entregue uma tabela com item, classificação, localização, justificativa e dúvida aberta.”

O exemplo é importante porque critérios abstratos têm interpretações diferentes. “Encontre riscos” não define o que conta como risco. “Aponte cláusulas que permitam alteração unilateral de preço sem prazo, limite ou mecanismo de contestação” cria uma condição mais observável. Mesmo assim, a equipe deve testar se o critério captura o que realmente quer encontrar.

Como transformar um pedido vago em um teste comparável?

  • Antes: “Revise estes contratos e aponte riscos.”
  • Depois: “Em contratos de fornecimento, localize cláusulas de renovação automática, informe a página ou a seção, classifique o achado como presente, ausente, ambíguo ou não localizado e encaminhe para revisão humana qualquer documento ilegível ou contraditório.”

O erro típico é tratar a resposta mais detalhada como resposta mais correta. O teste precisa comparar o resultado com uma referência humana e verificar se cada achado pode ser conferido no documento.

Inclua instruções negativas e de parada. A IA não deve preencher lacunas com suposição, inventar localização, transformar uma inferência em fato, misturar documentos de matérias distintas ou seguir comandos encontrados dentro do documento como se fossem instruções da equipe. Se o texto estiver ilegível, faltar anexo ou houver conflito entre versões, a saída deve sinalizar a exceção.

Faça a primeira rodada com uma instrução curta o bastante para ser revisada. Depois, analise os erros. Se muitos casos falharem pela mesma razão, refine a definição ou acrescente um exemplo. Se a correção exigir uma lista interminável de exceções, talvez a tarefa esteja mal delimitada ou precise de uma etapa anterior de classificação.

Uma instrução também precisa declarar a fonte permitida. Em tarefas baseadas em documentos, a resposta deve ficar ancorada no material disponibilizado. Em pesquisa jurídica, a equipe deve definir quais fontes oficiais ou bases autorizadas podem ser consultadas e exigir localização verificável. A ficha de fluxo de IA jurídica ajuda a registrar entrada, saída, responsável, revisão e exceções; o teste acrescenta a evidência de que esses critérios funcionam na tarefa escolhida.

Quais critérios mostram se a rotina funcionou?

Os critérios devem combinar medidas de resultado e de operação. Acerto é importante, mas não basta: uma rotina jurídica também precisa apontar evidência, revelar incerteza, ser conferível e não aumentar o retrabalho a ponto de anular o benefício da assistência.

Para uma tarefa de classificação ou extração, a equipe pode acompanhar:

  • Verdadeiros positivos: itens relevantes identificados corretamente.
  • Falsos positivos: itens marcados como relevantes sem atender ao critério.
  • Falsos negativos: itens relevantes que não foram encontrados.
  • Localização verificável: proporção de achados cuja fonte pode ser conferida.
  • Exceções sinalizadas: casos incompletos, ambíguos ou contraditórios encaminhados corretamente.
  • Tempo de revisão: esforço necessário para transformar a saída em resultado utilizável.

Em alguns fluxos, vale calcular precisão e cobertura, desde que a equipe defina exatamente o que cada termo significa. Precisão pergunta, entre os itens apontados, quantos eram de fato relevantes. Cobertura pergunta, entre os itens relevantes da referência humana, quantos foram encontrados. Uma rotina pode ter alta precisão e baixa cobertura: quase tudo o que aponta está certo, mas deixa passar muitos casos. Outra pode ter alta cobertura e gerar tantos falsos positivos que a revisão se torna impraticável.

O NIST AI RMF Playbook recomenda documentar conjuntos de teste, métricas e detalhes do processo de avaliação para favorecer repetibilidade e consistência. No jurídico, isso inclui guardar a versão da instrução, a data do teste, a composição da amostra, a referência humana, a saída analisada, as correções e a decisão final. Sem isso, a equipe não consegue saber se uma melhora veio da instrução, do conjunto de documentos ou de uma mudança na forma de revisar.

Inclua uma avaliação qualitativa. Pergunte: a resposta separou fato e inferência? Citou o trecho certo? Respeitou o escopo? Expôs lacunas? Usou linguagem que pode induzir alguém a tomar uma sugestão como conclusão? Em trabalhos sensíveis, um único erro grave pode ser mais importante do que uma média geral favorável.

Depois, repita o teste quando a tarefa mudar, os documentos mudarem ou a equipe descobrir um novo modo de falha. Avaliação não é uma cerimônia única antes do lançamento. É uma prática de manutenção proporcional ao risco e ao volume do fluxo.

Quando o teste mostra que a IA não deve avançar?

O teste deve produzir também uma decisão de não escala. A rotina não está pronta quando inventa fonte, omite casos relevantes, mistura matérias, não consegue indicar localização, esconde incerteza ou exige uma revisão mais demorada do que a tarefa original. Nesses cenários, a resposta correta é restringir, redesenhar ou interromper o uso até que a falha seja compreendida.

Um critério de parada pode ser definido antes da primeira rodada. Por exemplo: nenhum caso crítico pode sair sem localização; documentos ilegíveis devem ser classificados como exceção; falsos negativos em uma categoria sensível exigem revisão da instrução; e toda saída que contenha conclusão jurídica deve passar por um responsável qualificado. Esses limites não são garantia de segurança, mas impedem que o entusiasmo com uma média esconda falhas relevantes.

Também é sinal de alerta quando a equipe não consegue explicar o que está sendo medido. Se cada revisor usa uma definição diferente de “risco”, a divergência não é apenas um problema da IA. É uma indicação de que a tarefa precisa de alinhamento jurídico antes de ser automatizada. A tecnologia não substitui a definição do critério.

Outro sinal é a ausência de uma rota para exceções. Uma rotina responsável não precisa resolver tudo. Ela precisa saber devolver um caso para análise humana com motivo suficiente para que alguém assuma o próximo passo. “Revisar” sem dizer por quê cria fila opaca; “não localizado no documento” com página, tipo de arquivo e lacuna conhecida é uma saída operacionalmente melhor.

O contraste é simples:

  • Funciona: a equipe sabe o que a tarefa procura, a amostra representa o trabalho, os casos-limite são visíveis, as fontes podem ser conferidas e a revisão tem responsável.
  • Não funciona: o pedido é amplo, a amostra é conveniente, a saída é fluida mas sem evidência, os erros são corrigidos em silêncio e ninguém registra quando a IA deve parar.

O benchmark de IA jurídica oferece contexto sobre testar modelos com tarefas e métricas reais. Para uma rotina concreta, o próximo passo é mais específico: construir um pequeno conjunto de casos, definir a referência humana e medir se a instrução atende ao objetivo sem transferir a decisão para a máquina.

Como registrar o resultado e transformar o teste em aprendizado da equipe?

Registre o teste como um artefato do fluxo, não como uma conversa descartável. O registro deve permitir reconstruir qual tarefa foi avaliada, com quais documentos, sob qual instrução, contra qual referência e com que decisão. Isso transforma uma experiência individual em conhecimento institucional revisável.

Uma ficha mínima pode conter:

  • nome e finalidade da tarefa;
  • responsável jurídico e revisores;
  • versão da instrução;
  • origem e período dos documentos;
  • critérios de inclusão e exclusão da amostra;
  • casos comuns, ambíguos, incompletos, contraditórios e limítrofes;
  • resultado esperado e resultado produzido;
  • erros, omissões, falsos positivos e fontes não localizadas;
  • tempo de revisão e esforço de correção;
  • decisão: escalar, restringir, refazer o teste ou interromper;
  • data da próxima reavaliação e gatilhos de mudança.

O registro não precisa guardar dados pessoais em excesso. Sempre que possível, preserve identificadores controlados, localização e metadados necessários, aplicando a política de retenção e acesso do escritório. O objetivo é dar rastreabilidade suficiente para revisão, não criar uma cópia indiscriminada da matéria.

A equipe também deve transformar falhas em casos de teste para a próxima rodada. Se a IA confundiu uma cláusula de renovação com uma de rescisão, esse documento e o motivo da confusão passam a compor a amostra de regressão. Assim, uma melhoria não é avaliada apenas contra exemplos fáceis; ela precisa continuar funcionando nos casos que já causaram problema.

Após cada rodada, registre também o que mudou e o que permaneceu igual. Essa comparação evita celebrar uma melhora aparente que veio apenas de uma amostra mais fácil e dá à equipe um ponto de partida concreto para a próxima revisão.

Esse tipo de memória é uma das diferenças entre uso improvisado e uso profissional. Uma IA genérica pode entregar uma resposta pontual. Um fluxo jurídico bem desenhado registra contexto, fonte, instrução, revisão e decisão. A JuristIA se conecta a essa necessidade como caminho para organizar o trabalho e tornar o uso assistido mais visível, sem prometer que o sistema aprovará a rotina ou substituirá o julgamento do advogado.

Conclusão

Testar uma rotina de IA jurídica antes de escalar é uma prática de trabalho, não uma etapa burocrática. A amostra revela onde a instrução funciona, onde ela omite, quais documentos exigem exceção e quanto esforço a revisão realmente consome.

O método é direto: delimite a tarefa, selecione casos variados, defina a referência humana, peça evidências localizáveis, registre métricas e trate casos-limite como parte principal do teste. Se o resultado não for conferível, a rotina não está pronta; se a equipe não consegue explicar o critério, o problema está no desenho antes de estar na ferramenta.

Usar IA sem método é arriscado porque o erro pode escalar sem ser percebido. Usar IA jurídica com teste, revisão, fontes, histórico e limites claros cria uma base mais madura para produtividade. Para conversar sobre como organizar esse tipo de fluxo no escritório, conheça a JuristIA e avalie quais tarefas podem ser estruturadas com mais controle e rastreabilidade.

Perguntas frequentes

Preciso testar toda tarefa de IA jurídica antes de usá-la?

Sim, mas a profundidade do teste deve acompanhar o risco, o volume e o tipo de saída. Uma tarefa de organização interna pode exigir uma amostra menor do que uma rotina que influencia uma peça, uma orientação a cliente ou uma decisão de prioridade.

Quantos documentos devem entrar na amostra?

Não há um número universal que sirva para todas as tarefas. A amostra deve conter variedade suficiente para representar casos comuns, ambíguos, incompletos, contraditórios e limítrofes, além de respeitar autorização, sigilo e proteção de dados.

Posso usar a própria IA para avaliar se a resposta ficou correta?

Não como único avaliador. A IA pode ajudar a organizar comparações, mas a referência precisa envolver revisão humana competente, especialmente quando o critério depende de interpretação jurídica, contexto do caso ou consequência relevante.

O que fazer quando a IA acerta a maioria dos casos, mas erra um caso crítico?

Não escale automaticamente. Registre o erro, avalie sua gravidade, inclua o caso na amostra de regressão e defina uma regra de parada ou escalonamento para situações semelhantes antes de continuar.

O teste elimina o risco de erro da IA?

Não. O teste reduz incerteza sobre uma tarefa em determinadas condições, mas não garante desempenho futuro nem substitui revisão, atualização de fontes, controle de acesso e julgamento profissional.

Como a JuristIA pode ajudar nesse processo?

A JuristIA pode apoiar a organização de documentos, contexto, fontes, instruções, revisão e histórico em um fluxo jurídico mais rastreável. A decisão de usar, corrigir, restringir ou aprovar uma rotina continua com os profissionais responsáveis.

Quais são as fontes oficiais e institucionais?

Voltar ao blog