Harvey treina Kimi K3 para trabalhos jurídicos de longo prazo

Tese e resultados iniciais

A Harvey apresenta o Harvey Tenet, seu primeiro modelo de pesos abertos pós-treinado, desenvolvido a partir do Kimi K3 em parceria com a Fireworks para executar tarefas jurídicas de longo horizonte. A empresa afirma que o objetivo é combinar inteligência jurídica de fronteira com modelos abertos mais eficientes em custo e, no futuro, permitir que escritórios criem e controlem modelos especializados.

Segundo os resultados iniciais divulgados pela Harvey, o pós-treinamento com dados sintéticos, dados jurídicos públicos e dados de especialistas humanos quase dobrou o número de tarefas concluídas no conjunto de retenção do Legal Agent Benchmark (LAB) em comparação com o Kimi K3 básico. No LAB Contracts, o ganho foi de 20%, com aumentos de 9 e 2 pontos percentuais, respectivamente, na taxa de tarefas aprovadas integralmente. A empresa atribui os avanços a melhorias amplas em detalhamento das respostas e citações. O Tenet teria alcançado o estado da arte no LAB Contracts e ficado em segundo lugar no LAB.

A Harvey também relata desempenho superior ao Kimi K3 básico no APEX Agents, no subconjunto de direito societário, e no Redline Bench, embora ressalve que esses benchmarks não estavam presentes nos dados de treinamento. O modelo teria mantido desempenho forte em testes de conhecimento jurídico, como APEX, Professional Reasoning Benchmark, LegalBench, CUAD e MAUD, sugerindo, segundo a empresa, que capacidades de execução agentiva podem ser melhoradas sem prejudicar a compreensão de conceitos jurídicos gerais.

Treinamento e eficiência

O modelo foi treinado por aprendizado por reforço assíncrono em ambientes que reproduzem tarefas jurídicas realistas: uma instrução de trabalho, os documentos de um caso e uma rubrica especializada. O agente opera em um espaço de trabalho isolado, usa ferramentas para pesquisar e ler arquivos e entrega o trabalho final em disco. A avaliação combina um juiz baseado em modelo de linguagem, critérios detalhados da rubrica, resolução de questões jurídicas e um bônus para respostas perfeitas. A Harvey usou GSPO, LoRA de rank 64 e cerca de 1.750 ambientes de tarefas, com aproximadamente 150 GPUs NVIDIA B300 durante dois meses. A empresa declara que não usou dados de clientes.

Além do preço menor por token associado a modelos de pesos abertos, o treinamento incentivou uso eficiente de ferramentas e raciocínio. A Harvey afirma ter aumentado o desempenho mantendo o custo estável, ao reduzir tokens consumidos quando a qualidade era equivalente.

Capacidades adicionais e ressalvas

A pesquisa também descreve modelos e ambientes específicos para diligência em fusões e aquisições, análise estruturada de até 10 mil documentos e busca no conhecimento acumulado de escritórios. Em diligência, um ambiente com Recursive Language Models elevou a taxa média de critérios aprovados de 43,8% ou menos para 46,1%; após pós-treinamento por autodestilação, chegou a 60,1%. No Review Table, a Harvey relata ganhos de 3,6 pontos na qualidade das respostas e 12,1 na qualidade das citações, a cerca de um décimo do custo por célula. No conhecimento de escritórios, afirma ter reduzido em 58% os tokens das trajetórias concluídas e em 90% o custo por consulta.

A própria Harvey caracteriza os resultados como iniciais. As avaliações usam diferentes implementações de ambientes, juízes e métricas, e alguns resultados foram obtidos em configurações internas, não diretamente comparáveis aos placares públicos. A empresa pretende ampliar o LAB para mais jurisdições, áreas e fluxos de trabalho e levar os avanços da pesquisa a modelos e recursos de produção.