Revisar prompts melhora processos industriais com LLMs

O problema

Quando LLMs são usados em processos automatizados ("industrial prompting") - como traduzir documentação, extrair dados de notas fiscais ou gerar conteúdo em pipeline -, é comum que o input precise ser atualizado e reprocessado. A abordagem ingênua é simplesmente reexecutar a instrução completa sobre o input atualizado, o que traz dois problemas:

Inconsistência: LLMs são não-determinísticos, então a nova saída difere da original além do que a mudança no input justificaria.
Custo e tempo desnecessários: mesmo que só uma pequena parte do input tenha mudado, o output é regenerado por completo.

A técnica: Revision Prompting

Em vez de reprocessar tudo, o Revision Prompting fornece ao LLM três elementos:

O input original e o output original já produzido.
O diff entre o input original e o input atualizado.

A instrução então pede que o LLM produza apenas um patch para atualizar o output, em vez de gerar um output inteiro.

Exemplo prático

Uma página de produto (e-bike Vela 3) foi traduzida para o alemão. Depois, a autonomia da bateria mudou de 80 km para 100 km. Em vez de retraduzir a página toda, o prompt de revisão mostra apenas a linha alterada no input e pede o patch correspondente. O LLM devolve só a linha da tradução que precisa mudar. O restante permanece idêntico ao output original.

Por que funciona

Consistência: como o LLM só vê o diff do input, o patch se limita às mudanças necessárias. Tudo que não foi tocado permanece exatamente igual.
Economia de tempo e tokens: a maior parte dos tokens se move do output (caro e lento) para o input (mais barato e rápido). O tempo de processamento cai porque a geração do output é muito mais curta. Se a revisão acontece poucos minutos após a execução original, prompt caching reduz ainda mais o custo.

Resultados em produção

Os autores usam a técnica em seus próprios pipelines industriais e relatam redução de ~80% no tempo e ~65% nos custos. Para formatos de diff e patch, o utilitário POSIX diff funciona bem de forma genérica; para outputs em JSON, o formato JSON Patch é adequado.