Sugestões do Claude Code podem virar dados de preferência dos usuários

A sugestão como recurso menor - e a tese maior

Após concluir uma tarefa, o Claude Code passou a preencher a caixa de prompt com uma mensagem sugerida, como "run the tests" ou "commit this", que o usuário pode enviar como está ou editar. Para o autor, Zohaib Ansari, engenheiro de software, o recurso parece menor como conveniência: economiza segundos de digitação e ele costuma escrever a própria mensagem mesmo assim. A tese do post é que o cliente real dessa funcionalidade seria o modelo, não o usuário.

O problema da coleta de preferências

Obter feedback útil de usuários é difícil: os botões de polegar para cima e para baixo raramente são clicados, e quem clica tende a estar irritado, gerando rótulos esparsos e enviesados. Contratar anotadores funciona, mas é caro - e um anotador lendo o código de outra pessoa só consegue adivinhar a intenção do desenvolvedor.

Como a caixa de sugestões contornaria isso

Cada sugestão é uma previsão da próxima interação do usuário, condicionada a toda a sessão. Segundo Ansari, o usuário a avalia sem pensar que está avaliando: enviar sem alterar funciona como rótulo positivo; editar gera ainda mais valor, porque a versão original e a editada formam um par de preferências cuja diferença mostra onde a previsão falhou. A correção vem de quem conhece o projeto e é escrita no momento em que se importa em acertar.

Para o autor, esse seria o material bruto para aprendizado por reforço com feedback humano (RLHF): coletam-se preferências entre saídas do modelo e treina-se um modelo de recompensa. A coleta sempre foi a parte cara, e aqui as preferências surgiriam de pessoas fazendo seu trabalho, em repositórios reais em vez de benchmarks sintéticos - ou seja, em distribuição para o trabalho que o modelo será solicitado a fazer.

Benefício adicional: prever o próximo passo

Prever a próxima interação do usuário seria um objetivo de treinamento útil por si só: um modelo que adivinha o que um desenvolvedor competente pedirá a seguir aprendeu sobre sequenciamento de trabalho - depois de um refactor, roda-se os testes; passando, faz-se commit. Isso estaria a um curto passo de um agente que toma a próxima ação sem ser solicitado.

Ressalvas e a resposta da Anthropic

O autor deixa claro que está especulando: não tem conhecimento interno sobre o que a Anthropic faz com esse sinal, e o uso das sessões para treinamento depende do plano e das configurações de privacidade. Mas afirma que, se tivesse que desenhar uma forma de coletar preferências de milhares de engenheiros trabalhando, lutaria para criar algo mais barato - custa uma linha de texto numa caixa de entrada e é entregue como conveniência.

Em atualização, o post reproduz a resposta de edwinarbus, que trabalha no Claude Code na Anthropic, no Hacker News: as sugestões de prompt não estão sendo usadas para coletar sinais de preferência. A funcionalidade foi criada para ajudar a manter o fluxo ou a relembrar o próximo passo a quem retorna a uma sessão. A equipe acompanha quantas sugestões são aceitas, mas apenas para medir a utilidade geral do recurso, que pode ser desativado nas configurações. O formato escolhido foi o de sugestão esmaecida, que pode ser digitada por cima, e não um "autocorrect".