Expertise no domínio é a chave para extrair valor dos LLMs

LLMs recompensam expertise de domínio

Sean Goodicke (GitHub) argumenta que a habilidade mais importante para extrair valor de LLMs não é "engenharia de prompt", mas sim conhecimento profundo no domínio sobre o qual se está perguntando.

O argumento

LLMs tornam qualquer pessoa um generalista: quem não sabe CSS pode pedir ao modelo e obter algo razoável. Isso cria a impressão de que todos obtêm os mesmos resultados, já que estão falando com o mesmo modelo. Goodicke discorda: especialistas conseguem resultados dramaticamente melhores.

O exemplo de Terence Tao

O autor usa como ilustração a conversa do matemático Terence Tao com o ChatGPT sobre um contraexemplo à Conjectura Jacobiana. Observações do diálogo:

• As mensagens de Tao são curtas e diretas; ele responde apenas à essência, não ponto a ponto.
• O modelo se ajusta a um "modo matemático" mais conciso, sem explicações para leigos.
• Tao corrige o modelo sem confrontar diretamente ("isso parece mais complexo do que eu esperava").
• Ele faz saltos e sugestões próprias, quase nunca segue a direção proposta pelo modelo.

O ponto central: essas técnicas só funcionam porque Tao entende a matemática. Ele consegue identificar o que está errado, extrair a ideia relevante de respostas longas e sugerir formulações alternativas.

A analogia com programação

Goodicke afirma que o mesmo vale para código: quem tem uma boa teoria do próprio codebase consegue pressionar o LLM muito mais - dizendo "poderia ser mais simples", "já não fazemos X?", ou "podemos expressar isso nestes termos familiares?". Problemas de design de sistemas são dominados por especificidades concretas, não por princípios genéricos.

Conclusão

Sem conhecimento de domínio, o LLM ainda entrega algo - o que já é útil. Mas com expertise, é possível extrair muito mais valor do mesmo modelo, direcionando-o com força na direção desejada. Isso sugere que a expertise humana continuará relevante mesmo com modelos mais fortes: em muitas tarefas, o humano é o gargalo, não o modelo, porque a parte difícil é comunicar exatamente que tipo de solução se quer. A informação já está "no modelo", mas é preciso um humano muito capaz para extraí-la.