Airbnb cria Insight Miner para investigar textos não estruturados em dias

A tese: método como produto

Ao pedir a um agente de código que analise 100 mil conversas de suporte, em minutos ele devolve uma taxonomia polida, números de prevalência e um resumo executivo. O que não aparece é a investigação por trás: os métodos escolhidos, as evidências pesadas, o quanto se pode confiar no resultado ou se uma segunda rodada chegaria ao mesmo lugar. A posição do texto é que inteligência sem metodologia não é ciência - e que, no caso do Airbnb, a metodologia em si foi transformada em infraestrutura em volta do modelo, no formato de um agent harness.

O problema que motivou o Insight Miner

Em 2025, o Airbnb se preparava para lançar um assistente de atendimento com IA. Antes do lançamento, era preciso entender exatamente quais situações ele enfrentaria no mundo real, incluindo eventos raros e potencialmente arriscados, para criar os conjuntos de dados que orientariam um produto mais responsável.

Esse trabalho investigativo era rigoroso, mas artesanal: meses de iteração de alto contato por investigação, com revisão de amostras junto a especialistas, e o método disperso manualmente entre notebooks, tabelas, documentos e julgamento individual. Quando a mesma investigação passou a ser levada a novos idiomas, geografias e produtos baseados em LLM quase semanalmente, o processo não comportava o ritmo.

Como o harness funciona

O Insight Miner parte da engenharia - consultas, rotulagem e embedding em escala, clustering e rastreamento - sobre um método núcleo estabelecido: extrair, embutir, agrupar. Em volta desse núcleo, o Airbnb reuniu técnicas vindas de investigações internas e pesquisa do setor: ajuste de prompts, mineração de exemplos difíceis, rotulagem contrastiva e a progressão de exploração não supervisionada até classificação. O que vivia em notebooks separados, compartilhados por copiar e colar, agora está em um pacote compartilhado, atualizado sempre que uma investigação individual ensina uma técnica melhor.

A investigação começa com uma pergunta de pesquisa em uma sessão de chat, com um agente que atua simultaneamente como parceiro de pesquisa, executor e especialista nos métodos do harness. A ferramenta não está vinculada a um único conjunto de dados, domínio ou questão.

Resultados e deslocamento do trabalho

Ao expandir o assistente de suporte a novos idiomas e países, investigações que levavam meses passaram a ser feitas em dias - e a relação entre rigor e velocidade aumentou junto, em vez de haver troca. Os cientistas de dados mudaram o foco da execução de análises para a melhoria das técnicas de cada etapa. Como as partes mecânicas escalam e paralelizam, sobra tempo para inspecionar diretamente os dados mais ambíguos ou estratégicos, testar hipóteses e agrupamentos e construir entendimento qualitativo e quantitativo. Segundo o texto, em vez de automatizar a análise, o harness aumenta o julgamento humano nas partes mais estratégicas.

Uso além dos times técnicos

Embora tenha sido concebido para ciência de dados, um ano depois dezenas de times usam o Insight Miner para centenas de tipos de investigação, com mais usuários fora das funções técnicas do que dentro - com forte representação de operações e insights de produto. Uma interface dedicada amplia a participação de especialistas. Pessoas especialistas sem experiência em código passaram a conduzir análises em escala sem depender de times de engenharia ou ciência de dados escassos, e projetos antes sem alocação de recursos passaram a trabalhar com ordens de magnitude mais dados. Casos incluem codificar respostas abertas de pesquisas, avaliar desempenho de modelos e entender padrões de fraude.

Uma nova categoria de infraestrutura

Harnesses como o Insight Miner são sistemas completos que precisam ser desenvolvidos, mantidos, avaliados e continuamente aprimorados - trabalho que se adapta bem a outros sistemas agênticos: no Airbnb, sistemas agênticos separados atualizam instruções para novas versões de modelo, incorporam novas boas práticas, revisam uso real em busca de dores e detectam, reproduzem e propõem correções de bugs.

O texto argumenta que um harness é útil onde quer que especialistas carreguem uma metodologia que valha codificar - revisão jurídica, análise de políticas, qualquer campo em que o método seja tanto produto quanto a resposta. Citando o CTO da empresa, o fechamento sustenta que, à medida que os modelos se tornam commodities, o que perdura são dados proprietários, integração profunda em fluxos de trabalho e, sobretudo, taste - e o harness é onde os três se acumulam: o gosto do especialista vira o método que todo time executa, os fluxos se aprofundam a cada adotante e os ciclos de feedback são integrados, com cada execução podendo melhorar o harness para todos.