Raindrop lança classificadores binários Signals 2.0

O que é rd-signal-2 e Signals 2.0

A Raindrop lançou o Signals 2.0, alimentado pelo rd-signal-2, um pipeline de modelos para criar classificadores binários específicos por tarefa a partir de traces de produção. Segundo a empresa, o sistema se aproxima da precisão de modelos frontier como GPT-5.6 Sol xhigh, custando cerca de 1.600 vezes menos que ele e 260 vezes menos que GPT-5.6 Luna xhigh. O recurso já está disponível para todos os clientes da Raindrop sem custo adicional.

Também foi lançado o Signal Builder, plataforma para treinar e hospedar classificadores personalizados com Zero Data Retention (ZDR), voltada a ambientes com exigências rigorosas de dados, como saúde.

Classificação binária como problema de alinhamento

O artigo parte da ideia de que avaliar se o comportamento de um agente é bom ou ruim é, no fundo, um problema de classificação binária - mas difícil, porque exige alinhar pessoas dentro de uma empresa sobre o que conta como sucesso ou falha, mapear casos extremos e só então traduzir isso em um modelo ou pipeline.

A primeira versão dos Signals, lançada em junho de 2025, avaliava apenas pares isolados de entrada e saída, adequados para chatbots. Agora, falhas de agentes podem se espalhar por múltiplos turnos, chamadas de ferramentas e subagentes, às vezes com centenas de milhares de tokens.

Rodar modelos frontier em cada trace seria caro e lento; modelos pequenos são baratos, mas têm dificuldade com comportamentos complexos e pouco contexto. O rd-signal-2 resolve isso com um loop automatizado de pesquisa: estuda traces de produção, escreve código para montar o contexto relevante e treina um modelo específico para a tarefa.

Raciocínio no build, não na execução

Em vez de gastar tokens de raciocínio reavaliando cada trace do zero, o sistema separa o raciocínio necessário para construir o classificador da computação necessária para executá-lo. O custo pago uma vez na construção é diluído entre todos os traces futuros.

Na prática, um Signal pode usar código determinístico para filtrar eventos - por exemplo, identificar três chamadas idênticas de uma ferramenta que falharam - e só então enviar os casos ambíguos para julgamento semântico de um classificador especializado.

O artigo também destaca que a parte mais difícil costuma ser descobrir o que o usuário realmente quer dizer. Em testes com quatro variações de uma mesma política sobre 2.000 traces de produção, as taxas de correspondência variaram de 0,9% a 4,6%, e 67% dos traces detectados foram aceitos por uma interpretação e rejeitados por outra.

Monitoramento contínuo e escala

Como modelos e traces mudam com o tempo, um Signal pode perder precisão mesmo sem alteração de código. A Raindrop amostra diariamente Signals em produção usando modelos frontier e, quando detecta drift ou regressão, reotimiza e reavalia.

Cada Signal gerado é tratado como não confiável por padrão, rodando em ambiente isolado, sem credenciais ou acesso externo à internet. A mediana de classificação é de 100 ms por trace, e a infraestrutura avalia mais de 20 bilhões de traces por mês.

Além de classificadores criados por usuários, o rd-signal-2 alimenta o sistema de detecção de problemas da Raindrop e pode ser acionado por agentes de código via MCP. A empresa também lançou a Signals 2.0 API, permitindo que desenvolvedores integrem detecção específica de domínio em seus próprios sistemas.