Incumbentes são cautelosos com IA; startups apostam em autonomia

Capacidade, intenção e o incidente

A análise distingue capacidade técnica de intenção: em cibersegurança, a habilidade de localizar e explorar uma vulnerabilidade é essencial tanto para o ataque quanto para a defesa, e o uso que se faz dela depende dos incentivos. Essa distinção aparece no incidente da Hugging Face, atribuído à OpenAI. Agentes sem restrições, avaliados por suas capacidades de cibersegurança, encontraram e exploraram uma falha no gerenciador de pacotes do ambiente isolado da empresa. O sistema tinha acesso à internet e um sistema de arquivos suficientemente gravável para permitir que os agentes se comunicassem ao longo do tempo.

Ainda há questões em aberto até a publicação do relatório técnico prometido pela OpenAI. A avaliação preliminar apresentada é que os agentes não estavam “trapaceando”, mas executando o que haviam sido instruídos a fazer - possibilidade que o autor considera talvez ainda mais preocupante. Em uma apresentação sobre o caso, Michael Dalton afirmou que o episódio oferece uma prova concreta da aceleração da capacidade ofensiva, mas não há evidência equivalente de defesa totalmente automatizada. Ele defendeu equipes contínuas de simulação ofensiva e a automação completa do ciclo defensivo: detectar a falha, propor e aplicar um patch, implantá-lo e revertê-lo caso cause indisponibilidade.

A assimetria da defesa

O problema não é inteiramente novo. Sistemas complexos, dependências antigas e grandes bases de código tornam impossível garantir que todo software esteja livre de falhas. Programas de recompensa por bugs e testes de invasão surgiram porque defensores precisavam imitar os atacantes ou incentivá-los a colaborar. A diferença histórica era de incentivos: explorar sistemas podia ser um negócio lucrativo, enquanto investir em segurança gerava custos sem necessariamente aumentar a receita.

Agentes tornam essa assimetria mais aguda ao escalar ataques com computação e criar explorações de forma autônoma. Ao mesmo tempo, a defesa tem uma vantagem estrutural que antes era limitada: os defensores possuem o código e suas dependências e podem, ou em breve talvez possam, examiná-los integralmente em busca de falhas. O retorno esperado, porém, continua desigual. Um ataque precisa funcionar uma vez para produzir ganho; se falhar, o estado anterior permanece. Já a defesa precisa preservar o funcionamento do sistema: um único patch malsucedido pode interrompê-lo ou introduzir novas vulnerabilidades. Por isso, empresas tendem a manter humanos no processo, mas essa cautela não acompanha agentes ofensivos totalmente automatizados. Restrições que impedem defensores de usar modelos muito capazes também podem levá-los a depender de alternativas menos desejáveis.

Difusão lenta e inovação

Sam Altman reconheceu que havia superestimado a velocidade de disseminação da IA após o GPT-4, atribuindo o atraso à inércia da economia e à tendência de pessoas e empresas manterem ferramentas e fornecedores conhecidos. O autor concorda, mas acrescenta que o GPT-4 ainda não tinha capacidade de raciocínio suficiente para substituir operações reais de software. A adoção depende menos do que a tecnologia consegue fazer do que da possibilidade de evitar erros críticos.

Essa lógica leva empresas estabelecidas a avaliar a IA pelo risco negativo: ganhos de produtividade são desejáveis, mas um erro grave pode causar perdas desproporcionais. Assim, a permanência de humanos no processo limita a escala. A análise sustenta que, no longo prazo, essa escolha será inadequada tanto na defesa cibernética quanto na operação empresarial: as vencedoras serão empresas verdadeiramente orientadas por IA, e não apenas organizações que a usam como um reforço de produtividade.

Inovação sustentadora e disruptiva

Com base na distinção de Clayton Christensen, a IA pode ser simultaneamente uma inovação sustentadora, ao melhorar produtos e operações existentes, e disruptiva, ao permitir propostas diferentes para novos clientes. Em empresas estabelecidas, a adoção depende de criatividade e disposição para assumir riscos, ambas restringidas pelo receio de prejudicar o negócio. Startups, por outro lado, já partem de uma probabilidade de fracasso; nesse contexto, automatizar mais processos pode ter valor esperado positivo. A conclusão é que as mesmas ferramentas produzirão resultados diferentes porque os incentivos são diferentes: startups tenderão a explorar a autonomia, enquanto incumbentes podem manter humanos no lugar errado por tempo demais.