Calculadora avalia quando hardware de IA local supera APIs pagas

Uma calculadora para comparar custo local versus API

O site Sunk Cost (sunkcost.ai) oferece uma ferramenta para estimar quanto tempo leva até uma máquina comprada para rodar modelos de IA localmente se pagar em relação ao uso de APIs pagas, e o que essa máquina consegue executar na prática.

O usuário informa o hardware que está avaliando - incluindo quantidade de memória, consumo em watts sob carga e largura de banda de memória - além do padrão de uso: tipo de tarefa predominante, volume diário de tokens, janela de contexto desejada e proporção entre entrada e saída. A ferramenta apresenta o ponto de equilíbrio (break-even) entre o investimento local e a conta de API.

Suposições ajustáveis e limitações

Entre as premissas modificáveis estão o preço da eletricidade por kWh, a velocidade da API em tokens por segundo, a velocidade medida do hardware local ou a conta mensal de API. Há também uma opção para considerar que os preços de API continuarão caindo, com ajuste da taxa de queda.

A ferramenta deixa claro suas limitações: quando nada foi medido, a velocidade local é estimada pela fórmula de largura de banda de memória dividida pelos bytes lidos por token, e marcada como estimativa. A velocidade da API afeta apenas a comparação de tempo.

Sobre capacidade, o site oferece um ranking de modelos em comparação com Claude e GPT, além de uma lista de melhores compras por nível de capacidade. As notas de capacidade e a comparação com a fronteira são descritas como julgamentos informados por benchmarks públicos, deliberadamente aproximados - o site convida os usuários a relatar avaliações que pareçam erradas.

Privacidade dos dados

Os dados de máquina, velocidade e conta informados são enviados uma única vez quando o usuário para de digitar, sem cookies e sem endereço IP, apenas com o país de origem da requisição, com o objetivo de melhorar as opções e estimativas. Navegadores configurados para não rastrear não enviam nada.