Como decidir a troca de modelo de IA na sua empresa

O Google liberou o Gemini 4 Argon em 13 de outubro, com preço reduzido até 30 de novembro e resultados que mudam conforme o teste. No mesmo dia, a Character.AI pediu proteção contra falência nos Estados Unidos. A troca de modelo de IA pede inventário, teste com casos reais, responsável nomeado e saída preparada.

Olimpio Santos

Na terça-feira, 13 de outubro, o Google liberou para uso amplo o Gemini 4 Argon, seu modelo de IA mais avançado. Até então restrito a testadores, o modelo passou a estar disponível na API paga do Gemini, no Google AI Studio, no Antigravity e para clientes elegíveis do Gemini Enterprise. Pela tabela publicada pelo Google, o preço é de US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de tokens de saída até 30 de novembro. A partir de 1º de dezembro, os valores dobram para US$ 4 e US$ 20.

Os números de desempenho variam conforme quem mede. No Vals Index, avaliação independente divulgada em 12 de outubro, o Argon ficou em primeiro lugar, com 68,9%, à frente do Claude Sonnet 5.5 e do Claude Opus 5.5. No índice de inteligência da Artificial Analysis, o Argon marcou 53 pontos e ficou atrás de três concorrentes, entre eles o Claude Opus 5.5, com 58. Nos testes divulgados pelo próprio Google, o modelo lidera em tarefas jurídicas e de automação e fica atrás do Opus 5.5 em tarefas de terminal.

No mesmo dia, o TechCrunch informou que a Character.AI, uma das startups mais conhecidas da primeira onda de IA generativa, entrou com pedido de proteção contra falência pelo Capítulo 11 da lei americana. A empresa declarou ativos e passivos entre US$ 50 milhões e US$ 100 milhões. A Disney ofereceu US$ 20 milhões por parte dos ativos e por uma licença da tecnologia. O presidente-executivo, Colin Adams, afirmou que a plataforma será encerrada se não surgir uma proposta por ela. Em agosto de 2024, a empresa havia fechado com o Google um acordo de licenciamento avaliado em US$ 2,7 bilhões.

O modelo muda mais rápido que o contrato

Os dois fatos mostram as duas pontas do mesmo problema. De um lado, um modelo novo chega com preço reduzido por prazo definido e com resultados que mudam conforme o teste. Do outro, um fornecedor avaliado em bilhões dois anos antes pode deixar de operar em poucos meses.

Para quem usa IA em processos da empresa, cada lançamento gera pedidos internos de troca. A equipe de produto quer o modelo que lidera o ranking da semana. A área financeira vê o preço de lançamento e calcula a economia. O fornecedor do software de atendimento troca o modelo por trás do produto e avisa por e-mail. Em muitas empresas, nenhuma dessas mudanças passa pelo crivo aplicado à troca de um sistema de gestão.

O risco aparece na operação. Um modelo diferente responde de outro jeito à mesma instrução. Um agente que classificava notas fiscais com taxa de acerto conhecida pode passar a errar em um tipo específico de documento. O custo por tarefa pode subir mesmo com preço por token menor, porque o modelo novo pode consumir mais tokens de raciocínio para chegar à resposta. E a economia calculada com o preço de outubro deixa de valer em dezembro.

O ranking público mede a média

Benchmarks servem para separar candidatos. Eles medem o desempenho médio em conjuntos de tarefas escolhidos por quem faz o teste. Na mesma semana, o Argon lidera um índice e aparece atrás de três modelos em outro. As duas medições estão corretas dentro do que cada uma testa.

A tarefa da empresa raramente coincide com a do benchmark. Um escritório que usa IA para revisar contratos de locação precisa saber como o modelo trata as cláusulas que aparecem nos seus contratos. Essa resposta sai de um teste com casos reais da própria empresa.

O Google divulgou um dado interno que ilustra o ponto. Segundo a empresa, mais de 100 mil funcionários usam o Argon todo mês, as submissões de código feitas por agentes subiram 35% e as reversões caíram 30%. O dado vem do ambiente do Google. Cada empresa precisa medir o seu.

Quatro regras para trocar de modelo

Primeira: inventário de modelos por processo. A empresa sabe qual modelo, em qual versão, atende cada processo, inclusive os modelos embutidos em software de terceiros. O contrato com o fornecedor de software prevê aviso prévio antes de trocar o modelo por trás do produto.

Segunda: conjunto de teste próprio. Cada processo relevante tem um conjunto de casos reais com a resposta correta conhecida, de 100 a 300 exemplos. Todo modelo candidato roda nesse conjunto antes de qualquer decisão. O resultado é comparado com o do modelo atual em acerto, custo por tarefa e tempo de resposta.

Terceira: decisão com nome e critério. A troca é aprovada por um responsável nomeado, com o critério escrito antes do teste: quanto o novo modelo precisa acertar e quanto pode custar por tarefa, calculado com o preço que vale depois do período de lançamento. A decisão fica registrada junto com o resultado do teste.

Quarta: saída preparada. Todo processo crítico tem um modelo alternativo já testado e um caminho para voltar ao modelo anterior em poucas horas. Instruções, exemplos e dados ficam em formato que a empresa consegue levar para outro fornecedor. Os erros encontrados em produção entram no conjunto de teste, e a próxima avaliação começa com esse dado.

Como fica na prática

Uma seguradora de médio porte usa um modelo de linguagem para ler laudos de vistoria de automóveis e preencher o sistema de sinistros. O processo atende 4 mil laudos por mês, com 94% de campos corretos na revisão por amostragem.

Com o lançamento de um modelo mais barato, a equipe de tecnologia propõe a troca. O gerente de sinistros, responsável pelo processo, define o critério antes do teste: pelo menos 94% de acerto e custo por laudo menor que o atual, calculado com o preço cheio. O modelo candidato roda nos 200 laudos do conjunto de teste. Ele chega a 95% de acerto geral, mas erra mais nos laudos manuscritos digitalizados, que somam 15% do volume. Com o preço cheio, o custo por laudo fica 10% abaixo do atual.

A decisão registrada é usar o novo modelo nos laudos digitais e manter o atual nos manuscritos. A troca entra em produção para 10% do volume durante duas semanas, com retorno ao modelo anterior em uma hora se o acerto cair. Os erros encontrados nesse período entram no conjunto de teste. Na revisão do trimestre, o gerente apresenta à diretoria o acerto, o custo e as reversões de cada modelo.

As decisões desta semana

Os lançamentos de modelos chegam em intervalos de semanas, e o mercado de fornecedores de IA já registra pedidos de falência e vendas de ativos. A decisão de trocar ou manter um modelo cabe a quem responde pelo processo, com dados da própria operação.

Três perguntas mostram se a empresa está pronta para a próxima troca. Qual modelo, em qual versão, atende hoje cada processo crítico? Existe um conjunto de casos reais para testar um candidato em menos de uma semana? Se o fornecedor atual parar amanhã, em quanto tempo o processo volta a funcionar com outro modelo?

Quem responde às três decide a troca com números. Quem não responde tem até 30 de novembro, data em que termina o preço de lançamento do Argon, para montar o inventário e o primeiro conjunto de teste.