Como medir o uso de IA sem premiar o desperdício
A Amazon publicou diretriz que chama de falhas as metas de tokens e de adoção de IA para engenheiros.
Olimpio Santos
O placar que a Amazon desligou
Toda empresa que investe em IA quer saber se o investimento funciona. A pergunta de governança vem logo atrás: o que a empresa conta, e quem decide o que essa contagem significa?
Em 27 de outubro, a Amazon publicou uma diretriz para engenheiros de software que circulava internamente desde setembro. O texto chama de "profundamente falhas" as métricas de uso de tokens, de taxa de adoção de ferramentas de IA e de mudanças ou revisões de código. Também desaconselha o "tokenmaxxing", o consumo de IA em volume para subir em rankings.
O contexto explica o recado. Segundo o Financial Times, a empresa quer mais de 80% dos desenvolvedores usando IA toda semana, e em maio desativou o KiroRank, um painel interno que ordenava funcionários pela atividade na plataforma Kiro. Um vice-presidente sênior pediu à equipe que não usasse IA só por usar.
Uso e resultado moram em lugares diferentes
O episódio descreve um mecanismo presente em qualquer empresa que adota IA. Tokens, acessos e número de prompts são fáceis de contar porque ficam no registro da própria ferramenta. Qualidade, estabilidade e decisões melhores ficam espalhadas pelo negócio e demoram a aparecer.
O relatório DORA 2025, do Google Cloud, ouviu quase 5 mil profissionais de tecnologia e mostra essa distância. 90% usam IA no trabalho e mais de 80% acreditam que ficaram mais produtivos. No mesmo estudo, a adoção de IA mantém relação negativa com a estabilidade das entregas de software.
Quem enxerga só a primeira metade do dado vê um painel de sucesso enquanto o retrabalho cresce em outro andar. A Gartner deu nome ao risco num alerta aos diretores financeiros em maio: confundir atividade com impacto.
A lei que um economista escreveu sobre metas monetárias
Em 1975, Charles Goodhart, então conselheiro do Banco da Inglaterra, analisava as metas monetárias britânicas. Num artigo publicado pelo Reserve Bank of Australia, registrou que qualquer regularidade estatística observada tende a desmoronar quando passa a ser usada para controle.
A versão mais citada veio da antropóloga Marilyn Strathern, em 1997: quando uma medida vira meta, deixa de ser uma boa medida. O motivo é humano e previsível. As pessoas atendem ao que é cobrado, e o número passa a registrar o esforço para movê-lo.
O ranking de tokens é a lei de Goodhart com interface amigável. Cobrado como placar, o consumo de IA mede com precisão a vontade de aparecer no placar.
A decisão que cabe a quem lidera
O primeiro passo é separar indicador de diagnóstico de meta de desempenho. O uso de IA pode continuar no painel como termômetro, fora da avaliação individual e do bônus.
A meta, quando existir, precisa de um responsável nomeado e de um critério declarado ligado a resultado: defeitos em produção, tempo de ciclo, custo por entrega. A própria diretriz da Amazon defende medir, e ser medido, por resultados de longo prazo, e trata como achado o caso de quem mostra onde a IA ainda não ajuda o seu trabalho.
O ciclo fecha quando alguém revisa, a cada trimestre, se a métrica ainda mede o que media no primeiro dia. Eu apostaria que quase toda empresa já tem um número de IA nessa situação. Na sua, qual deles virou meta sem que ninguém tenha decidido isso?