Uma resposta fluente não é prova de exatidão

A performance segue uma fronteira irregular

As habilidades de um modelo não formam um planalto regular. Desenham o que os autores chamam de um borda tecnológica detalhada : muito forte em algumas tarefas, instável em outras — e o limite não é visível para aquele que usa o modelo.

1. Na fronteira
   Alta performance e ganhos reais. Na experiência de 758 consultores de uma firma internacional, a assistência à IA permitiu 12,2% mais tarefas para serem manipuladas e 25,1% mais rápido.
2. Perto da fronteira
   Difícil prever o desempenho. Não há indicação na formulação da resposta de que a tarefa esteja saindo do campo onde o modelo é confiável.
3. Fora da fronteira
   A assistência pode degradar a decisão. Neste mesmo experimento, em uma tarefa fora do limite de jurisdição identificado, os usuários assistidos por IA foram 19 pontos percentuais menos propensos a obter a resposta correta.

Dell'Acqua et al. · Navegando pela Fronteira Tecnológica Marcada · 2025 · Experiência controlada com 758 consultores — resultado específico deste protocolo — Ver fonte

Este resultado não diz que "IA perde 19 pontos". Ele diz que, dentro da mesma ferramenta, duas tarefas de aparência semelhante podem produzir um ganho líquido ou perda, sem aviso.

A confiabilidade necessária depende da consequência do erro

Uma taxa de sucesso não tem valor absoluto: só faz sentido quanto ao custo de um erro. Um sistema que tenha sucesso 80 ou 90% do tempo pode ser excelente na produção de um primeiro jato, sugerindo uma variante ou classificando conteúdo. A mesma confiabilidade torna-se insuficiente para modificar um preço, publicar automaticamente, entrar em uma promessa contratual ou gastar um orçamento importante.

O METR formula o mesmo princípio no lado da avaliação: um horizonte de tarefa medido com 50% de sucesso não significa que a tarefa possa ser delegada. Alguns aplicativos críticos requerem níveis de confiabilidade acima de 98%.

METR · Horizontes de Tempo · 2025 · avaliação de capacidade, não uma medida de uso empresarial — Ver fonte

É esta assimetria que justifica permissões, limiares, níveis diferenciados de autonomia e escalada humana — não uma desconfiança dos princípios em relação aos modelos.

Mais contexto não garante mais compreensão

Expandir a janela de contexto não é suficiente para melhorar o seu uso. O trabalho na posição das informações mostra que os modelos exploram o que está no meio de um contexto longo menos bem do que no início ou no fim.

Liu et al. · Perdido no meio · 2024 — Ver fonte

Uma avaliação mais recente de textos longos descobriu que nenhum dos modelos testados manteve um entendimento estável além de fichas de 64k.

Hamilton et al. · Descomposição da compreensão de longos contextos do LLM com romances · 2026 · modelos avaliados em um protocolo para compreensão de romances — Ver fonte

O aumento da janela disponível, portanto, não elimina a necessidade de selecionar, estruturar e priorizar informações úteis.

As alucinações fazem parte do mesmo registro: permanecem uma limitação persistente dos modelos gerativos e não podem ser tratadas como um problema completamente eliminado.

Abrir IA · Por que modelos de língua alucinar · 2025 — Ver fonte

O custo relevante é o do resultado aceito

O preço de um símbolo só descreve uma fração do custo real. O que conta é o custo total de um resultado utilizável:

custo real = modelo + controle + correções + escaladas + erros + tempo humano

Um modelo mais barato que produz mais repetições pode custar mais do que um modelo mais caro integrado em um sistema que limita repetições. É o sistema, não a taxa unitária, que determina a economia.