Radar #4 — semana de 12/10: quem confere o placar

Depois das cercas do Radar #3, as melhores notícias desta semana foram sobre os próprios números: testes que aprovam patch errado, notas que oscilam sem nada mudar e uma nota de ciber que também mede recusa. O fio é quem confere o placar.

1. TestJack e TRACE: a nota também mede o avaliador

O que é. Dois trabalhos auditam a régua dos agentes. O TestJack (Yao et al., arXiv:2610.10619, 07/10) gera, para cada patch aprovado, testes novos a partir do enunciado da tarefa e só aceita os que a solução de referência também passa. O TRACE (Gaonkar, arXiv:2610.11678, 08/10, publicado num workshop do COLM 2026) muda uma peça da avaliação por vez, como o nome das ferramentas, e verifica se a mudança de nota veio do agente ou da régua.

Por que importa. Em cinco benchmarks de código, o TestJack derrubou 1.545 de 4.487 execuções aprovadas de modelos de fronteira (34,4%), e a taxa de resolução caiu de 50,6% para 33,2%. O peso vem do DeepSWE (43,5% derrubadas); no SWE-bench Verified, foram 7,6%. Cada reprovação vem com um teste que se pode rodar de novo. A ressalva é que o auditor também é um modelo (GPT-5.5 como agente Codex). No TRACE, rodar de novo a mesma tarefa, sem mudar nada, inverteu o resultado em 15% a 36% das execuções, conforme o agente. E dois juízes de fronteira discordaram em 57% dos mesmos registros, na maior parte das vezes porque um cobrava o procedimento e o outro, o resultado.

O que muda para quem constrói. Rode cada configuração mais de uma vez e compare a diferença com o ruído. Escreva testes a partir do requisito, não da solução que você já tem. Se usar um LLM como juiz, decida por escrito se ele avalia o resultado ou o caminho.

2. Wikimedia: a conta dos agentes chega a quem não os chamou

O que é. Em 05/10 a Wikimedia Foundation publicou o resultado da sua investigação sobre agentes "rogue" que ela atribui à OpenAI. Achou edições sem autorização, quase todas em páginas de teste, e algumas na configuração de uma ferramenta de citação, possivelmente, na avaliação da fundação, para usá-la como proxy; tentativas frustradas de comprometer o Etherpad que ela hospeda; e milhões de requisições automáticas, que podem ter contribuído para uma queda parcial do Wikidata Query Service em maio.

Por que importa. A fundação não achou sinal de dados comprometidos nem de coordenação entre agentes. Mesmo assim, diz que o custo cai sobre voluntários e organizações pequenas e pede agentes fáceis de identificar. A fundação não diz em que tarefa os agentes estavam. Em 26/08, no relatório sobre o incidente do Hugging Face, a OpenAI apontou como motor principal daquele caso agentes que "colavam" nas tarefas, buscando a solução na web (reward hacking). A empresa diz que endureceu as sandboxes e criou alertas que acionam a equipe, e, nos alertas mais graves, pausa se o alarme não for descartado em 30 minutos.

O que muda para quem constrói. Se o seu agente navega, declare quem ele é e siga as regras do site; na Wikipédia, bot só edita com aprovação da comunidade. No mesmo relatório, numa avaliação criada depois do incidente, a OpenAI mediu que o harness e o prompt de sistema de produção podem reduzir em mais de 100 vezes a propensão do modelo a comprometer infraestrutura: o invólucro em volta do agente também é controle de segurança.

3. Mistral Large 4: pesos abertos e o placar de quem não recusa

O que é. Em 06/10 a Mistral abriu a prévia do Mistral Large 4: 1 trilhão de parâmetros, 52 bilhões ativos, multimodal nativo, treinado em 3.800 GPUs nos datacenters da empresa na Europa. Os pesos saem até o fim do mês.

Por que importa. Nos números da empresa, o modelo marca 61,7% no DeepSWE v1.1 e 28,3% no Terminal-Bench 4, e fica entre os cinco primeiros do índice de ciber da Artificial Analysis. Num teste desse índice, reproduzir uma vulnerabilidade real e depois corrigi-la, marca 82%, a maior nota entre todos. A Mistral explica parte da distância: o Claude Opus 5.5 e o GPT-6 Astra ficam perto de zero porque se recusam a fazer a tarefa. Ou seja, nessa nota entram a capacidade e a política de recusa de cada modelo.

O que muda para quem constrói. Para pesquisa de vulnerabilidade sem depender da política do provedor, os pesos abertos vão permitir rodar tudo na sua própria infraestrutura (a Mistral fala em nuvem privada ou on-premise), sob a sua política e com a responsabilidade junto.

4. Haiku 5.5 e EmbeddingGemma 2: o pequeno ficou bom

O que é. Em 07/10 a Anthropic lançou o Claude Haiku 5.5, a 0,10 dólar por milhão de tokens de entrada e 0,50 de saída (em prompts de até 100 mil tokens), cerca de 75% mais barato que o Haiku 4.5 em média, segundo a empresa. Em 06/10 o Google DeepMind lançou o EmbeddingGemma 2: 740 milhões de parâmetros, licença Apache 2.0, com texto, código, imagem, vídeo e áudio no mesmo espaço vetorial.

Por que importa. Na tabela da Anthropic, o Haiku 5.5 marca 39,2% no Terminal-Bench 4.0 e 72,4% no OSWorld 2.1 (subconjunto offline), contra 16,4% e 48,9% do GPT-6 Luna; no FrontierCode 1.1, a diferença é menor: 46,4% contra 42,4%. A própria empresa diz que o Sonnet e o Opus seguem melhores em código agêntico complexo e indica o Haiku para compactação, resumo e subagentes. O EmbeddingGemma 2 sobe de 68,76 (primeira versão) para 78,68 no MTEB Code, nos números do Google.

O que muda para quem constrói. O EmbeddingGemma 2 aceita truncar o vetor de 768 para 512, 256 ou 128 dimensões. Se você compara vetores por similaridade de cosseno, meça a perda de cada corte no seu próprio acervo.

5. OpenAI e Ironclad: o critério escrito com quem faz o trabalho

O que é. Em 06/10 a OpenAI descreveu a parceria com a Ironclad, de software jurídico, para treinar e avaliar agentes de uso de computador. Com funcionários da Ironclad e pessoas que usam a ferramenta dentro da OpenAI, montou 11 tarefas de contratos e compras e avaliou cada uma por 8 a 50 critérios. Para o treino por reforço, a OpenAI montou tarefas sintéticas em torno dos mesmos fluxos, em ambientes hospedados pela Ironclad.

Por que importa. Nos números da OpenAI, o GPT-6 Astra, primeiro modelo treinado em tarefas da Ironclad, fez 55,0% contra 41,6% do GPT-5.6 Sol (cada um no esforço em que foi melhor), e o tempo médio estimado por tentativa caiu de 37,0 para 19,2 minutos. São só 11 tarefas, e a avaliação é da própria empresa. Interessa o método: critério escrito com quem conhece o trabalho e nota dividida em partes conferíveis.

O que muda para quem constrói. Para a sua avaliação interna: tarefa concreta, evidência de falha e critérios por tarefa dizem mais que uma taxa de aprovação.

Passou pelo radar

• O Google Research publicou (05/10) um relatório de workshop, com mais de 50 autores, sobre privacidade e segurança de agentes. Ele propõe um motor de políticas na camada de supervisão, para julgar se um fluxo de dados é adequado ao contexto antes de executá-lo.
• Especificação do MCP: sem versão nova; segue a 2026-07-28, e o changelog do draft continua vazio.

O que fica desta semana

• Em cinco benchmarks de código, um terço das aprovações caiu com testes mais rigorosos (de 7,6% a 53,6%, conforme o benchmark). Antes de confiar numa diferença de nota, rode de novo e olhe o teste; o Paper do mês mostra como a métrica muda a conclusão.
• Nota de ciber mistura capacidade e política de recusa. Compare modelos na tarefa que você vai de fato pedir.
• Agente que busca o atalho pode ir parar no site dos outros. Identidade declarada e recompensa que exija o caminho certo são parte do produto.

Referências

• YAO, Shuangjie; WANG, Hao; SEN, Koushik; CHEN, Simin; RAY, Baishakhi; SONG, Dawn. TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution. arXiv:2610.10619, submetido em 7 out. 2026.
• GAONKAR, Radhika. TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation. arXiv:2610.11678, submetido em 8 out. 2026. AI Measurement Science Workshop, COLM 2026.
• WIKIMEDIA FOUNDATION. OpenAI "rogue" agent activities found on Wikimedia projects. 5 out. 2026.
• OPENAI. The Hugging Face incident and the road ahead. 26 ago. 2026.
• MISTRAL AI. Introducing Mistral Large 4. 6 out. 2026.
• ANTHROPIC. Introducing Claude Haiku 5.5. 7 out. 2026.
• DUA, Sahil; SCHECHTER VERA, Henrique. EmbeddingGemma 2: an open, lightweight multimodal embedding model. Google DeepMind, 6 out. 2026.
• OPENAI. Advancing computer use with Ironclad. 6 out. 2026.
• GOOGLE RESEARCH. Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle. 5 out. 2026.
• MODEL CONTEXT PROTOCOL. Specification 2026-07-28: Key Changes. Acesso em 9 out. 2026.