Radar #5 — semana de 19/10: o que fica em volta do modelo

No Radar #4, a nota de um agente media também quem a conferia. Nesta semana, o que decidiu resultado, risco e conta esteve fora dos pesos: camadas que vigiam o modelo por dentro, um teto de tokens que derruba a nota, um avaliador com acesso de funcionário e o hardware para servir 816 bilhões de parâmetros abertos.

1. Gemini 4 Argon: a segurança em camadas fora dos pesos

O que é. Em 13/10 o Google DeepMind lançou o Gemini 4 Argon; na API, custa 2 dólares por milhão de tokens de entrada e 10 de saída até 30/11 (depois, 4 e 20). No mesmo dia publicou um resumo e um relatório de segurança de 217 páginas.

Por que importa. Nos testes do Google, o modelo resolveu de ponta a ponta os 12 cenários de ciberataque simulado, contra 5 da geração anterior; o relatório anota que dois foram resolvidos por caminhos não previstos. A partir das avaliações, a empresa diz não poder descartar que o modelo sem proteções atinja o nível crítico de capacidade em ciber, e põe três camadas em volta dele: modelos menores fazem a triagem do pedido; sondas de ativação, pequenos transformers, leem os sinais internos do modelo para notar quando ele aciona conhecimento de ataque ou de ameaça biológica; e um monitoramento contínuo pode cortar o agente no meio da resposta. Nos números do Google, em pedidos de ciberataque e com as proteções ligadas, um atacante automático de turno único passou de 60% dos objetivos atingidos (no Gemini 3.8 Flash) para 0% (no Argon). Em vários turnos, foi de 80% para 40%: a decomposição paciente ainda passa. São números da empresa, que também libera o modelo sem as travas de ciber a defensores aprovados no programa Fairwind, em ambiente monitorado.

O que muda para quem constrói. No desenho do Google, parte da segurança mora na plataforma que serve o modelo, não nos pesos. Se o seu agente roda sobre o Argon, trate recusa e corte no meio do fluxo como estados previstos, com registro e retomada.

2. ToolBottleneckBench e guardas: a nota mede também o harness

O que é. Dois trabalhos de 15/10 continuam o fio do #4. O ToolBottleneckBench (Xu, Dong, Onizuka e Xiao, arXiv:2610.21098) fixa tarefas sintéticas de empresa e varia uma pressão por vez, como o menu de ferramentas visível, em 21 configurações de modelo e harness, com teto de 1.024 tokens por resposta. O Shortcut Sensitivity in Agent-Safety Evaluations (Demirkiran e Ernstberger, arXiv:2610.22243, aceito em workshops do NeurIPS 2026) audita os dados usados para avaliar guardas, os modelos que aprovam ou bloqueiam a ação de um agente antes de ela rodar.

Por que importa. No primeiro, ampliar o menu de 8 para 128 ferramentas custou 12,3 pontos de sucesso (17,5 com o menu inteiro sempre visível). Mas a perda acompanha o corte da resposta no teto de tokens (correlação de −0,95 entre configurações): nas seis que mais truncavam, um teto 16 vezes maior reduziu a penalidade de 43,7 para 2,7 pontos. Das falhas, 91,5% terminaram num limite do harness e só 5,5% numa conclusão errada; as 849 falhas rotuladas "seleção de ferramenta" vieram de episódios sem nenhuma chamada. No segundo, numa amostra de 64 passos com o Claude Haiku 4.5 como guarda, trocar a etiqueta <INFORMATION> por <UNTRUSTED_EXTERNAL_CONTENT> baixou o bloqueio em 8,33 pontos, e trocar o nome das ferramentas por apelidos opacos subiu em 11,46. A acurácia medida foi de 73,44% para 81,77% e 61,98%. As chamadas inseguras seguiram bloqueadas; mudaram os falsos positivos. O Haiku foi testado por ter a maior associação na triagem; no GPT-5.6 Luna, o efeito não se repetiu.

O que muda para quem constrói. Publique a nota com os limites do harness e a taxa de truncamento. Antes de culpar a escolha de ferramenta, veja se a resposta foi cortada. E teste o seu guarda com a mesma ação escrita de formas diferentes, mais um placebo de formatação.

3. Anthropic e METR: o avaliador com acesso de funcionário

O que é. Em 15/10 a Anthropic anunciou que seis pessoas do METR, organização sem fins lucrativos que avalia modelos de fronteira, receberam hardware, escritório e acesso a ferramentas e sistemas internos aproximadamente equivalentes, segundo a empresa, aos das suas próprias equipes de avaliação de risco. O METR vai publicar suas análises, e a Anthropic diz que não pode vetá-las. SecureBio e Accenture também avaliam; a Hugging Face está em conversas iniciais.

Por que importa. A empresa compara o arranjo aos examinadores residentes da supervisão bancária e admite que a analogia não é exata. Ficam de fora categorias definidas, como dados de clientes, informação sob sigilo entre advogado e cliente e detalhes de arquitetura dos modelos; a Anthropic pode exigir que essas partes sejam suprimidas, e o METR pode dizer em público se achou a supressão justificada. É o desenho anunciado pela empresa, em três níveis de acesso: o METR está no terceiro; no primeiro, a publicação depende da aprovação dela. O teste real será o que o METR publicar.

O que muda para quem constrói. Na diligência de um fornecedor de modelo, pergunte quem avaliou, com que acesso e com que direito de publicar. No relatório do Argon, por exemplo, a Faculty testou em ciber a versão sem proteções.

4. Muse Spark Open: pesos abertos, conta fechada

O que é. Em 15/10 a Meta liberou o Muse Spark Open, de pesos abertos: cerca de 816 bilhões de parâmetros, 42 bilhões ativos por token (é um mixture of experts: em cada camada, 8 de 256 especialistas por token), contexto de até 1 milhão de tokens, texto, imagem, áudio e vídeo na entrada. A licença própria da Meta permite uso comercial e ajuste fino, mas exige exibir "Built with Muse Spark Open" e, de quem oferece o modelo como serviço com receita bruta acima de 20 milhões de dólares em 12 meses, um acordo à parte com a Meta.

Por que importa. Todos os especialistas ficam na memória. Segundo o post do Hugging Face, o checkpoint em BF16 tem cerca de 1,5 TB e, no transformers, roda em 4 nós de 8 GPUs H200; a versão NVFP4, em 4 bits, cabe num nó de B200. O cache KV da atenção soma cerca de 250 KB por token, uns 266 GB para o contexto cheio de 1 milhão. E, segundo o post, o raciocínio não desliga; para gastar menos, a recomendação é "low".

O que muda para quem constrói. Faça a conta de memória com o contexto que você vai de fato servir. O cartão do modelo diz que a versão aberta recebeu treino extra de segurança para resistir melhor a uso indevido mesmo sem proteções de sistema, mas a Meta recomenda instalá-la dentro de um sistema com proteções adequadas ao uso. As camadas que o Google entrega junto com o serviço, aqui ficam por sua conta.

O que fica desta semana

• A nota de um agente inclui o orçamento do harness. Compare com os mesmos limites e olhe a truncagem antes de culpar o modelo.
• No Argon, parte da segurança de fronteira mora em camadas fora dos pesos; com pesos abertos, elas viram trabalho seu.
• Avaliação independente vale pelo acesso e pelo direito de publicar. Pergunte pelos dois.

Passou pelo radar

• A Reflection abriu o Beam (16/10): 501 bilhões de parâmetros, 23 bilhões ativos, só texto, licença Apache 2.0.
• A Mistral lançou o Timestral (15/10), modelos de previsão probabilística de séries temporais de 5 a 209 milhões de parâmetros que rodam em CPU.
• A OpenAI criou um plano acadêmico para o GPT-Rosalind (15/10), por ora só para laboratórios de universidades dos EUA: até 30 assentos gratuitos por até 12 meses e acesso ao modelo sujeito a aprovação.
• Especificação do MCP: sem versão nova; segue a 2026-07-28.

Referências

• KAVUKCUOGLU, Koray. Gemini 4 Argon: Built to solve your hardest problems. Google DeepMind, 13 out. 2026.
• DRAGAN, Anca; POPA, Raluca Ada. Developing Gemini 4 Argon responsibly and safely. Google DeepMind, 13 out. 2026.
• GOOGLE DEEPMIND. Gemini 4 Argon Safety & Security Report. out. 2026. 217 p.
• XU, Zichuan; DONG, Yuyang; ONIZUKA, Makoto; XIAO, Chuan. ToolBottleneckBench: Measuring Tool-Agent Performance under Controlled Pressures and Fixed Harness Budgets. arXiv:2610.21098, submetido em 15 out. 2026.
• DEMIRKIRAN, Hasan; ERNSTBERGER, Jens. Shortcut Sensitivity in Agent-Safety Evaluations. arXiv:2610.22243, submetido em 15 out. 2026. Workshops TAE e AIWILD, NeurIPS 2026.
• ANTHROPIC. An update on independent evaluators. 15 out. 2026.
• HUGGING FACE. Welcome Muse Spark Open: open-weight frontier multimodal mixture-of-experts model from Meta. 15 out. 2026.
• META. Muse Spark Open: model card e Muse Model License. Hugging Face, 15 out. 2026.
• HUGGING FACE. Welcome Beam: a 501B open model you can own, customize, and scale. 16 out. 2026.
• MISTRAL AI. Introducing Timestral. 15 out. 2026.
• OPENAI. Bringing GPT-Rosalind to academic research labs. 15 out. 2026.
• MODEL CONTEXT PROTOCOL. Specification 2026-07-28. Acesso em 16 out. 2026.