Tema
Avaliação de IA
Naive Bayes: probabilidade condicional na classificação
Entender como o Naive Bayes deriva sua regra de decisão do teorema de Bayes, o que a hipótese de independência condicional implica e por que acertar a classe não significa ter probabilidades confiáveis.
Radar #5 — semana de 19/10: o que fica em volta do modelo
Quatro novidades de 13 a 16 de outubro lidas na fonte primária: as camadas de proteção do Gemini 4 Argon, dois papers em que o harness e a forma do benchmark mudam a nota, a Anthropic com o METR dentro de casa e o custo de servir o Muse Spark Open.
Radar #4 — semana de 12/10: quem confere o placar
Cinco novidades de 5 a 8 de outubro lidas na fonte primária: uma auditoria que derrubou um terço das aprovações em cinco benchmarks de código, agentes atribuídos à OpenAI nos wikis da Wikimedia, Mistral Large 4, Haiku 5.5 e EmbeddingGemma 2, e a OpenAI escrevendo critérios com a Ironclad.
Paper do mês: habilidades emergentes são reais ou miragem da métrica?
Habilidades emergentes de LLMs são saltos reais ou efeito da métrica e da amostra? Uma leitura crítica de Wei (2022) e Schaeffer (2023), do que veio depois e do que muda ao avaliar modelos e agentes.
Newsletter
Um texto por semana, com fonte.
Sem spam. Só o que foi revisado e tem referência.