Um assistente de IA que revisa centenas de artigos, roda milhares de experimentos, debuga ambientes complexos e formata um paper pronto para submissão, tudo sem ajuda humana. O resultado? Um trabalho rejeitado em qualquer conferência revelante da área. Esse é o retrato da pesquisa científica com IA hoje, segundo um novo estudo: a máquina faz toda a engenharia, mas falha no julgamento criativo que transforma dados em descoberta.
Pesquisadores testaram agentes de IA em perguntas abertas retiradas de artigos não publicados submetidos ao NeurIPS 2026. Os agentes tiveram seis dias, milhares de dólares em créditos de computação e acesso total à internet. Os autores originais dos papers avaliaram o resultado como fariam em uma conferência. Veredito: ambos os artigos foram rejeitados.
Ficha do estudo
Os autores são Sayash Kapoor e Arvind Narayanan, do projeto CRUX, com colaboradores do UK AI Security Institute e da Universidade de Toronto. O estudo, intitulado “Can AI agents conduct open-ended AI research? Early evidence from two case studies”, saiu como preprint. Os experimentos usaram Claude Opus 4.8 e GPT-5.6 Sol em scaffolds customizados.
O que é avaliação-sombra e por que importa?
O estudo traz um método novo para testar IA na ciência: a avaliação-sombra (shadow evaluation). A ideia é pegar a pergunta central de um paper de alta qualidade ainda não publicado, entregar essa pergunta a um agente de IA bem equipado e pedir que os autores originais avaliem o resultado como fariam em uma revisão de conferência.
O método existe porque os testes tradicionais têm lacunas. Tarefas estreitas e verificáveis, como melhorar uma métrica fixa, deixam de fora a pesquisa aberta. Já a revisão às cegas é frágil: revisores estão sobrecarregados e a decisão tem muito acaso. E quem testa a IA pode esconder os fracassos de papers rejeitados.
Na avaliação-sombra, os autores originais passaram meses pensando na pergunta e sabem, como ninguém, o que conta como progresso real. E como o paper ainda não foi publicado, o agente não acha a resposta pronta na internet.
O que o estudo encontrou?
Foram dois experimentos. O Personas paper perguntava se é possível decompor as personalidades estáveis de modelos de linguagem em componentes independentes e controláveis com intervenções no espaço de pesos. O TabPFN paper pedia um detector que avisasse quando um modelo de classificação tabular começa a errar porque os dados de produção mudaram, sem acesso aos rótulos.
Cada agente recebeu seis dias de tempo, três mil dólares em créditos de API Anthropic, GPUs, uma máquina virtual Linux e a internet. A meta: produzir um paper digno de conferência de topo.
Os agentes fizeram tudo o que envolve execução: revisaram a literatura, debugaram GPUs, rodaram centenas de experimentos, buscaram avaliações externas pela web e pelo e-mail e compilaram documentos LaTeX formatados. Sem intervenção humana. Houve apenas três ajustes logísticos, como estender o prazo em 24 horas depois que os agentes pediram mais tempo.
Ainda assim, os autores rejeitaram os dois trabalhos: o Personas paper recebeu nota 2 (“Reject”) e o TabPFN paper recebeu 1 (“Strong Reject”).
Por que os artigos gerados por IA foram rejeitados?
Os revisores apontaram problemas parecidos nos dois: dados mal motivados, experimentos fracos, nenhuma contribuição nova e prosa difícil de ler. Mas o padrão mais revelador veio na forma de trabalhar.
Os agentes começaram bem. As hipóteses iniciais foram consideradas razoáveis e interessantes, parecidas com as ideias dos próprios autores. A dificuldade apareceu quando os primeiros experimentos não deram resultados fortes. Em vez de mudar de rota, foram encolhendo o problema até versões “mais estreitas e menos interessantes”, como anotou um pesquisador.
O agente do TabPFN planejava testar três métodos em 36 a 48 horas. Após testar o primeiro rapidamente e ver resultados positivos, descartou os outros dois. A exploração, orçada em 42 horas, terminou em cinco.
Não faltou poder computacional. Os dois agentes terminaram com menos da metade do orçamento de tokens gasto. Um deles declarou o projeto completo sete horas antes do prazo, logo após a própria revisão interna devolver outra rejeição.
Os cinco erros mais comuns dos agentes de IA em pesquisa
O estudo lista cinco modos de falha recorrentes:
- Falta de julgamento sobre o que é publicável: usaram datasets sintéticos ou exemplos escolhidos a dedo, sem noção clara do padrão de conferências de topo.
- Falta de criatividade para resolver problemas: diante de feedback negativo, adicionavam ressalvas em vez de redesenhar os experimentos.
- Falta de recuo efetivo: faziam ajustes locais, mas nunca abandonavam a abordagem e recomeçavam.
- Falta de consciência de recursos: subutilizaram tempo, tokens e computação, sem perceber que dava para iterar centenas de vezes.
- Desvio de instruções: ignoraram limites de tamanho do paper, deixaram de usar ferramentas de revisão e esqueceram regras aceitas no início.
O que o estudo não mostrou?
Os autores listam ressalvas importantes. A amostra é pequena, apenas dois papers, porque cada avaliação exige especialistas no tema e dias de revisão. Os autores originais não eram revisores cegos: sabiam que liam trabalho de IA e já tinham respondido à pergunta com um método próprio, o que pode enviesar o julgamento.
Para checar se o problema estava no scaffold, o ambiente que orquestra o agente, os pesquisadores repetiram um dos experimentos com GPT-5.6 Sol no scaffold nativo Codex. Os modos de falha se repetiram quase todos, o que reforça que a limitação é do agente, não da ferramenta.
Seis dias é mais do que a maioria das avaliações do tipo, mas menos do que os meses que os autores originais dedicaram ao problema. Os agentes, porém, não usaram nem metade do tempo disponível. O modelo mais forte da Anthropic, o Fable 5, não pôde ser testado porque a empresa o limitou para pesquisa de fronteira em IA.
O que isso significa para o futuro da pesquisa científica com IA?
O resultado responde a uma pergunta que interessa a quem acompanha IA: até onde vai a automação? Muitas projeções de progresso explosivo em IA dependem de agentes que automatizam a própria pesquisa em inteligência artificial, propondo hipóteses e decidindo o que investigar. O estudo traz evidência inicial de que essa etapa ainda não foi alcançada.
O contraste com outras tarefas ajuda. Os mesmos pesquisadores já haviam usado um agente parecido para criar e publicar um aplicativo de iOS de forma autônoma. Em tarefas fechadas, a IA se sai bem. Em pesquisa aberta, derrapa. A diferença é o julgamento criativo: escolher hipóteses, decidir o que é evidência, reconhecer um beco sem saída e recomeçar.
Fontes
- “Can AI agents conduct open-ended AI research? Early evidence from two case studies”, de Sayash Kapoor, Arvind Narayanan e equipe do projeto CRUX. Preprint, sem DOI informado no material de origem.
- Personas paper, de David Africa, Konstantinos Voudouris e colaboradores, submetido ao NeurIPS 2026 e não público durante os experimentos.
- TabPFN paper, de Viet Nguyen, Herman Bergström, Stephan Rabanser e Rahul G. Krishnan, submetido ao NeurIPS 2026.
Perguntas frequentes
IA consegue fazer pesquisa científica sozinha?
Segundo este estudo, não. Agentes de IA fazem o trabalho técnico da pesquisa, mas faltam julgamento criativo e capacidade de inovar quando as ideias falham; os dois artigos que produziram foram rejeitados.
O que é avaliação-sombra?
É um método que testa IA na pesquisa: pega a pergunta central de um paper ainda não publicado, entrega a um agente de IA e pede que os autores originais avaliem o resultado como fariam em uma conferência.
Por que os artigos gerados por IA foram rejeitados?
Usavam dados sintéticos ou escolhidos a dedo, não traziam contribuição nova e tinham prosa difícil de ler. Os agentes começaram com hipóteses interessantes, mas as tornaram cada vez mais modestas diante das dificuldades.
Agentes de IA podem substituir pesquisadores?
Não em breve, de acordo com o estudo. Faltam aos agentes habilidades centrais de um pesquisador, como reconhecer quando uma abordagem falhou e tentar algo radicalmente diferente.
A IA pode automatizar a pesquisa em inteligência artificial?
O estudo sugere que ainda não, ao menos para os modelos testados. Muitos cenários de progresso explosivo em IA dependem dessa automação, mas os agentes falharam justamente nas etapas criativas e de julgamento.
Foto: Chatgpt
Matéria escrita e revisada originalmente por Paulo Budri.
