Andrew Ng a publié un « Agentic Reviewer » pour les articles de recherche. Il vient d'atteindre un accord proche du niveau humain après avoir été formé sur de véritables critiques de l'ICLR 2025. 𝗟𝗲 𝗽𝗿𝗼𝗯𝗹𝗲𝗺 𝗾𝘂'𝗶𝗹 𝘁𝗮𝗿𝗴𝗲𝘁𝘀 La révision des articles est lente. Chaque cycle prend environ six mois. Un étudiant a connu six refus en trois ans. La vitesse d'itération, et non les idées, est devenue le goulot d'étranglement. 𝗖𝗼𝗺𝗺𝗲𝗻𝘁 𝗶𝗹 𝗳𝗼𝗿𝗺𝗲 Le système apprend à partir de retours réels de conférences. Il lit votre article, puis recherche sur arXiv des travaux connexes. Le processus est simple : Analyser les revendications et la structure Ancrer les commentaires dans la recherche publiée Produire des retours structurés de style critique Il fonctionne mieux dans des domaines avec une littérature ouverte. 𝗖𝗼𝗺𝗺𝗲𝗻𝘁 𝗶𝗹 𝗲𝘀𝘁 La corrélation entre les critiques humaines est de 0,41. La corrélation entre l'IA et l'humain atteint 0,42. C'est presque l'accord des critiques d'aujourd'hui.

Lien: