Andrew Ng publicerade en "Agentic Reviewer" för forskningsartiklar. Det nådde precis nästan mänsklig nivå efter utbildning i riktiga ICLR 2025-granskningar. Problemet den riktar in sig på Granskning av papper går långsamt. Varje cykel tar ungefär sex månader. En student fick sex avslag under tre år. Iterationshastighet, inte idéer, blev flaskhalsen. Hur det fungerar Systemet lär sig av verklig konferensfeedback. Den läser din artikel och söker sedan i arXiv efter relaterat arbete. Flödet är enkelt: Analysera påståenden och struktur Markkommentarer i publicerad forskning Producera strukturerad feedback i granskarsstil Det fungerar bäst inom områden med öppen litteratur. Så bra det är Korrelationen mellan människa och en översikt ligger på 0,41. AI-till-människa-korrelationen når 0,42. Det är nästan överens med recensenten idag.
Länk:
52