Исследователи из Гарварда сравнили рецензии ИИ и хорошо оплачиваемых экспертов на 124 научные рукописи — то есть не с отзывами неведомых бесплатных рецензентов, а с сильным эталоном человеческого происхождения. В слепом тесте бывшие редакторы журналов предпочли результат работы ИИ-рецензента в 87% случаев. При проверке рецензий другой ИИ-моделью оказалось, что ошибочные утверждения встречались в ИИ-рецензиях примерно втрое реже, чем в рецензиях людей-экспертов: 5,5% против 15,9%.
Так что есть вопрос, кто кого должен ревьюить, строго говоря.
Почему это важно
Рецензирование — узкое место научных публикаций: статьи месяцами ждут отзыва от перегруженных экспертов, которые делают это бесплатно. Если редакторы предпочитают ИИ-рецензии в 87% случаев и они реже ошибаются в фактах, вопрос не только в том, кто пишет лучше, а в том, можно ли ускорить весь процесс публикации науки.
Отдельно мне понравился один пассаж в статье:
> Rewriting the human reviews to mimic an AI writing style did not improve their rankings