AIxiv专栏是呆板之心宣布学术、技巧内容的栏目。从前数年，呆板之心AIxiv专栏接受报道了2000多篇内容，笼罩寰球各年夜高校与企业的顶级试验室，无效增进了学术交换与传布。假如你有优良的任务想要分享，欢送投稿或许接洽报道。投稿邮箱：[email protected]；[email protected]年夜言语模子（LLMs）正从前所未有的方法，深入影响着学术偕行评审的格式。偕行评审作为迷信研讨的基石，其主要性无须置疑。但是，跟着年夜言语模子逐步浸透到这一中心进程，咱们能否曾经筹备好面临它可能带来的深远影响？在这场变更之前，咱们必需苏醒地意识到此中暗藏的危险，并采用实在可行的防备办法。比年来，年夜言语模子在多个范畴展示出了令人赞叹的潜力。偕行评审作为一项既繁琐又至关主要的义务，正在惹起越来越多学者的存眷并实验应用年夜言语模子来帮助乃至替换审稿，力求进步这一传统流程的效力。斯坦福年夜学的研讨团队便在《NEJM AI》子刊上宣布了相干研讨，指出年夜言语模子可能天生与人类审稿人类似的审稿看法。而依据斯坦福团队的预算，近来的多少个 AI 顶会中，竟有高达 6.5% 至 16.9% 的论文内容由年夜言语模子明显调剂过！同样，瑞士洛桑联邦理工年夜学（EPFL）的研讨发明，ICLR 2024 的审稿进程中，约 15.8% 的评审看法是 AI 帮助天生的！与此同时，越来越多的人开端在交际媒体上埋怨审稿人应用年夜言语模子停止审稿。各种景象标明，年夜言语模子曾经悄悄浸透到了学术审稿的最火线，浮现出一种不容疏忽的趋向。但是，在其年夜范围应用之前，咱们对其潜伏的危险却不一个苏醒的认知。这无疑给偕行评断的牢靠性带来了宏大的危险。在此配景下，上海交通年夜学、佐治亚理工学院、上海市人工智能试验室、佐治亚年夜学与牛津年夜学的科研团队结合开展了深刻研讨，宣布了最新论文《Are we there yet? Revealing the risks of utilizing large language models in scholarly peer review》，提醒了年夜言语模子在审稿中暗藏的危险。研讨标明：操控危险：作者可能经由过程在文章中奇妙拔出肉眼无奈觉察的文本，直接操控年夜言语模子天生的审稿看法，乃至操控终极的论文评分。隐性操控：年夜言语模子偏向于复述作者自动在文章中提醒的范围性，令作者能够经由过程有意裸露稍微缺点，从而秘密地操控审稿进程。幻觉成绩：更为重大的是，年夜言语模子可能对空缺文章天生虚拟的审稿看法，提醒了「模子幻觉」成绩在审稿中的潜伏要挟。成见成绩：年夜言语模子在审稿进程中也裸露了显明的偏好，尤其对文章长度跟有名作者及机构的偏幸，极年夜影响评审的公平性。这些发明裸露出了咱们在拥抱新技巧的同时，可能疏忽的严重危险。为此，研讨者们收回了警示：学界应该停息应用年夜言语模子替换审稿任务，并呐喊制订无效的防备办法，确保科技提高可能在愈加安康、通明的框架内停止。论文链接：https://arxiv.org/pdf/2412.01708名目主页：https://rui-ye.github.io/BadLLMReviewer考察问卷：https://forms.gle/c9tH3sXrVFtnDgjQ6显式把持研讨者们起首提醒了一种低本钱却非常无效把持手腕：文章的作者能够经由过程在文中拔出渺小、多少乎弗成见的指令性笔墨，即可轻松领导审稿模子夸大文章的翻新性与影响力，同时弱化文章的缺点（如语法过错等）！拔出的笔墨，只管在惯例人工审稿进程中多少乎弗成见，但在以后罕见的主动化的 LLM 审稿进程中，仍然会被提取并与文章内容一起剖析，可能被审稿模子误以为提醒词，进而把持模子天生高度正面的反应，极年夜进步文章接受概率，迫害审稿体系的公正牢靠性。研讨团队对三款主流年夜言语模子审稿体系停止了测试，成果令人震动：在面临这种显式操控时，全部模子都未能幸免。测试前，文章的评分仅濒临界限分数（Borderline）；但是，拔出操控笔墨后，文章的评分暴跌，乃至高达 8 分！—— 这一分数在 ICLR 等顶级集会中，象征着论文被接受概率极年夜。这一景象清楚地标明，操控手腕可能以惊人的效力歪曲审稿体系的断定，明显转变文章的终极运气。假如不强无力的防备机制，这种操控行动可能会极年夜地影响学术评审的公正性，乃至对全部科研情况的可托度形成无奈估计的侵害。隐式把持但是，显式操控固然无效，却也轻易被学术界视为不品德乃至舞弊行动，因而一些 「谨严」的作者可能会抉择躲避这种方式。那么，能否另有一种更为奥妙、隐藏且更具潜伏要挟的操控方法呢？谜底是确定的。研讨者们发明了一种更为隐藏的操控方法：作者自动表露文章的范围性，尤其是在论文的「Limitations」章节中。这种做法，乃至是学术集会的推举做法。但是，研讨表现，年夜言语模子审稿时，天生的审稿内容与论文范围性局部的内容竟高度分歧！研讨者们接着体系对照了人类审稿与论文范围性内容之间的分歧性，以及年夜言语模子审稿与范围性内容之间的分歧性。成果表现年夜言语模子审稿与范围性内容之间的分歧性远远高于人类审稿与范围性内容之间的分歧性。这象征着，差别于人类审稿人，年夜言语模子轻易被文章自身的信息所阁下，缺少自力批评性头脑，而这恰是及格审稿人需具有的基础前提。这一发明提醒了一个深入的危险：学术作者能够成心裸露一些眇乎小哉的成绩，从而直接领导年夜言语模子发生有利于论文的审稿看法。更重大的是，与显式操控比拟，隐式操控更难觉察，更难防备，也更难定性，却能对学术评审的公正性形成重大要挟。内涵缺点：幻觉更令人震动的是，研讨者们还发明了年夜言语模子审稿进程中的一个基本性缺点 —— 幻觉成绩。偶然，即便一篇文章基本不内容，审稿模子仍然能天生长篇年夜论的审稿看法。在测试中，研讨者们输入了一个空缺文章，成果发明此中一款审稿模子居然对这篇空缺文章天生了完全的审稿看法！固然别的两款模子辨认出了输入为空缺并未作出评估，但这种「惹是生非」的景象仍然令人毛骨悚然。更进一步，研讨者们一直增添输入给审稿模子的内容（空缺 -> 仅题目 -> 题目择要弁言 -> 全篇），发明当进一步参加择要跟弁言局部后，全部三种审稿体系的评分竟多少乎与完全论文分歧。这一发明提醒了年夜言语模子在偕行评审中的宏大弗成靠性：即便文章内容尚未完美，模子仍可能天生貌同实异的评审看法，给出与完全论文类似的评分，重大歪曲了评审的现实品质。内涵缺点：偏好除了幻觉成绩，年夜言语模子在偕行评审中还可能表示出令人担心的成见。研讨者们深刻探究了年夜言语模子评分与文章长度之间的关联，成果发明：年夜局部审稿体系对论文长度有明显的偏好：论文越长，接收的概率越高。这一偏好无疑会使得那些写得更长、更繁复的文章在评审中占得先机，极年夜减弱了评审的公平性。别的，研讨者们还对年夜言语模子能否会遭到作者机构的影响停止了测试。在单盲审稿形式下，他们实验将作者的机构名调换为盘算机迷信范畴顶尖的年夜学（如 MIT 等）或 LLMs 范畴的当先公司（如 OpenAI 等），并将作者名字调换为图灵奖得主。成果令人惊奇，全部这些调换均明显进步了文章的接收概率，提醒了年夜言语模子在审稿进程中存在的体系性成见。这一景象标明，若年夜言语模子成为偕行评审的一局部，它将极有可能加剧现有学术评估系统中的不公正成绩，进一步缩小「名校效应」跟「名流效应」。倡导与总结跟着年夜言语模子（LLM）在学术偕行评审中的利用日益增多，研讨者们深刻剖析了其潜伏危险，并提出了响应的倡议，旨在确保学术审稿进程的公平性跟谨严性。基于研讨成果，研讨者们提出以下倡导：停息 LLM 在偕行评审中的替换性应用：研讨者们呐喊在充足懂得 LLM 的危险并采用无效防备办法之前，停息其在偕行评审中的替换式利用。引入检测东西与问责机制：研讨者们呐喊期刊跟集会构造者引入片面的检测东西与问责机制，以辨认并应答审稿进程中可能的操控行动；并引入处分办法来停止这些行动的产生。将 LLM 作为帮助东西应用：瞻望将来，研讨者们以为跟着投稿数目的连续增添，LLM 在审稿进程中的主动化潜力弗成疏忽。只管 LLM 现在还无奈完整代替人类审稿，但其仍有潜力作为审稿进程的弥补东西，供给额定反应以晋升审稿品质。加强 LLM 审稿体系的持重性与保险性：将来应努力于开辟一种可能无效整合 LLM 的偕行评审流程，既能最年夜化它们的潜力，又能无效防备咱们已辨认的危险，加强其持重性跟保险性。总结而言，固然 LLM 在晋升审稿效力跟品质方面有潜力，研讨者们夸大必需谨严推动其利用。只有在确保其危险可控且有无效的防备机制后，才干担任任地将 LLM 整合进学术偕行评审中，防止损坏学术出书的公平性跟谨严性。（最后研讨者们仍在做进一步的问卷考察，约请宽大有投稿 / 审稿阅历的偕行参加，独特探究这一新兴技巧对学术审稿流程的影响。可点击如下 Google 问卷 [2-5 mins]：https://forms.gle/c9tH3sXrVFtnDgjQ6）© THE END 转载请接洽本大众号取得受权投稿或追求报道：[email protected] ]article_adlist--> 　　申明：新浪网独家稿件，未经受权制止转载。 -->