科学家证实ChatGPT改变学术论文风格，5年内百万篇论文“is”“are”词频减少10%

在近期一项研究中，意大利国际高等研究院（SISSA，InternationalSchoolforAdvancedStudies）博士生耿明萌量化了ChatGPT对学术论文写作的影响。

日前，相关论文以《ChatGPT正在改变学者的写作风格吗？》（IsChatGPTTransformingAcademics’WritingStyle?）为题发在arXiv[1]。

据介绍，之前大多数同类研究，往往是分析某个段落或某篇文章由ChatGPT生成的可能性。但是，本次成果更加关注于整体情况。

举例来说，一项成熟的运动不只需要优秀的运动员，还需要球迷、教练、投资人、裁判等。

目前，大模型的火热程度已经无需赘述，这条赛道甚至显得有些拥挤不堪。在这样的背景之下，耿明萌想做一些类似足球裁判员和数据分析师的工作。

事实上，就在一年之前他还不是ChatGPT的拥趸，也不打算追逐大模型的研究热潮。

2023年夏，耿明萌把更早一篇论文的初稿提交给导师之后，导师并没有直接在原文上修改，而是给出一些简略的建议和批注，其中有不少建议针对的是写作问题。

这时，耿明萌想到使用ChatGPT来修改和润色论文，但是很快他就意识到ChatGPT的风格，比如其所使用的词语频率和人类有所不同。

于是，他想从词频角度出发，来分析ChatGPT对于人类论文的影响。耿明萌导师的主业是天文和统计，之前并没有自然语言处理的经验。

导师也很疑惑为何当时仍未有人使用这么简洁明了的方法来研究ChatGPT的影响，因此推测有可能是因为行不通所以才没有人研究，于是暂时搁置了这个想法。

事情的转机发生在2023年秋，当时导师频繁出差去宣传自己出版的新书，并没有时间讨论课题组的项目。

于是，耿明萌决定腾出手自己试试看。

他记得特别清楚，在万圣节假期的前一天晚上，在解决所有数据问题之后，他出去旅行了两周，回来又花费一周时间得到了初步结果。

即：学术论文中确实有一些词语的使用频率，在ChatGPT出现之后发生了明显变化。

为了方便起见，耿明萌选取了当时arXiv上最新的100万篇论文的摘要进行分析。之所以这样做是因为摘要虽然短小，但是比论文的其他部分更有代表性。

结果他发现：最近几年论文数量出现暴涨，比如从2018年到2023年，就有超过100万篇论文被提交到arXiv上。其中，大约有90%论文来自于数学、物理和计算机三个学科。

当然，初步的研究结果也很有意思：比如“significant”的词频翻了接近一番，而“is”和“are”的词频则减少了10%左右。

于是，耿明萌选取2022年arXiv上的前两万篇论文摘要，通过ChatGPTAPI加以修改和润色，借此分析得到ChatGPT的词语偏好。

由此发现：2023年ChatGPT修改论文前后的词频变化，和2022年的词频变化有着很大相关性。但是，2022年相对于2021年，在词语频率变化上的相关性很小。

那么，如果使用ChatGPT处理一部分论文摘要，和未经ChatGPT处理的论文摘要混在一起，能否基于词语频率的变化，估算出经过ChatGPT处理的论文摘要的比重？以及应该怎样估计？再就是应该选取哪些词语？

为了回答这些问题，耿明萌提出一个含有噪声项的模型，证明在某些情况之下，词语的选取并不是越多越好。

而是应该主要考虑以下两个标准：词语频率、以及ChatGPT处理前后的变化率。

而且，对于不同类别和不同混合比例的摘要，选取的词语也应该有所变化。随后，通过校准和测试，上述理论分析也在模拟中得到了验证。

基于此，他开始根据真实的arXiv摘要数据，来估算ChatGPT的影响。

这一分析是基于：ChatGPTAPI的模拟输出对于不同的prompt，其输出的结果也不相同，因此所得出的结果是一个相对值。

如果以“Revisethefollowingsentences”的结果作为基准，ChatGPT修改的“比例”大约在35%左右。

如果科研人员在使用ChatGPT时都能使用更精准的prompt，那么ChatGPT对于论文摘要的贡献就完全有可能超过100%。

不过，耿明萌更愿意用“影响”而非用“比例”来看待本次结果。

不同的prompt会产生不同的输出，因而同样的使用比例也会产生不同的估计结果。考虑到实际的使用场景，一些人很有可能在使用ChatGPT之后刻意抹去了一些痕迹。

亦有论文作者的写作风格的确受到了ChatGPT的影响，但最后并没有使用ChatGPT润色论文摘要。同时，其它大模型可能会有相似、但不相同的词频。

总的来说，耿明萌依然认为，使用ChatGPT或其它工具，来润色论文和翻译论文本身并没有错，但要知道修改前后语义上的差别。

对于母语非英语的研究人员来说，这些新工具的合理使用确实也能促进公平，但直接利用这些工具生成论文段落是不可取的。

而研究ChatGPT对于论文风格的影响，则能助力科研人员更好地使用类似工具。

参考资料：

1.https://arxiv.org/pdf/2404.08627

运营/排版：何晨龙

01/科学家研发AI病理学大模型，受训于28个癌症中心3万病人数据，为病理学诊断打造新工具

02/石墨烯制备迎来新里程碑：科学家在无氧环境下造出石墨烯，成功弥合质量和可重复性的差距

03/浙大校友将Cas9基因编辑效率提升百倍，打造基因编辑通用型改造策略，助力治疗基因疾病

04/中科大团队打造摩擦静电镊，提出新型液滴操控技术，可用于操作细胞液体和太空实验

05/助力解决自动驾驶商用难题：科学家提出等效加速测试方法，提升仿真与实车测试速度1000倍