文 章

如何填补学术质量控制漏洞成当务之急

2014年03月04日   作者:苗妮

(点击图片 进入论坛)

出版商施普林格公司和电气与电子工程师学会(IEEE)将其订阅服务中的120多篇论文撤销。此前,一项法国研究发现,这些论文都是由计算机生成的毫无意义的作品。

在过去的两年中,傅立叶大学计算机科学家Cyril Labbe搜集了2008-2013年30多本出版论文集中的计算机生成的论文。其中总部位于德国海德尔堡市的施普林格公司出版的有16篇,总部位于美国纽约市的IEEE出版的有100多篇。Labbe私下通知了这两家出版单位,它们表示正在撤销这些论文。

例如,这些作品中的其中一篇来自于2013年于中国成都召开的质量、可靠性、风险、维护与安全工程的国际会议。该会议在网站中称,所有的论文稿都经过“内容审查”。作者将论文命名为“TIC:电子商务建设的方法”,并在摘要中写道,他们“致力于反证电子表格可以是基于知识的、情绪性的和紧凑的”。近日,一位作者回应,在2013年12月会议组织者通知其大学时,他才第一次知道这篇文章,他并不清楚为何他作为合作者之一出现在论文中。“相关调查人员正在关注此事。”

Labbe开发了一种方法,自动探测那些可以使用SCIgen软件合成的论文稿。SCIgen能随机结合字符串,以产生假冒的计算机科学论文。2005年,美国麻省理工大学(MIT)的研究人员发明了SCIgen,以证明会议可能会接受毫无意义的论文,并“通过它使娱乐最大化”。一个相关的程序在讽刺性网站arXiv vs. snarXiv上随机生成了物理论文稿件标题。SCIgen可以被免费下载并使用,目前并不清楚有多少人正在使用它以及使用目的是什么。由SCIgen产生的作品偶尔会出现在会议上,研究人员会提交胡说八道的论文,然后再揭示其真相。

Labbe并不知道为何这些论文会被提交,很多甚至是在作者并不知道的情况下发生的。Labbe向许多论文和相关会议的编辑与作者发送邮件询问,但只收到很少回复。一位编辑称,他并不是一个特定会议的项目主管,但却被冠名。另一个作者声称,他提交论文的目的是故意对一次会议进行测试,不过后来就再也没有回应。

“我并未意识到问题的严重性,不过我知道它一定会发生。我们确实会时常收到一些好用户的邮件,告诉我们SCIgen的论文出现在哪里。”Jeremy Stribling说道,他在MIT时合作开发了SCIgen,目前在加州帕洛阿尔托市VMAware软件公司工作。

Labbe说:“这些论文很容易被发现。”Labbe建立了一个网站,用户可以检测论文是否为通过使用SCIgen而产生。他在2012年发表于《科学计量学》上的一项研究中描述了其检测技术,该技术可以搜寻由SCIgen产生的特色词汇。在其论文发表不久之后,Labbe将其发现的85篇假论文告知IEEE。

IEEE企业传播负责人Monika Stickel称,出版商“立即采取行动撤销了这些论文”,并“细化筛选过程,以防止未来发表那些不符合标准的论文”。2013年12月,Labbe告知IEEE他所发现的另一批明显使用SCIgen生成的论文。近日,这些论文也被撤销,不过其网页并未对撤销论文作出解释。

施普林格公司在英国的企业传播负责人Ruth Francis称,公司已经就撤销论文事件联系编辑人员,并试图联系作者。她证实,相关会议论文集会经由同行评议,这些论文如何被采纳就显得更为神秘。

不过,IEEE并没有表示它是否联系了涉嫌使用SCIgen生成论文的作者或编辑,以及相关会议论文的提交是否经由同行评议。Stickel说:“我们会继续遵循评估IEEE会议和出版物的严格管理方针。”

Labbe并不是第一次开展虚假论文研究。2010年4月,他利用虚拟姓名Ike Antkare,使用SCIgen生成了102篇虚假论文。Labbe展示了将这些假论文加入到谷歌学术搜索数据库有多容易,他还使Ike Antkare的h指数(可衡量发表论文影响力)升至94,令Antkare成为21世纪世界上获得最多引用的科学家。去年,西班牙格拉纳达大学的研究人员加入到Labbe的工作中,通过上传9篇虚假论文,提高了其在谷歌学术搜索中的引用分数。Labbe称,最新的发现仅仅是“在科学中心发生的垃圾内容战争”的一个前兆。在这场战争中,研究人员由于存在科研压力,会尽可能地多发表论文。

记者和研究人员一直关注着被学术会议和期刊采纳的恶搞论文,以期揭示学术质量管控中的缺陷,从1996年纽约大学物理学家Alan Sokal发表的虚假论文,到2013年美国记者John Bohannon在《科学》上发表通过故设圈套进行的调查。在Bohannon的调查中,超过150个开放获取期刊采纳了一个有缺陷的研究论文。

Labbe强调,毫无意义的计算机科学论文都出现在了订阅服务中。在他看来,并没有任何证据表明,开放获取出版商的同行评议严格性一定低于订阅出版商。

Labbe补充道,使用他的工具可以容易地检测到那些毫无意义的论文,就像许多出版商已经采用的剽窃检查工具。不过由于他不能从订阅数据库中自动下载所有文件,因而无法确定是否发现了所有由SCIgen生成的论文。

(原文标题《撤销120篇恶搞论文带来的反思》)

作者:苗妮

(本文原载于:中国科学报)

来源:中国科学报

(点击图片 进入论坛)

加编辑群提问

百道学习

随时随地 百道学习

百道学习

点击图片 立即购买

百道学习

点击图片 立即购买

百道学习

点击图片 查看详情

百道学习

点击图片 查看详情

百道学习

点击图片 查看详情

相关文章

发表评论前,请先