初探Claude与GPT4.0的对比：查找高匹配参考文献

根据Anthropic官方，Claude 3系列旗舰模型Opus在本科和研究生水平的知识、数学和复杂任务理解方面均超过GPT-4。

笔者近期注册了Claude pro, 并对Claude pro用于科研写作辅助进行测评。

前文分享了Claude与GPT4.0在论文润色和中译英的对比：初探Claude与GPT4.0的对比：润色与中译英

今天将会给各位分享查找高匹配参考文献的对比测评，因为详细内容不少，首先公布目前的结果：Claude pro完胜。

用过GPT4.0的都知道，直接上来让GPT4.0查找高匹配文献，尤其是未开通联网设置的情况下，大概率会生成压根不存在的文献。大师兄@做科研的大师兄 曾经分享过一个十分优秀的解决方案：【做科研的大师兄】三种方法，让chatGPT给你准确的参考文献！

大师兄所分享的方法确实能找到真实存在的文献，但是论文写作中如果书写某些方法或者发表某些观点，常常还需要内容匹配度更高的参考文献加以引用来增强说服力。

下面，笔者运用Claude pro和大师兄所分享的第三种最推荐的方法（Scholar AI）进行对比。

（1）首先，给AI发布指令：I would like to add reference articles for the statement, which is used for original articles to be submitted to SCI journals. Please compute reference articles in reference styles after I give you statements.

Claude Pro

GPT Plugins (Scholar AI)

（2）然后给模型输入想要的文献格式。这里引用一个5分以上的SCI杂志对参考文献的要求的描述。“References should be numbered in the order in which they appear in the text. Citing of unpublished results, personal communications, conference abstracts, and theses in the reference list is not recommended but these sources may be mentioned in the text. In the reference list, cite the names of all authors when there are fifteen or fewer authors; if there are sixteen or more authors, list the first three followed by et al. Names of journals should be abbreviated in the style used in PubMed.”

Claude Pro

GPT Plugins (Scholar AI)

两个模型都答应了我的要求，开始要我提供文章中的段落。到这里，没有什么区别。接下来就进行结果对比。

（3）开始输入需要高匹配参考文献的段落。

结果对比：

先拿前篇用于Introduction里的一段肝癌陈述输入进去：

Claude Pro

Claude pro 直接蹦出了来自于权威期刊的参考文献，过程流畅丝滑。内容匹配度很高，且文献并不陈旧。introduction部分的文献一般都以Top权威期刊为主。Claude pro满足了。笔者继续尝试，让提供最新3年的参考文献：

Claude Pro

这次日期有了明显的更新。

我们来看看GPT Plugins (Scholar AI)的输出：

GPT Plugins (Scholar AI)

GPT Plugins (Scholar AI)已经忘记了笔者对其发送的格式要求。并且其前两篇是book，第3篇是MDPI，第5篇是Cancer letters（期刊还可以，但是和权威top比还是有很大差距）最后一篇给的还是预印本链接：

想尝试要一些较新的权威期刊的文献：

GPT Plugins (Scholar AI)

首先报错，接着降低要求，只要求较新吧：

GPT Plugins (Scholar AI)

文献都真实存在，但是MDPI系列占了大多数，另外有几篇不是SCI。

Introduction部分的高匹配文献输出，优劣其实已有答案。接下来笔者还是尝试将研究方法部分输入进去，看看两种AI的效果：

这里随便选取了文献的一段研究方法部分

话不多说看结果：

Claude pro

Claude pro稳定的输出了高匹配的研究方法对应文献。ROC、Calibration、DCA、Delong test等等统计方法，在有些要求高的期刊中（比如Radiology），对于统计学方法尤其最新的，也是要有可靠引用的。Claude pro能够胜任。

再来看看GPT Plugins (Scholar AI)：

GPT Plugins (Scholar AI)

GPT Plugins (Scholar AI)直接跑题了，看来还需要原来的指令去扳回正轨，于是又重新打了回之前说的指令，又重新输入了这段研究方法：

GPT Plugins (Scholar AI)

只产出了俩有过类似表述的文献，基本没有帮助。

在使用GPT Plugins (Scholar AI)的时候，都会有大约5-10秒的加载。

相信看到这里，各位都会理解为什么我会说Claude pro在查找高匹配参考文献处于完胜地位。从内容结果上，Claude pro完胜；从操作使用上，Claude pro更加流畅无加载与报错。

本次开始讨论Claude pro在科研理解上发挥的优势作用，这也基本应证了Anthropic官方的发言。后续将有机会给大家分享二者对于图表和代码的解析对比。