如何判断 ChatGPT 给出的引文是否真实?

不要因为它提供的 DOI 或链接就相信它,应到学术索引中查证。将参考文献粘贴到上方的检查工具中:它会解析任何标识符,并按标题在 Crossref 和 OpenAlex 中搜索。然后打开它找到的记录,在引用前核对作者、年份和期刊是否一致。

为什么 ChatGPT 会编造参考文献?

语言模型生成的文字看起来像参考文献,但并非检索真实记录的结果,因此它可能把真实的作者姓名、一个貌似合理的期刊和一个编造的标题拼在一起。能搜索网络的工具可以减轻这一问题,但无法根除,因为它们仍可能错误引用所找到内容的细节。

检查工具使用 AI 吗?

不使用。它通过公共注册库解析标识符,并按固定规则比较标题、作者和年份,每条结论都会显示其依据的记录。它从不生成或修补书目数据。

核查参考文献时会发送什么?

只有标识符会发送到 CitationEasy 的查询服务。对于需要标题搜索的参考文献,您的浏览器会直接将标题和年份——若无法提取出标题,则发送整条参考文献——发送至 Crossref 和 OpenAlex。稿件文本和参考文献的其余部分仅保留在您的浏览器中,且不会被存储。

检查工具可能漏掉虚假参考文献吗?

可能,有一种情况会漏掉:聊天机器人把一篇真实论文的标题和作者附在它从未提出的论断上。该参考文献是真实的,因此会被判定为找到。只有阅读原文,才能判断它是否支持您的表述。

为什么某本图书或网页被标为“未找到记录”?

Crossref 和 OpenAlex 对期刊论文的收录最为完整。许多图书更适合通过 ISBN 核查(检查工具通过 Open Library 解析 ISBN),网页则应直接打开其地址核查。若您有 ISBN 或 DOI,请将其添加到参考文献中,检查工具会优先使用它。

虚假引文检查器

粘贴 ChatGPT、Gemini、Copilot 或其他 AI 工具为您写的参考文献列表,每条参考文献都会与学术记录进行核对。如果有 DOI、PMID、ISBN 或 arXiv ID,则先行解析;没有标识符,或标识符指向不明的参考文献,则按标题在 Crossref 和 OpenAlex 中搜索。每条参考文献都会返回“找到”“详细信息不符”或“未找到记录”之一,并附上用于比对的记录。免费,无需注册。

如何使用虚假引文检查器

1. 粘贴参考文献。 每行一条,或用空行分隔换行的参考文献。任何格式均可:APA、MLA、Chicago、Harvard、IEEE 或 Vancouver。切换到完整稿件可粘贴整篇论文或上传 .docx 文件,检查工具会自行找出参考文献列表。
2. 点击核查参考文献。 标识符会发送至 CitationEasy 的查询服务,该服务只接受标识符。对于仍需搜索的每条参考文献,您的浏览器会直接将其标题和年份发送至 Crossref;Crossref 没有明确匹配时,再发送至 OpenAlex。前 20 条参考文献会一次性核查。
3. 阅读每条结论。 每条参考文献都会显示您所写的内容、用于比对的记录、该记录的来源以及可打开该记录的链接。
4. 删除前请先确认。 对标记为详细信息不符的参考文献,请打开其记录核对;对标记为未找到记录的参考文献,请在图书馆目录或 Google Scholar 中搜索。然后修正该参考文献、换成您已阅读过的来源,或删除它所支持的论断。

各结论的含义

结论	检查工具的发现	应如何处理
找到	标识符对应到标题和年份相同的作品,或标题搜索找到了标题、作者和年份均与参考文献一致的记录。	阅读该来源,并核实它确实支持您引用的内容。
详细信息不符	确实涉及一部真实作品,但某些信息有出入:该 DOI 属于另一篇论文;DOI 已失效但标题在别处存在;或标题相近但年份或作者不同。	打开记录,据此更正参考文献,或更换来源。
未找到记录	标识符无法解析,或根本没有标识符,且 Crossref 和 OpenAlex 中均无此标题的作品。	请手动搜索。若仍找不到,请将其视为编造。
未核查	Crossref 和 OpenAlex 无法访问,或正在限制请求。	稍等一分钟后再次核查。

标题会在忽略大小写、标点和重音符号后逐词比对,省略副标题的标题仍算匹配。像 Sleep and memory 这样的短标题可能对应数百部作品,因此只有当记录的第一作者之一也出现在您的参考文献中时,才会判定为找到。

AI 工具为何会编造参考文献

聊天机器人写参考文献的方式与写任何句子相同:预测接下来最可能出现的文字。它并不会去查证该作品,因此可能生成一条作者听起来真实、期刊十分贴切、DOI 格式规范,但论文从未发表过的参考文献。Walters 和 Wilder 要求 ChatGPT 就 42 个主题撰写简短的文献综述,并核查了全部 636 条参考文献,结果发现 GPT-3.5 的参考文献中有 55% 是编造的,GPT-4 为 18%;而许多真实的参考文献也存在实质性错误(Scientific Reports, 2023)。

编造的参考文献通常会以几种可识别的方式出错,检查工具会逐一查找:

DOI 指向虚无。 该 DOI 格式正确,但没有任何注册机构持有它。
DOI 借自另一篇论文。 它可以解析,但指向的作品标题不同,往往属于毫不相干的领域。
拼凑的标题。 将多篇真实论文的词语拼接成一个任何记录中都不存在的标题。
真实标题,细节有误。 论文确实存在,但年份、期刊或作者已经偏离。

核查后的参考文献列表

试用示例 会加载四条参考文献,格式与聊天机器人生成的相同。第二条和第四条是为本演示编造的,其余两条为真实文献。

示例列表的结果

找到

Joly, Stapel & Lindenberg (2008), Silence and table manners — 撰写时未附 DOI,通过标题在 Crossref 中找到,DOI 为 10.1177/0146167208318401。

未找到记录

Hartman & Okafor (2019), Neural correlates of bilingual lexical retrieval in adolescent sleep deprivation — 该 DOI 未注册,Crossref 和 OpenAlex 中也没有标题相近的作品。

找到

Wakefield et al. (1998) in The Lancet — 该 DOI 解析到同一篇论文。该文已于 2010 年撤稿,因此“找到”并不等同于可靠。

详细信息不符

Smith (2021), Sleep and memory — 该 DOI 解析到一篇 2013 年发表于 Nature 的论文,主题为纳米尺度测温。

关于“未找到记录”能说明什么、不能说明什么

Crossref 和 OpenAlex 收录了大部分期刊论文、会议论文和许多图书,但并非全部:网页、报告、学位论文、较早的图书和地区性期刊往往两者都没有收录。未找到的参考文献应当手动核查,但这并不能证明它是编造的。反过来,找到的参考文献仍可能被用来支持该来源从未提出的论点——检查工具只能确认作品存在,无法确认其内容。

常见问题

如何判断 ChatGPT 给出的引文是否真实?: 不要因为它提供的 DOI 或链接就相信它,应到学术索引中查证。将参考文献粘贴到上方的检查工具中:它会解析任何标识符,并按标题在 Crossref 和 OpenAlex 中搜索。然后打开它找到的记录,在引用前核对作者、年份和期刊是否一致。
为什么 ChatGPT 会编造参考文献?: 语言模型生成的文字看起来像参考文献,但并非检索真实记录的结果,因此它可能把真实的作者姓名、一个貌似合理的期刊和一个编造的标题拼在一起。能搜索网络的工具可以减轻这一问题,但无法根除,因为它们仍可能错误引用所找到内容的细节。
检查工具使用 AI 吗?: 不使用。它通过公共注册库解析标识符,并按固定规则比较标题、作者和年份,每条结论都会显示其依据的记录。它从不生成或修补书目数据。
核查参考文献时会发送什么?: 只有标识符会发送到 CitationEasy 的查询服务。对于需要标题搜索的参考文献,您的浏览器会直接将标题和年份——若无法提取出标题,则发送整条参考文献——发送至 Crossref 和 OpenAlex。稿件文本和参考文献的其余部分仅保留在您的浏览器中,且不会被存储。
检查工具可能漏掉虚假参考文献吗?: 可能,有一种情况会漏掉:聊天机器人把一篇真实论文的标题和作者附在它从未提出的论断上。该参考文献是真实的,因此会被判定为找到。只有阅读原文,才能判断它是否支持您的表述。
为什么某本图书或网页被标为“未找到记录”?: Crossref 和 OpenAlex 对期刊论文的收录最为完整。许多图书更适合通过 ISBN 核查(检查工具通过 Open Library 解析 ISBN),网页则应直接打开其地址核查。若您有 ISBN 或 DOI,请将其添加到参考文献中,检查工具会优先使用它。