偽引用チェッカー
ChatGPT、Gemini、Copilotなどのツールが作成した参考文献リストを貼り付けると、すべての参考文献が学術記録と照合されます。DOI、PMID、ISBN、arXiv IDがあればまず解決し、ない場合や解決できない場合は、タイトルでCrossrefとOpenAlexを検索します。各参考文献には、見つかりました、詳細が一致しません、記録が見つかりませんのいずれかの判定と、比較した記録が表示されます。無料で、登録は不要です。
偽引用チェッカーの使い方
- 1. 参考文献を貼り付けます。 1行に1件、または折り返された参考文献は空行で区切ります。APA、MLA、Chicago、Harvard、IEEE、Vancouverのどの形式でも使えます。文章全体を貼り付けたり、.docxファイルをアップロードしたりする場合は、論文全文に切り替えてください。参考文献リストはチェッカーが自動で見つけます。
- 2. 参考文献を確認します。 識別子はCitationEasyの検索に送られ、検索は識別子のみを受け付けます。検索がまだ必要な参考文献については、ブラウザがタイトルと発行年をCrossrefに直接送信し、Crossrefで明確な一致が得られなかった場合はOpenAlexにも送信します。最初の20件の参考文献が1回の処理で確認されます。
- 3. 判定を読みます。 各参考文献には、記載された内容、比較対象の記録、その記録の出典、そして開くためのリンクが表示されます。
- 4. 削除する前に確認します。 詳細が一致しませんと表示された参考文献は、記録を開いて確認してください。記録が見つかりませんと表示された参考文献は、図書館の目録やGoogle Scholarで検索してください。そのうえで、参考文献を修正するか、読んだことのある出典に置き換えるか、その参考文献で裏付けようとした主張を削除してください。
各判定の意味
| 判定 | チェッカーの結果 | 対処 |
|---|---|---|
| 見つかりました | 識別子が同じタイトルと発行年の著作に解決されたか、タイトル検索で、タイトル、著者、発行年が参考文献と一致する記録が見つかりました。 | 出典を読み、引用の目的に合った内容かを確認してください。 |
| 詳細が一致しません | 実在する著作が関係しているものの、どこかが食い違っています。DOIが別の論文のものである、DOIが無効だがタイトルは別の場所に存在する、またはタイトルは近いが発行年や著者が異なる、といった場合です。 | 記録を開き、そこから参考文献を修正するか、出典を置き換えてください。 |
| 記録が見つかりません | 識別子が解決されない、またはそもそも識別子がなく、このタイトルの著作がCrossrefにもOpenAlexにもありません。 | 手作業で検索してください。見つからなければ、架空のものとして扱ってください。 |
| 未確認 | CrossrefとOpenAlexに接続できなかったか、リクエストが制限されていました。 | 1分ほど待ってから、もう一度確認してください。 |
タイトルは大文字・小文字、句読点、アクセントを除いて単語ごとに比較され、サブタイトルが省略されていても一致とみなされます。Sleep and memoryのような短いタイトルは数百件の著作に当てはまるため、参考文献に記録の筆頭著者の一人も記載されている場合にのみ、見つかりましたと判定されます。
AIツールが参考文献を捏造する理由
チャットボットは、どの文章も書くのと同じように参考文献を書きます。つまり、もっともらしく続く文章を予測しているのです。文献を検索して確かめるわけではないため、実在するように聞こえる著者名、もっともらしい雑誌名、正しい形式のDOIを備えた、実在しない論文の参考文献を作ることがあります。Walters and Wilderが42のトピックについて短い文献レビューをChatGPTに書かせ、636件の参考文献すべてを確認したところ、GPT-3.5の参考文献の55%、GPT-4の参考文献の18%が捏造されていました。また、実在するものの多くにも重大な誤りがありました（Scientific Reports, 2023）。
AIが作成した参考文献は、次のような見分けやすい形で失敗することが多く、チェッカーはそのそれぞれを確認します。
- 解決しないDOI。 DOIの形式は正しいものの、どの登録機関もそのDOIを保有していません。
- 別の論文から流用されたDOI。 解決はしますが、タイトルの異なる著作に解決されます。多くは関係のない分野の論文です。
- 混ぜ合わされたタイトル。 実在する複数の論文の語句を継ぎ合わせて、どの記録にも存在しないタイトルにしたものです。
- 実在するタイトルに誤った詳細。 論文は実在しますが、発行年、雑誌名、著者がずれています。
確認済みの参考文献リスト
サンプルを試すを押すと、チャットボットが作成する形式の参考文献4件が読み込まれます。2件目と4件目はこのデモンストレーションのために作成された架空の文献で、ほかの2件は実在します。
サンプルの結果
見つかりました
Joly, Stapel & Lindenberg (2008), Silence and table manners — DOIなしで書かれていましたが、タイトル検索によりCrossrefで10.1177/0146167208318401として見つかりました。
記録が見つかりません
Hartman & Okafor (2019), Neural correlates of bilingual lexical retrieval in adolescent sleep deprivation — このDOIは登録されておらず、近いタイトルの著作もCrossrefにもOpenAlexにもありません。
見つかりました
Wakefield et al. (1998) in The Lancet — DOIは同じ論文に解決されます。2010年に撤回されており、「見つかりました」は「信頼できる」と同じではないことを示す例です。
詳細が一致しません
Smith (2021), Sleep and memory — DOIは2013年のNatureの論文に解決されます。その論文はナノメートル規模の温度測定に関するものです。
「記録が見つかりません」が示せること、示せないこと
CrossrefとOpenAlexには、ほとんどの学術誌論文、会議論文、多くの書籍が収録されていますが、すべてではありません。ウェブページ、報告書、学位論文、古い書籍、地域の学術誌は、両方から抜けていることがよくあります。見つからなかった参考文献は、架空だと証明されたものではなく、手作業で確認すべき対象です。逆に、見つかった参考文献でも、出典が述べていない内容を引用している場合があります。チェッカーが確認するのは著作が存在することであり、その内容ではありません。
よくある質問
- ChatGPTの引用が実在するかどうかは、どうすればわかりますか？
- AIが示すDOIやリンクを信用するのではなく、学術索引で検索してください。上のチェッカーに参考文献を貼り付けると、どの識別子でも解決し、タイトルでCrossrefとOpenAlexを検索します。見つかった記録を開き、引用する前に著者、発行年、雑誌名が一致しているかを確認してください。
- ChatGPTはなぜ参考文献を捏造するのですか？
- 言語モデルは、実在する記録を取得せずに参考文献らしい文章を生成するため、実在する著者名、もっともらしい雑誌名、架空のタイトルを組み合わせてしまうことがあります。Webを検索するツールは問題を減らしますが、なくすわけではありません。見つけた情報の詳細を誤って引用することがあるからです。
- チェッカーはAIを使っていますか？
- いいえ。公開されているレジストリで識別子を解決し、固定されたルールでタイトル、著者、発行年を比較します。すべての判定には、その判定の根拠となった記録が表示されます。書誌データを生成したり修正したりすることはありません。
- 参考文献を確認すると、何が送信されますか？
- CitationEasyの検索には識別子だけが送信されます。タイトル検索が必要な参考文献については、タイトルと発行年を、タイトルを特定できない場合は参考文献の行全体を、ブラウザからCrossrefとOpenAlexに直接送信します。論文本文と参考文献のそれ以外の部分はブラウザ内に残り、何も保存されません。
- チェッカーは偽の参考文献を見逃すことがありますか？
- はい、1つの場合には見逃すことがあります。チャットボットが、論文が主張していない内容に、実在する論文のタイトルと著者を付けた場合です。参考文献自体は実在するため見つかります。その出典があなたの記述を裏付けているかどうかは、原典を読むことでしか判断できません。
- 書籍やウェブページが「記録が見つかりません」と判定されたのはなぜですか？
- CrossrefとOpenAlexは、学術誌論文で最も充実しています。多くの書籍は、ISBNで確認するほうがよく、チェッカーはISBNをOpen Libraryで解決します。ウェブページはURLを開いて確認してください。ISBNやDOIがわかっている場合は参考文献に追加してください。チェッカーはそれを最初に使います。