ChatGPT의 인용이 실제인지 어떻게 알 수 있나요?

AI가 준 DOI나 링크를 믿지 말고, 학술 색인에서 직접 찾아보세요. 위의 검사기에 참고문헌을 붙여넣으면 어떤 식별자든 해석하고 제목으로 Crossref와 OpenAlex를 검색합니다. 그다음 찾은 기록을 열어, 인용하기 전에 저자, 연도, 학술지가 일치하는지 확인하세요.

ChatGPT는 왜 참고문헌을 지어내나요?

언어 모델은 실제 기록을 불러오지 않고 참고문헌처럼 보이는 텍스트를 생성하므로, 실제 저자명, 그럴듯한 학술지, 지어낸 제목을 조합할 수 있습니다. 웹을 검색하는 도구는 문제를 줄이지만, 찾은 내용의 세부 정보를 잘못 인용할 수 있어 문제를 완전히 없애지는 못합니다.

검사기는 AI를 사용하나요?

아니요. 검사기는 공개 레지스트리를 통해 식별자를 해석하고, 고정된 규칙으로 제목, 저자, 연도를 비교합니다. 모든 판정은 그 판정의 근거가 된 기록을 보여 줍니다. 서지 데이터를 생성하거나 수정하지 않습니다.

참고문헌을 확인하면 무엇이 전송되나요?

식별자만 CitationEasy의 조회 서비스로 전송됩니다. 제목 검색이 필요한 참고문헌의 경우, 브라우저가 제목과 연도를 — 제목을 뽑아낼 수 없을 때는 참고문헌 한 줄 전체를 — Crossref와 OpenAlex로 직접 보냅니다. 원고 텍스트와 참고문헌의 나머지 부분은 브라우저에 머물며, 아무것도 저장되지 않습니다.

검사기가 가짜 참고문헌을 놓칠 수 있나요?

예, 한 가지 경우에는 그렇습니다. 챗봇이 실제 논문의 제목과 저자를 그 논문이 하지 않은 주장에 붙이는 경우입니다. 참고문헌 자체는 실제이므로 확인됩니다. 그것이 작성한 내용을 뒷받침하는지는 출처를 읽어야만 알 수 있습니다.

도서나 웹페이지가 왜 기록을 찾을 수 없음으로 표시되나요?

Crossref와 OpenAlex는 학술지 논문에 강합니다. 많은 도서는 ISBN으로 확인하는 편이 낫고, 검사기는 ISBN을 Open Library를 통해 해석합니다. 웹페이지는 주소를 직접 열어 확인하세요. ISBN이나 DOI를 갖고 있다면 참고문헌에 추가하세요. 검사기가 그것을 먼저 사용합니다.

가짜 인용 검사기

ChatGPT, Gemini, Copilot 또는 다른 AI 도구가 작성한 참고문헌 목록을 붙여넣으면, 모든 참고문헌을 학술 기록과 대조합니다. DOI, PMID, ISBN 또는 arXiv ID가 있으면 먼저 해석하고, 식별자가 없거나 연결되지 않는 참고문헌은 제목으로 Crossref와 OpenAlex에서 검색합니다. 각 참고문헌은 확인됨, 세부 정보 불일치, 기록 없음 중 하나로 표시되며, 비교한 기록도 함께 보여 줍니다. 무료이며 회원가입이 필요 없습니다.

가짜 인용 검사기 사용 방법

1. 참고문헌을 붙여넣으세요. 한 줄에 하나씩 넣거나, 여러 줄로 나뉜 참고문헌은 빈 줄로 구분하세요. 어떤 스타일이든 괜찮습니다: APA, MLA, Chicago, Harvard, IEEE 또는 Vancouver. 글 전체를 검사하려면 전체 원고로 바꾸고 에세이 전체를 붙여넣거나 .docx 파일을 업로드하세요. 검사기가 참고문헌 목록을 직접 찾아냅니다.
2. 참고문헌 확인을 누르세요. 식별자는 CitationEasy의 조회 서비스로 전송되며, 이 서비스는 식별자만 받습니다. 검색이 필요한 각 참고문헌은 브라우저가 제목과 연도를 Crossref로 직접 보내고, Crossref에서 명확한 일치를 찾지 못하면 OpenAlex로 보냅니다. 처음 20개 참고문헌을 한 번에 확인합니다.
3. 각 판정을 읽으세요. 모든 참고문헌에 입력된 내용, 비교 대상이 된 기록, 그 기록의 출처, 그리고 열어 볼 수 있는 링크가 표시됩니다.
4. 삭제하기 전에 확인하세요. 세부 정보가 일치하지 않음으로 표시된 참고문헌은 기록을 열어 보고, 기록을 찾을 수 없음으로 표시된 참고문헌은 도서관 목록이나 Google Scholar에서 검색하세요. 그런 다음 참고문헌을 고치거나, 직접 읽은 출처로 바꾸거나, 그 참고문헌이 뒷받침하려던 주장을 삭제하세요.

각 판정의 의미

판정	검사기가 찾은 내용	해야 할 일
확인됨	식별자가 같은 제목과 연도의 저작으로 연결되었거나, 제목 검색에서 제목, 저자, 연도가 참고문헌과 일치하는 기록을 찾았습니다.	출처를 읽고, 인용한 내용을 실제로 담고 있는지 확인하세요.
세부 정보가 일치하지 않음	실제 저작이 관련되어 있지만 무언가 맞지 않습니다. DOI가 다른 논문에 속하거나, DOI는 죽었지만 제목은 다른 곳에 존재하거나, 제목은 비슷하지만 연도나 저자가 다릅니다.	기록을 열어 그 내용에 맞게 참고문헌을 고치거나, 출처를 바꾸세요.
기록을 찾을 수 없음	식별자가 연결되지 않거나 식별자가 없고, 이 제목의 저작이 Crossref나 OpenAlex에 없습니다.	직접 검색해 보세요. 찾을 수 없다면 지어낸 것으로 간주하세요.
확인하지 않음	Crossref와 OpenAlex에 연결할 수 없었거나 요청이 제한되었습니다.	잠시 기다린 후 다시 확인하세요.

제목은 대소문자, 문장부호, 악센트를 제외하고 단어 단위로 비교하며, 부제가 빠진 경우에도 일치로 봅니다. Sleep and memory처럼 짧은 제목은 수백 편의 저작에 해당하므로, 기록의 첫 저자 중 한 명이 참고문헌에도 언급되어 있을 때만 확인됨으로 판정합니다.

AI 도구가 참고문헌을 지어내는 이유

챗봇은 모든 문장을 쓰듯 참고문헌도 그럴듯한 다음 텍스트를 예측해서 씁니다. 저작을 조회하지 않기 때문에, 실제처럼 들리는 저자명, 어울리는 학술지, 형식이 맞는 DOI를 가졌지만 실제로 출판된 적 없는 논문의 참고문헌을 만들어 낼 수 있습니다. Walters and Wilder는 ChatGPT에게 42개 주제로 짧은 문헌 검토를 작성하게 한 뒤 636개 참고문헌 전부를 확인했습니다. 그 결과 GPT-3.5 참고문헌의 55%, GPT-4 참고문헌의 18%가 날조되었고, 실제 참고문헌 상당수에도 중대한 오류가 있었습니다 (Scientific Reports, 2023).

지어낸 참고문헌은 몇 가지 알아볼 수 있는 방식으로 실패하며, 검사기는 각각을 확인합니다:

연결되지 않는 DOI. DOI 형식은 맞지만 어떤 등록 기관도 그 DOI를 보유하고 있지 않습니다.
다른 논문에서 빌려 온 DOI. 연결은 되지만, 제목이 다른 저작으로 연결됩니다. 대개 전혀 다른 분야인 경우가 많습니다.
섞인 제목. 여러 실제 논문의 단어를 이어 붙여, 어떤 기록에도 없는 제목을 만든 것입니다.
실제 제목에 잘못된 세부 정보. 논문은 실제로 존재하지만, 연도, 학술지 또는 저자가 어긋나 있습니다.

확인된 참고문헌 목록

샘플 사용해 보기를 누르면 챗봇이 만드는 형식의 참고문헌 네 개가 불러와집니다. 두 번째와 네 번째는 이 시연을 위해 지어낸 것이고, 나머지 두 개는 실제 저작입니다.

샘플 목록 결과

확인됨

Joly, Stapel & Lindenberg (2008), Silence and table manners — DOI 없이 작성되었으며, Crossref에서 제목으로 찾은 기록은 10.1177/0146167208318401입니다.

기록을 찾을 수 없음

Hartman & Okafor (2019), Neural correlates of bilingual lexical retrieval in adolescent sleep deprivation — DOI가 등록되어 있지 않으며, 제목이 가까운 저작이 Crossref나 OpenAlex에 없습니다.

확인됨

Wakefield et al. (1998) in The Lancet — DOI가 같은 논문으로 연결됩니다. 2010년에 철회되었으며, 이 때문에 확인됨이 곧 타당하다는 뜻은 아닙니다.

세부 정보가 일치하지 않음

Smith (2021), Sleep and memory — DOI는 나노미터 규모 온도 측정에 관한 2013년 Nature 논문으로 연결됩니다.

“기록을 찾을 수 없음”이 알려 주는 것과 알려 주지 못하는 것

Crossref와 OpenAlex에는 대부분의 학술지 논문, 학회 논문, 많은 도서가 있지만 전부 있는 것은 아닙니다. 웹페이지, 보고서, 학위논문, 오래된 도서, 지역 학술지는 두 곳 모두에 없는 경우가 많습니다. 찾을 수 없는 참고문헌은 직접 확인해 볼 대상이지, 지어낸 것이라는 증거가 아닙니다. 반대로 찾은 참고문헌도 출처가 실제로 말하지 않는 내용을 뒷받침하는 데 인용될 수 있습니다. 검사기가 확인하는 것은 저작이 존재한다는 사실이지, 그 저작의 내용이 아닙니다.

자주 묻는 질문

ChatGPT의 인용이 실제인지 어떻게 알 수 있나요?: AI가 준 DOI나 링크를 믿지 말고, 학술 색인에서 직접 찾아보세요. 위의 검사기에 참고문헌을 붙여넣으면 어떤 식별자든 해석하고 제목으로 Crossref와 OpenAlex를 검색합니다. 그다음 찾은 기록을 열어, 인용하기 전에 저자, 연도, 학술지가 일치하는지 확인하세요.
ChatGPT는 왜 참고문헌을 지어내나요?: 언어 모델은 실제 기록을 불러오지 않고 참고문헌처럼 보이는 텍스트를 생성하므로, 실제 저자명, 그럴듯한 학술지, 지어낸 제목을 조합할 수 있습니다. 웹을 검색하는 도구는 문제를 줄이지만, 찾은 내용의 세부 정보를 잘못 인용할 수 있어 문제를 완전히 없애지는 못합니다.
검사기는 AI를 사용하나요?: 아니요. 검사기는 공개 레지스트리를 통해 식별자를 해석하고, 고정된 규칙으로 제목, 저자, 연도를 비교합니다. 모든 판정은 그 판정의 근거가 된 기록을 보여 줍니다. 서지 데이터를 생성하거나 수정하지 않습니다.
참고문헌을 확인하면 무엇이 전송되나요?: 식별자만 CitationEasy의 조회 서비스로 전송됩니다. 제목 검색이 필요한 참고문헌의 경우, 브라우저가 제목과 연도를 — 제목을 뽑아낼 수 없을 때는 참고문헌 한 줄 전체를 — Crossref와 OpenAlex로 직접 보냅니다. 원고 텍스트와 참고문헌의 나머지 부분은 브라우저에 머물며, 아무것도 저장되지 않습니다.
검사기가 가짜 참고문헌을 놓칠 수 있나요?: 예, 한 가지 경우에는 그렇습니다. 챗봇이 실제 논문의 제목과 저자를 그 논문이 하지 않은 주장에 붙이는 경우입니다. 참고문헌 자체는 실제이므로 확인됩니다. 그것이 작성한 내용을 뒷받침하는지는 출처를 읽어야만 알 수 있습니다.
도서나 웹페이지가 왜 기록을 찾을 수 없음으로 표시되나요?: Crossref와 OpenAlex는 학술지 논문에 강합니다. 많은 도서는 ISBN으로 확인하는 편이 낫고, 검사기는 ISBN을 Open Library를 통해 해석합니다. 웹페이지는 주소를 직접 열어 확인하세요. ISBN이나 DOI를 갖고 있다면 참고문헌에 추가하세요. 검사기가 그것을 먼저 사용합니다.