학술 연구를 위한 출처 평가 방법
출처 평가는 느낌이 아니라 절차입니다. California State University, Chico의 Meriam Library가 제시한 공식 CRAAP questions — Currency, Relevance, Authority, Accuracy, Purpose — 를 묻고, 답을 굳히기 전에 새 탭을 열어 저자나 출판자에 대해 다른 사람들이 무엇이라 말하는지 확인하세요. 이 URL은 글자별 방법입니다. 그 답이 이끄는 채택 / 주의 / 기각 결정에는 출처가 신뢰할 수 있는지 판단하는 방법을 쓰세요.
작성: CitationEasy Editorial Team20분 소요
이 페이지의 내용
출처 평가하는 법: 빠른 답
날짜, 이름, 방법 주석, 목적을 읽을 만큼만 항목에 머무르세요. 그런 다음 지금 보고 있는 사이트를 빼고 저자나 조직을 검색하세요. 페이지 안에서만 돌리는 체크리스트는 겉모습이 번듯한 전면 단체를 학생이 승인하게 만드는 방식입니다. 방법으로 다시 가져오지 않는 검색은, 진짜 논문이라도 너무 오래되었거나 주제에서 벗어나거나 철회된 것을 인용하게 만드는 방식입니다.
눈앞의 출처에서 채우기
이 주장에는 남긴다:
책임 있는 사람 또는 부서, 이 주장에 맞는 발행일 또는 수정일, 그리고 열어 확인할 수 있는 방법, 데이터세트 또는 위치를 내가 이름 붙일 수 있다. 나는 이 출처를 [이 주장]을 위해 인용하며, 이 출처가 뒷받침하지 않는 주장을 위해서는 인용하지 않는다.
배경으로만 남긴다:
출판자는 실재하지만, 항목은 요약이거나, 대체된 웨이브이거나, 일반 독자용 페이지이거나, 이 논문의 독자층에서 벗어나 있다. 그 한계를 밝히거나, 바탕에 있는 표나 논문을 열어 그쪽을 인용한다.
이 주장에는 인용하지 않는다:
누가 책임지는지 이름 붙일 수 없거나, 목적이 판매나 모집이거나, 항목이 철회되었거나, 60초 검색으로 출판자가 About 페이지가 꾸미는 대상이 아님이 드러난다.
이 세 줄은 질문 이후의 판정이지, 질문을 대신하지 않습니다. 아래 공식 CRAAP 목록을 돌리세요. 세 갈래 결정을 한곳에서 여전히 필요하다면 판정을 출처가 신뢰할 수 있는지 판단하는 방법으로 가져가세요.
이 페이지의 용도
CitationEasy에는 이미 결정 페이지(이 출처를 인용할 만큼 신뢰할 수 있는가?), 주장 검증 페이지(학술 연구를 위한 출처 팩트체크 방법), 출처 유형 페이지(학술 출처와 대중 출처: 구별하는 법)가 있습니다. 이 URL은 평가 방법입니다. CRAAP 질문 전체 목록, 각 글자가 잡는 실패 유형, 그리고 다섯 실제 출처를 끝까지 돌린 평가입니다. 예 / 아니오 / 이 주장에는 쓰지 않음 판정만 필요하다면 신뢰성 페이지에서 시작하고, 질문이 필요할 때 여기로 돌아오세요.
Association of College and Research Libraries는 평가를 일회성 도장이 아니라 탐구의 일부로 다룹니다. ACRL 이사회가 2015년 2월 2일에 제출하고 2016년 1월 11일에 채택한 Framework는 여전히 여섯 틀을 이름 붙입니다. 이 해설이 출발하는 틀은 Research as Inquiry입니다:
ACRL Framework for Information Literacy for Higher Education (2016)
Research as Inquiry
Research is iterative and depends upon asking increasingly complex or new questions whose answers in turn develop additional questions or lines of inquiry in any field.
그래서 출처는 네 글자를 통과하고도 다섯 번째에서 떨어질 수 있으며, 연구 질문이 바뀌면 다시 평가합니다. Bureau of Labor Statistics 월간 발표는 지난달 미국 급여 고용 그림에는 뛰어나고 Moby-Dick의 문학적 읽기에는 쓸모가 없습니다.
공식 CRAAP 테스트 (Meriam Library)
사서 Sarah Blakeslee는 “The CRAAP Test”를 LOEX Quarterly 31, no. 3 (Fall 2004)에 발표했습니다. 이후 도서관 유인물이 이 페이지가 공식으로 다루는 문구입니다. Evaluating Information — Applying the CRAAP Test(날짜 9/17/10, CC BY 4.0)는 California State University, Chico의 Meriam Library 목록입니다. Cornell University Library는 건강 페이지용으로 CRAAP를 다시 말합니다 — 최종 갱신일을 확인하고, 링크를 시험하고, 소유자를 이름 붙이세요 — 그러나 아래 질문은 Chico의 것이지 캠퍼스 개작이 아닙니다. 유인물은 점수가 아니라 문제로 엽니다:
Meriam Library, California State University, Chico
When you search for information, you're going to find lots of it . . . but is it good information? You will have to determine that for yourself, and the CRAAP Test can help. The CRAAP Test is a list of questions to help you evaluate the information you find. Different criteria will be more or less important depending on your situation or need.
CRAAP는 점수 체계가 아니라 질문 목록입니다. 유인물은 점수를 더해 15점 이상이면 남기라고 한 적이 없습니다. 출처는 Currency에서 만점을 받고도 잘못된 독자층일 수 있고, 진짜 전문가가 제품을 팔고 있을 수도 있습니다. 아래 다섯 공식 gloss는 도서관의 말입니다. 각 제목 아래 질문 목록은 도서관의 질문입니다. 그중 둘 — 작동하는 링크, URL이 무언가를 드러내는지(.com, .edu, .gov, .org, .net) — 는 웹에서 특히 유용하다고 유인물에 표시되어 있습니다.
| 글자 | Official gloss |
|---|---|
| Currency | The timeliness of the information. |
| Relevance | The importance of the information for your needs. |
| Authority | The source of the information. |
| Accuracy | The reliability, truthfulness and correctness of the content. |
| Purpose | The reason the information exists. |
Currency: 이 주장에는 충분히 최근인가?
Currency는 “더 새롭면 항상 더 낫다”가 아닙니다. 공식 질문은 당신의 주제에 최신 정보가 필요한지입니다. 2026년 8월 노동 발표는 다음 발표가 나온 다음 달이면 낡습니다. Thomas S. Kuhn의 The Structure of Scientific Revolutions (University of Chicago Press, 1962)는 과학사 세미나가 여전히 지정하는 책입니다. Currency에는 수정도 포함됩니다. 초판 BLS 2026년 7월 급여 고용 변화는 나중에 수정되었으므로, 첫 헤드라인을 고정한 논문은 이미 대체된 숫자를 인용하고 있습니다.
Official Currency questions (Meriam Library)
Official gloss
Currency: The timeliness of the information.
- When was the information published or posted?
- Has the information been revised or updated?
- Does your topic require current information, or will older sources work as well?
- Are the links functional?
전형적인 과제지 — 이것은 강사 습관이지 CRAAP 점수가 아닙니다 — 는 임상이나 기술 주장에는 최근 연구를 원하고, 철학·역사·이론에서는 기초 문헌을 여전히 원합니다. 연 페이지가 이미 대체되었다면 페이지 자체가 종종 그렇게 말합니다. Americans' Social Media Use 2025 (Pew Research Center, 2025년 11월 20일)는 2025년 2월 5일–6월 18일 조사를 보고합니다. 2024년 1월 31일 보고서는 이전 웨이브이며, 그 페이지는 이제 독자를 2025년 발표로 안내합니다. 그 짝이 Currency 답입니다. “성인 중 몇 퍼센트가 지금 TikTok을 쓰는가”에는 2025년 발표를 쓰고, 그 특정 조사를 쓰는 경우에만 2024년 보고서를 남기세요.
Relevance: 지금 쓰는 논문에 이것을 인용하겠는가?
출처는 유명하고 최근이어도 당신의 질문에는 쓸모없을 수 있습니다. Pew의 2025년 플랫폼 이용 표는 “미국 성인이 어떤 사이트를 쓴다고 보고하는가”에 맞는 증거입니다. 십대 이용의 증거로는 틀립니다(Pew는 별도의 십대 조사를 냅니다). Instagram이 외로움을 유발하는가의 증거로도 틀립니다. Relevance는 적합성이지 명성이 아닙니다.
Official Relevance questions (Meriam Library)
Official gloss
Relevance: The importance of the information for your needs.
- Does the information relate to your topic or answer your question?
- Who is the intended audience?
- Is the information at an appropriate level (i.e. not too elementary or advanced for your needs)?
- Have you looked at a variety of sources before determining this is one you will use?
- Would you be comfortable citing this source in your research paper?
학생들이 건너뛰는 것은 그 마지막 공식 질문입니다. 각주에 그 URL을 넣는 것이 부끄럽다면 그것이 데이터입니다. 확증 편향이 건너뛰는 것은 네 번째 질문입니다. 이것을 확정하기 전에 다양한 출처를 보세요. 출처의 편향을 식별하는 방법을 보세요.
Authority: 누가 책임지며, 여기서 자격이 있는가?
Authority는 이름 붙일 수 있는 사람 또는 조직에, 이 주장에 맞는 종류의 전문가인 이유를 더한 것입니다. 심장내과 의사가 중세 전례에 자동으로 권위가 있는 것은 아닙니다. 생존자는 자신이 겪은 일에는 높은 권위이고 전국 유병률에는 약한 출처입니다. ACRL Framework는 그것을 구성되고 맥락적이라고 부릅니다:
ACRL Framework, Authority Is Constructed and Contextual (2016)
Authority is constructed in that various communities may recognize different types of authority. It is contextual in that the information need may help to determine the level of authority required.
신뢰성 페이지는 더 긴 문단을 인용합니다. 여기서의 일은 운용입니다. 이름을 찾은 뒤 페이지를 떠나세요.
Official Authority questions (Meriam Library)
Official gloss
Authority: The source of the information.
- Who is the author/publisher/source/sponsor?
- What are the author's credentials or organizational affiliations?
- Is the author qualified to write on the topic?
- Is there contact information, such as a publisher or email address?
- Does the URL reveal anything about the author or source? examples: .com .edu .gov .org .net
URL 질문은 단서이지 봉인이 아닙니다. .org 최상위 도메인은 제한이 없습니다. .edu 호스트가 학생 논문이나 2009년 연구실 페이지를 제공할 수 있습니다. .gov 호스트는 공식 미국 공공 정보에는 더 강한 신호이지만, 그래도 부서와 날짜를 확인하세요. MedlinePlus: Vitamin D는 권장량을 NIH Office of Dietary Supplements에 귀속시키는 National Library of Medicine 일반 독자 페이지입니다. “MedlinePlus NIH”를 횡적으로 검색하면 보충제 가게가 아니라 같은 연방 도서관이 나옵니다. Authority는 그렇게 — 페이지 밖에서 — 답하는 것이지, 레이아웃을 칭찬해서 답하는 것이 아닙니다.
Accuracy: 다른 사람이 그 주장을 확인할 수 있는가?
Accuracy는 따라갈 수 있는 증거입니다. 방법 절, 설문지, 데이터세트, 인용된 표, 해석되는 DOI. 철자 품질은 약한 신호입니다. 동료 심사는 더 강한 신호이지만 평생 보증은 아닙니다. 동료 심사는 어떻게 작동하는가 (학술지를 확인하는 법)를 보고, 결과가 너무 깔끔하면 Retraction Watch를 확인하세요.
Official Accuracy questions (Meriam Library)
Official gloss
Accuracy: The reliability, truthfulness and correctness of the content.
- Where does the information come from?
- Is the information supported by evidence?
- Has the information been reviewed or refereed?
- Can you verify any of the information in another source or from personal knowledge?
- Does the language or tone seem unbiased and free of emotion?
- Are there spelling, grammar or typographical errors?
John P. A. Ioannidis의 에세이 “Why Most Published Research Findings Are False” (PLoS Medicine 2, no. 8, e124, 2005년 8월 30일, DOI 10.1371/journal.pmed.0020124)는 실제 오픈 액세스 동료 심사 논증이며 2022년 8월 25일 정정이 있습니다. 동시에 그것은 모형이지 모든 논문의 전수조사가 아닙니다. 제목은 수사적 일을 합니다. 여기서 Accuracy는 가정(연구 검정력, 편향, 같은 질문을 몇 팀이 쫓는지)을 읽고, 헤드라인을 방법 절에 넣을 수 있는 발견으로 다루지 않으며, 에세이를 학술지를 무시하는 면허로 쓰지 말라는 뜻입니다. 주장 하나를 대조하세요. Pew라면 방법 주석을 열고, BLS라면 가구조사와 사업체조사를 설명하는 Technical Note를 여세요.
Purpose: 이 페이지는 왜 존재하는가?
Purpose는 학생들이 “관점이 있다”와 혼동하는 글자입니다. 모든 출처에는 관점이 있습니다. 공식 질문은 페이지가 알리거나, 가르치거나, 팔거나, 즐겁게 하거나, 설득하려고 있는지, 그리고 그 의도가 분명한지를 묻습니다. BLS 뉴스 발표는 일정에 맞춰 조사 추정치를 내려고 존재합니다. 비타민 가게 랜딩 페이지는 병을 팔려고 존재합니다. 둘 다 참인 숫자를 담을 수 있습니다. 당신이 생각하는 일을 하는 것은 하나만입니다.
Official Purpose questions (Meriam Library)
Official gloss
Purpose: The reason the information exists.
- What is the purpose of the information? Is it to inform, teach, sell, entertain or persuade?
- Do the authors/sponsors make their intentions or purpose clear?
- Is the information fact, opinion or propaganda?
- Does the point of view appear objective and impartial?
- Are there political, ideological, cultural, religious, institutional or personal biases?
횡적 읽기: Authority와 Purpose에 실제로 답하는 법
CRAAP는 여전히 출처를 점검하라고 합니다. 전문 팩트체커는 그 점검을 출처 안에서 끝내지 않습니다. Sam Wineburg와 Sarah McGrew는 살아있는 웹사이트에서 Ph.D. 역사학자 10명, 전문 팩트체커 10명, Stanford University 학부생 25명을 비교했습니다. 2019년 Teachers College Record 논문 Lateral Reading and the Nature of Expertise가 그 이름 있는 연구입니다. Stanford는 2018년 7월 28일 작업본도 호스팅합니다(“in press, Teachers College Record”). 구조화된 초록이 이 페이지가 인용하는 문구입니다:
Wineburg and McGrew, Teachers College Record (2019) / Stanford working copy (28 July 2018)
Historians and students often fell victim to easily manipulated features of websites, such as official-looking logos and domain names. They read vertically, staying within a website to evaluate its reliability. In contrast, fact checkers read laterally, leaving a site after a quick scan and opening up new browser tabs in order to judge the credibility of the original site.
수직 읽기는 About 페이지와 자물쇠 아이콘이 유도하는 방식입니다. 횡적 읽기는 Mike Caulfield의 SIFT method (Stop, Investigate the source, find better coverage, Trace the original context)의 첫 동작입니다. 주장 검증 절반 — 더 나은 보도를 찾고 인용이나 숫자를 추적하기 — 은 학술 연구를 위한 출처 팩트체크 방법에 있습니다. 조사 절반이 이 페이지의 Authority/Purpose 방법입니다:
Mike Caulfield, “SIFT (The Four Moves),” 19 June 2019
Taking sixty seconds to figure out where media is from before reading will help you decide if it is worth your time, and if it is, help you to better understand its significance and trustworthiness.
- About 페이지를 끝내기 전에 새 탭을 연다.
- 조직 또는 저자 이름을 검색한 뒤 “funding”, “retraction”, “review” 같은 단어를 더한다.
- 출처의 자기 설명보다 출처에 관한 위키백과, 뉴스룸, 대학 페이지를 우선한다.
- 통계가 중요하다면 그것이 나온 표나 논문까지 추적하고 그쪽을 평가한다.
- CRAAP로 돌아온다. 누가 말하는지 안 뒤에도 날짜, 독자, 방법은 여전히 중요하다.
CRAAP가 첫 도구로 틀린 때
Meriam Library 유인물은 이미 항목을 손에 들고 있다고 가정합니다. 도서관에서 뽑은 PDF, BLS 발표, 책상 위 책에는 맞는 도구입니다. 단체 채팅으로 도착한 낯선 URL에는 첫 도구로 틀립니다. 낯선 사람의 페이지에서는 SIFT로 시작하세요. 멈추고, 다른 탭에서 출처를 조사하세요. 1분 뒤에 출판자를 이름 붙일 수 없다면, CRAAP를 돌릴 출처가 아직 없는 것입니다.
SIFT로 시작
- URL이 나에게 새롭다.
- 레이아웃이 공식처럼 보이고 아직 페이지를 떠나지 않았다.
- 이 특정 논문보다 주장이 더 중요하다.
CRAAP로 시작
- 출판자가 실재함을 이미 안다.
- 이 날짜 있는 항목이 이 논문에 들어가는지 결정해야 한다.
- 같은 각주의 실재하는 후보 둘을 비교하고 있다.
ACRL 틀 Information Creation as a Process는 홈페이지에서 돌린 체크리스트가 실패하는 또 다른 이유입니다. 형식은 그 항목을 만든 과정과 같지 않습니다:
ACRL Framework, Information Creation as a Process (2016)
Information in any format is produced to convey a message and is shared via a selected delivery method. The iterative processes of researching, creating, revising, and disseminating information vary, and the resulting product reflects these differences.
동료 심사 PDF, BLS HTML 발표, MedlinePlus 주제 페이지는 브라우저에서는 모두 “웹페이지”일 수 있습니다. 생성 과정 — 심사, 잠긴 엠바고, 살아있는 일반 독자 요약 — 이 Accuracy와 Purpose가 묻는 것입니다. 겉모습을 채점하지 마세요.
사례 평가: 다섯 실제 출처
아래 다섯 항목은 식별할 수 있습니다. 각각을 다섯 글자 모두에 통과시킵니다. 어느 것도 “항상 인용”이나 “절대 인용하지 않음”이 아닙니다. 질문은 어떤 일을 할 수 있는가입니다.
1. Pew Research Center, Americans' Social Media Use 2025 (20 November 2025)
보고서를 여세요. 저자는 Jeffrey Gottfried와 Eugenie Park입니다. Pew는 초당파 팩트 탱크입니다. SSRS가 Center를 위해 National Public Opinion Reference Survey를 실시했습니다. 미국 성인 5,022명, 2025년 2월 5일–6월 18일, 주소 기반 표집, 웹, 우편, 전화입니다. 페이지는 미국 성인의 84퍼센트가 YouTube를, 71퍼센트가 Facebook을, 50퍼센트가 Instagram을, 37퍼센트가 TikTok을 썼다고 보고합니다(2021년 21퍼센트에서 상승). 별도의 American Trends Panel 웨이브(성인 5,123명, 2025년 2월 24일–3월 2일)는 네 플랫폼을 얼마나 자주 방문하는지 물었습니다. 2024년 1월 31일 보고서(성인 5,733명, 2023년 5월 19일–9월 5일. YouTube 83퍼센트, Facebook 68퍼센트, Instagram 47퍼센트)는 이제 최신 성인 수치에는 2025년 발표를 쓰라고 독자에게 말합니다.
2025 Pew 보고서에 대한 CRAAP
- Currency. 2025년 조사에 기반한 2025년 11월 20일자. 현재 성인 수준에는 이 웨이브를 쓰고, 2024년 보고서는 그 조사 연도에만 남긴다.
- Relevance. 미국 성인 플랫폼 이용에는 맞다. 십대, 한 캠퍼스, 웰빙에 대한 인과 주장에는 틀리다.
- Authority. 이름 있는 연구 센터와 이름 있는 저자. 방법과 설문지가 같은 사이트에 있다. 횡적 검색은 Pew를 확인하고, 닮은 여론조사 기관이 아님을 확인한다.
- Accuracy. 표본 크기, 날짜, 방식, 가중치가 공개되어 있다. 집단(성인이지 “모든 연령의 미국인”이 아님) 없이 퍼센트를 인용하지 않는다.
- Purpose. 알리기 위함. Pew는 자금과 방법을 밝힌다. 여전히 자기보고 이용 조사이지 트래픽 기록이 아니다.
2. BLS, The Employment Situation — August 2026
Employment Situation Summary를 여세요. 2026년 8월 발표(USDL-26-1435, 동부시간 금요일 오전 8시 30분, 2026년 9월 4일)는 비농업 급여 고용이 162,000 증가했고 실업률이 4.1퍼센트로 변하지 않았다고(실업자 700만) 보고했습니다. 같은 페이지는 2026년 9월 발표를 2026년 10월 2일 금요일 오전 8시 30분(동부시간)으로 예정했습니다. 2026년 7월 초판 급여 고용 변화 −23,000은 나중에 +21,000으로 수정되었습니다. 월간 헤드라인은 움직입니다. 발표 월을 인용하고 이후 수정을 예상하세요.
BLS 월간 발표에 대한 CRAAP
- Currency. 설계상 월간. 발표 월을 인용하고 이후 발표의 수정을 예상한다 — 2026년 7월이 사례이다.
- Relevance. 최근 미국 노동시장 수준에는 맞다. 한 기업의 인원이나 1930년대 역사 장에는 틀리다(역사 BLS 시계열을 쓴다).
- Authority. 연방 통계 기관. “BLS Employment Situation”을 검색하면 BLS를 요약하는 뉴스레터가 아니라 bls.gov에 착륙한다.
- Accuracy. 두 조사(가구 / 사업체)와 Technical Note. 헤드라인 급여 숫자는 보고가 더 들어오면 수만 단위로 움직일 수 있다.
- Purpose. 잠긴 일정에 맞춰 알리기 위함. 엠바고 문구와 다음 발표일이 페이지에 인쇄되어 있다.
3. MedlinePlus, Vitamin D (일반 건강 페이지)
Vitamin D는 U.S. National Library of Medicine의 MedlinePlus 주제 페이지입니다. 공개 페이지의 최종 갱신은 2024년 5월 10일입니다. 비타민이 왜 중요한지를 요약하고 NIH Office of Dietary Supplements의 권장 일일량을 적습니다. 출생부터 12개월까지 400 IU. 1–13세 아동, 14–18세 십대, 19–70세 성인은 600 IU. 71세 이상은 800 IU. 임신 중이거나 수유 중이면 600 IU입니다. 페이지는 그 숫자를 개인 용량으로 다루기 전에 의료 제공자와 확인하라고 말합니다.
MedlinePlus Vitamin D에 대한 CRAAP
- Currency. 최종 갱신 2024년 5월 10일인 살아있는 일반 독자 페이지. 인용하는 구체적 사실의 날짜를 확인하고, 영양소 표는 ODS 링크를 따른다.
- Relevance. 간호 또는 공중보건 논문의 배경에는 맞다. 임상 권고의 유일한 출처로는 틀리다 — MedlinePlus가 나열한 학술지 논문을 따른다.
- Authority. NLM / NIH. 횡적 검색: 이것은 연방 일반 건강 백과이지 클리닉이나 브랜드가 아니다.
- Accuracy. 숫자는 귀속되어 있다. 여전히 요약이다. 방법 수준 주장에는 ODS 팩트시트나 체계적 문헌고찰을 연다.
- Purpose. 환자와 학생을 가르치기 위함. “제공자와 확인하라”는 줄이 목적 진술이다.
4. Ioannidis, “Why Most Published Research Findings Are False” (2005)
PLOS Medicine 에세이 (DOI 10.1371/journal.pmed.0020124)는 재현 대화에서 가장 많이 인용되는 글 중 하나입니다. Ioannidis는 자신의 주장으로 이렇게 씁니다:
John P. A. Ioannidis, PLoS Medicine 2, no. 8 (2005)
It can be proven that most claimed research findings are false.
그 문장은 검정력, 편향, 유의성을 몇 팀이 쫓는지의 모형에서 나온 결론이지, 철회된 논문의 집계가 아닙니다. PLOS는 2022년 8월 25일 Table 2의 빠진 괄호에 대해 정정을 냈습니다(10.1371/journal.pmed.1004085). 동료 심사는 에세이를 학술지에 넣었습니다. 제목을 논증 없이 인용할 사실로 만들지는 않았습니다.
Ioannidis 2005에 대한 CRAAP
- Currency. 2005년, 2022년 정정 있음. 연구 설계에 관한 논증이지 지난주 시험이 아니므로 여전히 인용된다.
- Relevance. 재현, p값, 단일 소규모 연구가 얇은 기반인 이유를 논할 때는 맞다. 자기 분야 문헌을 건너뛸 이유로 쓰면 틀리다.
- Authority. John P. A. Ioannidis, 당시 University of Ioannina / 이후 Stanford. 이름 있는, 많이 인용되는 방법론자. 충격적인 제목만이 아니라 저자를 확인한다.
- Accuracy. 오픈 액세스, 동료 심사, DOI가 해석되고, 정정이 있다. 초록 너머를 읽는다. 제목을 “대부분의 논문은 쓰레기”로 바꾸지 않는다.
- Purpose. 더 나은 설계와 해석을 주장하기 위함. 에세이지 체계적 문헌고찰이 아니다.
5. Kuhn, The Structure of Scientific Revolutions (1962)
Thomas S. Kuhn, The Structure of Scientific Revolutions (Chicago: University of Chicago Press, 1962)는 대학출판부 책이지 웹페이지가 아닙니다. 학생들은 “오래되어서” 버리거나 “고전이라서” CRISPR 프로토콜에 인용합니다. 둘 다 Authority 실패가 아니라 Currency와 Relevance 실패입니다.
Kuhn 1962에 대한 CRAAP
- Currency. 1962년은 패러다임 전환이라는 생각의 역사에는 현재이다. 2020년대 연구실이 유전체 편집을 어떻게 하는가에는 현재가 아니다.
- Relevance. 과학 변화에 관한 철학 또는 역사 논문에는 맞다. 분자생물학 방법 인용으로는 틀리다.
- Authority. 이름 있는 과학사학자이자 과학철학자. 대학출판부. 이후 판이 있다 — 사용한 판을 인용한다.
- Accuracy. 책 분량의 논증이지 데이터세트가 아니다. 이후 학자들이 비판하고 다듬었다. 그것은 대화로서의 학문이지 책을 숨길 이유가 아니다.
- Purpose. 과학이 어떻게 바뀌는지 해석하기 위함. 실험실 매뉴얼도 뉴스 보도도 아니다.
같은 질문이 출처 유형에 따라 어떻게 바뀌는가
CRAAP는 형식이 바뀌어도 글자를 바꾸지 않습니다. 기대할 수 있는 증거가 바뀝니다. 학술 대 대중의 분류는 학술 출처와 대중 출처: 구별하는 법을 쓰세요. 미출판 1차 자료는 1차 자료와 2차 자료: 구별하는 법을 쓰세요.
| 유형 | 보통 강한 점 | 그래도 확인할 것 |
|---|---|---|
| 동료 심사 논문 | 이름 있는 저자, 방법, 참고문헌, DOI | 자금, 표본, 철회되었는지, 초록 너머를 읽었는지 |
| 대학출판부 책 | 편집 과정, 깊이 | 판, 날짜, 이후 연구가 그 주장을 대체했는지 |
| 정부 통계 발표 | 책임 기관, 문서화된 방법, 타임스탬프 | 어느 조사인지, 어느 수정인지, 역사 시계열이 필요한지 |
| 뉴스 보도 | 사건에 대한 날짜 있는 공적 기록 | 뉴스인지 의견인지. 요약하는 연구가 실제로 인용해야 할 대상인지 |
| 조직 또는 회사 사이트 | 그 단체 입장의 공적 진술 | 목적과 자금. .org를 품질 표시로 다루지 말 것 |
| 위키백과 | 용어와 각주의 지도 | 학술 출처로 인용하지 말 것 — 주를 따르세요. 학술 연구에 위키백과를 쓰는 방법을 보세요. |
| 소셜 게시물 또는 블로그 | 그 사람이 말한 것의 1차 자료 | 바탕 논문이나 데이터세트의 대체물이 거의 되지 않는다 |
이 학술지는 신뢰할 수 있는가? Think. Check. Submit.
Accuracy는 항목이 심사되었거나 동료 심사를 받았는지를 묻습니다. “peer-reviewed”라고 적힌 PDF 바닥글만으로는 부족합니다. Think. Check. Submit.는 학술지가 신뢰할 장소인지를 보는 출판자 간 체크리스트입니다. 학술지 목록의 최종 갱신은 2023년 3월이며, 2023년 6월에 추가 수정이 있습니다. 저자를 위한 맺음말은, 다운로드를 심사된 것으로 다룰지 결정하는 학생을 위한 맺음말이기도 합니다:
Think. Check. Submit., Journals checklist (June 2023)
Is the journal clear about the type of peer review it uses?
Complete the checklist and submit your manuscript only if you can answer 'yes' to most or all of the questions above.
인용하는 논문에도 같은 질문이 적용됩니다. 출판자를 식별하고 연락할 수 있는가, 학술지 이름이 유일한가, 오픈 액세스라고 주장하면 DOAJ에 제목이 있는가. 그런 다음 논문이 나중에 철회되지 않았는지 확인하세요. 약탈적 학술지와 동료 심사는 어떻게 작동하는가 (학술지를 확인하는 법)를 보세요.
인용을 멈춰야 하는 위험 신호
이것들은 공식 CRAAP 채점이 아닙니다. 다섯 글자가 학생 논문에서 계속 잡는 실패 유형입니다.
- 책임 있는 저자나 조직이 없다. 익명은 이름 붙일 수 있는 단체 저자와 같지 않습니다.
- 확인할 수 없는 학술지. Think. Check. Submit.와 Directory of Open Access Journals를 쓰고, 오픈 액세스 PDF를 심사된 것으로 다루기 전에 확인하세요. 약탈적 학술지를 보세요.
- 철회된 발견. 제목에 “retraction”을 더해 검색하거나 DOI를 조회하세요. 신뢰성 페이지는 철회된 Lancet 논문을 안내합니다. 규칙은 어느 분야에서나 같습니다.
- 이미 수정된 초판 통계. BLS 2026년 7월 급여 고용 변화는 −23,000에서 +21,000으로 움직였습니다. 발표 월을 인용하고 최신 수정을 확인하세요.
- 상관을 인과로 판다. 보도자료와 설계를 과대 주장하는 논문에서 흔합니다.
- 미공개 자금이 스폰서가 파는 제품, 약, 또는 정책에 붙어 있다.
- 초록만 읽었다. 초록은 한계를 생략합니다. 방법이 보이지 않으면 Accuracy를 끝낼 수 없습니다.
체크리스트만으로는 막지 못하는 실수
- .edu나 .gov를 자동 신용으로 다룬다. 학생 성과와 낡은 기관 페이지가 그 호스트에 있습니다.
- 레이아웃으로 판단한다. Wineburg와 McGrew의 역사학자들은 로고와 공식처럼 보이는 도메인에 걸렸습니다.
- 확증 편향. 공식 Relevance 질문은 이미 다양한 출처를 보았는지 묻습니다. 인용이 모두 당신과 동의한다면 너무 일찍 멈춘 것입니다.
- 한 논문의 품질 점수로 임팩트 팩터를 쓴다. 임팩트 팩터는 학술지 인용률이지 이 논문이 아닙니다. 인용 지표 읽는 법: Impact Factor, h-지수, CiteScore를 보세요.
- 관점이 제로인 출처를 찾는다. 목적을 계산에 넣으세요. 어디에도 없는 시점을 기다리지 마세요.
- 체크리스트에서 멈춘다. 학술적으로 보이도록 설계된 사이트는 수직 CRAAP 통과를 통과합니다. 페이지를 떠나세요.
CRAAP 질문에 답하는 도구
- [Google Scholar](https://scholar.google.com/) — 저자의 다른 연구와 이 항목을 누가 인용했는지 (Accuracy, Authority).
- Ulrichsweb (캠퍼스 도서관 경유) — 제목이 동료 심사인지 (Accuracy).
- [Retraction Watch](https://retractionwatch.com/) — 항목이 철회되었는지 (Accuracy).
- [Think. Check. Submit.](https://thinkchecksubmit.org/) — 동료 심사로 다루기 전에 그 학술지가 신뢰할 장소인지.
- [DOAJ](https://doaj.org/) — 정당한 오픈 액세스 학술지 목록이지, 웹의 모든 PDF 목록이 아니다.
- [DOI 검증 및 확인 도구](/tools/doi-validator) — 복사한 식별자가 실제로 해석되는지.
사이트를 “신뢰할 수 있음”으로 칠하는 브라우저 확장 기능은 질문의 대체물이 아닙니다. 인용 횟수도 아닙니다. 그 도구들은 한 글자를 지탱할 수 있습니다. 평가를 끝낼 수는 없습니다.
자주 묻는 질문
- CRAAP 테스트는 여전히 가르치나, SIFT가 대체했나?
- 둘 다 다른 일을 위해 여전히 가르칩니다. CRAAP는 이미 쓰려는 출처에 돌리는 질문 목록입니다. SIFT (Caulfield, 2019)는 낯선 URL의 첫 1분에 하는 동작 묶음입니다. 누가 말하는지 알려면 SIFT를 쓰고, 날짜 있고 주제에 맞고 확인 가능한 눈앞의 항목이 이 논문에 들어가는지를 결정하려면 CRAAP를 쓰세요. 이 페이지는 CRAAP를 담당합니다. 학술 연구를 위한 출처 팩트체크 방법이 SIFT의 주장 검증 절반을 담당합니다.
- 출처마다 공식 CRAAP 질문 모두에 답해야 하나?
- 아닙니다. Meriam Library 유인물은 상황에 따라 기준의 중요도가 다르다고 말합니다. 1962년 대학출판부 책에는 “링크가 작동하는가?”가 필요 없습니다. 월간 BLS 발표에는 필요합니다. 급해서가 아니라, 적용되지 않는 이유를 말할 수 있을 때만 질문을 건너뛰세요.
- 학술지가 동료 심사인지는 어떻게 아나?
- PDF 바닥글만 믿지 마세요. 도서관이 구독하면 Ulrichsweb, 학술지 자체 편집 정책, Think. Check. Submit.를 확인하세요. 그런 다음 논문이 나중에 철회되지 않았는지 확인하세요. 동료 심사는 어떻게 작동하는가 (학술지를 확인하는 법)는 심사가 보장하는 것과 보장하지 않는 것을 설명합니다.
- 오래된 출처는 자동으로 약한가?
- 아닙니다. 공식 Currency 질문은 주제에 최신 정보가 필요한지입니다. Kuhn (1962)는 과학사와 과학철학에서 여전히 지정됩니다. 2024년 소셜미디어 조사는 2025년 발표가 있고 현재를 서술한다면 이미 잘못된 웨이브입니다. 나이는 주장에 대한 단서이지 대상의 점수가 아닙니다.
- 다른 출처를 평가할 때 위키백과를 써도 되나?
- 예 — 횡적 읽기 탭으로요. 위키백과는 다른 사람들이 조직을 무엇이라 부르는지 보는 가장 빠른 방법인 경우가 많습니다. 그 주장의 학술 출처로 인용하기에는 약합니다. 각주를 따르세요. 더 긴 절차는 학술 연구에 위키백과를 쓰는 방법입니다.
- 저자에 대해 아무것도 찾을 수 없으면?
- 대신 책임 있는 조직을 이름 붙일 수 있을 때까지 Authority 실패로 다루세요. 연방 통계 발표는 기관으로 인용할 수 있습니다. About 페이지도 방법도 없는 무기명 블로그 글은 인용할 수 없습니다. 자격을 지어내지 말고 더 투명한 출처를 찾으세요.
- 편향된 출처는 쓸 수 없는가?
- 자동으로 그렇지는 않습니다. Purpose는 편향을 보라고 하지, 편향이 없는 출처를 기다리라고 하지 않습니다. 옹호 단체의 팩트시트는 그 단체 입장의 1차 자료가 될 수 있습니다. 바탕이 되는 정부 시계열이나 학술지 논문의 대체물로는 빈약합니다. 본문에서 한계를 이름 붙이세요. 더 많은 내용은 출처의 편향을 식별하는 방법.
- 하나를 고르기 전에 몇 개의 출처를 평가해야 하나?
- 공식 할당량은 없고, “25개를 평가해 12개를 남긴다”는 규칙이 아닙니다. 공식 Relevance 질문은 이것이 그 하나라고 결정하기 전에 다양한 출처를 보았는지입니다. 짧은 논문이라면 후보는 한 줌일 수 있고, 학위논문이라면 훨씬 많습니다. 남긴 것이 열고 기각한 것을 이기는 이유를 설명할 수 있을 때 멈추세요.
- 학술지 임팩트 팩터가 높으면 논문이 정확한가?
- 아닙니다. 임팩트 팩터는 학술지 수준 인용률입니다. Ioannidis (2005)는 유명한 장소 안에서도 연구 검정력, 편향, 같은 질문을 몇 팀이 쫓는지가 여전히 중요하다는 상기입니다. 논문을 평가하세요. 방법, 표본, 자금, 정정이나 철회가 있는지입니다.
- 지난달에 복사한 BLS 숫자가 이미 바뀌었다. 이제 어떻게 하나?
- 그것이 Currency와 Accuracy가 하는 일입니다. 2026년 8월 Employment Situation (USDL-26-1435)이 이 개고 시점의 현행 월간 발표입니다. 2026년 7월 초판 급여 고용 변화 −23,000은 나중에 +21,000으로 수정되었습니다. 발표 월을 인용하고, 숫자가 움직였다면 수정을 적고, 첫 헤드라인을 얼어붙은 사실로 다루지 마세요. 2026년 9월 발표는 2026년 10월 2일로 예정되어 있습니다.
평가를 끝냈는가? 실제로 사용한 출처를 인용하라
출처가 CRAAP와 횡적 검색을 견디면, 읽은 판을 인용하세요 — Pew 웨이브, BLS 발표 월, 책의 판, 해석되는 DOI. 신뢰성 페이지가 결정이고, 이 페이지가 방법입니다.