출처의 편향을 식별하는 방법

• 생산자를 밝히라. “Heritage Foundation에 따르면, 이 단체는 보수적 공공정책을 촉진한다고 밝히며…”
• 사실과 틀을 분리하라. 표, 방법 주석, 또는 점수화된 선택지에서 열 수 있는 숫자를 쓰세요. 함께 온 형용사는 가져오지 마세요.
• 일을 짝지우라. 사명 중심 브리프는 그 조직의 논증에 대한 증거입니다. Congressional Budget Office 비용 추정은 점수화된 예산 또는 고용 효과의 증거입니다. Cochrane review는 종합의 증거입니다. 하나가 나머지를 대신하게 하지 마세요.

Cochrane Handbook, Chapter 7 (version 6.5, 2024; chapter last updated August 2022)

We define bias as a systematic error, or deviation from the truth, in results.

ACRL Framework for Information Literacy for Higher Education (2016)

Experts understand the need to determine the validity of the information created by different authorities and to acknowledge biases that privilege some sources of authority over others, especially in terms of others’ worldviews, gender, sexual orientation, and cultural orientations.

Chapter 7, §7.1.1

Bias should not be confused with imprecision. Bias refers to systematic error, meaning that multiple replications of the same study would reach the wrong answer on average.

Chapter 7, §7.1.1

it is more appropriate to consider whether a result is at risk of bias rather than claiming with certainty that it is biased.

공식 설명

Purpose: The reason the information exists.

• What is the purpose of the information? Is it to inform, teach, sell, entertain or persuade?
• Do the authors/sponsors make their intentions or purpose clear?
• Is the information fact, opinion or propaganda?
• Does the point of view appear objective and impartial?
• Are there political, ideological, cultural, religious, institutional or personal biases?

Note that reputation and process might be apart from issues of bias: the New York Times is thought by many to have a center-left bias, the Wall Street Journal a center-right bias, and USA Today a centrist bias. Yet fact-checkers of all political stripes are happy to be able to track a fact down to one of these publications since they have reputations for a high degree of accuracy, and issue corrections when they get facts wrong.

CBO About / Introduction to CBO

CBO conducts objective, impartial analysis and hires employees without regard to political affiliation. The agency does not make policy recommendations.

An Introduction to the Congressional Budget Office

CBO makes no policy recommendations because choices about public policy inevitably involve value judgments that the agency does not and should not make.

• Heritage 브리프(옹호 연구). James Sherk, “Raising Minimum Starting Wages to $15 per Hour Would Eliminate Seven Million Jobs”(2016년 7월 26일). 브리프는 2021년까지의 연방 15달러 하한이 “약 700만 전일제 환산(FTE) 일자리”를 없앨 것이라고 주장합니다. Heritage의 논증으로 인용하세요. 초당적이라고 부르지 말고, 2016년의 2021년 지평을 CBO의 2025년 선택지로 취급하지 마세요.
• CBPP 입문서(연구 플러스 옹호). Center on Budget and Policy Priorities, “The Minimum Wage”(Policy Basics, 2026년 4월 16일). 페이지는 연방 최저임금이 7.25달러로 남아 있고, 2026년 3월 기준 30개 주와 컬럼비아 특별구가 더 높은 하한을 가지며(19곳이 15.00달러 이상), BLS가 2024년에 연방 최저 이하로 지급받은 노동자를 843,000명으로 집계했다고 밝힙니다. 열 수 있는 BLS 숫자를 인용하고, 옹호도 하는 생산자로 CBPP를 밝히세요.
• CBO 보고서(점수화된 선택지, 권고 없음). Congressional Budget Office, The Effects on Employment and Family Income of Increasing the Federal Minimum Wage(간행물 55410, 2019년 7월 8일). CBO는 2025년까지의 시급 10달러, 12달러 또는 15달러를 검토하고 두 가지 주요 효과를 밝힙니다. 대부분의 저임금 노동자는 소득이 오르고, 일부는 일자리를 잃습니다. 연 보고서의 가정은 그래도 확인하세요.

Heritage (Sherk 2016)

Sherk, J. (2016, July 26). Raising minimum starting wages to $15 per hour would eliminate seven million jobs. The Heritage Foundation. https://www.heritage.org/jobs-and-labor/report/raising-minimum-starting-wages-15-hour-would-eliminate-seven-million-jobs

CBPP (Policy Basics, 2026년 4월 16일)

Center on Budget and Policy Priorities. (2026, April 16). The minimum wage. https://www.cbpp.org/research/policy-basics-the-minimum-wage

CBO (간행물 55410, 2019년 7월 8일)

Congressional Budget Office. (2019, July 8). The effects on employment and family income of increasing the federal minimum wage. https://www.cbo.gov/publication/55410

Heritage Foundation에 따르면, 이 단체는 보수적 공공정책을 촉진한다고 밝히며, 2021년까지의 연방 15달러 시작 임금은 약 700만 FTE 일자리를 없앨 것이다(Sherk, 2016). 정책 권고를 하지 않는다고 밝히는 Congressional Budget Office는 2025년까지의 10달러, 12달러, 15달러 선택지를 검토하고, 더 높은 연방 하한이 대부분의 저임금 노동자의 소득을 올리고 일부를 실업하게 한다고 보고했다(Congressional Budget Office, 2019). 자신의 일을 옹호로도 설명하는 연구소의 CBPP 2026년 4월 입문서는 현행 연방 하한 7.25달러와 그 하한 이하로 지급받은 노동자의 BLS 2024년 집계를 보고한다.

참고문헌 목록

Lundh, A., Lexchin, J., Mintzes, B., Schroll, J. B., & Bero, L. (2017). Industry sponsorship and research outcome. Cochrane Database of Systematic Reviews, 2017(2), Article MR000033. https://doi.org/10.1002/14651858.MR000033.pub3

본문에서는

75편 논문의 Cochrane 방법론 리뷰는 산업 후원 의약품·기기 연구가 다른 후원자의 연구보다 유리한 효능 결과를 더 자주 보고한다고 밝혔다(Lundh et al., 2017). 그것은 후원 에 관한 발견이지, 모든 산업 시험을 버릴 면허도, 모든 비산업 시험을 깨끗하다고 볼 면허도 아닙니다.

The potential for conflict of interest and bias exists when professional judgment concerning a primary interest (such as patients' welfare or the validity of research) may be influenced by a secondary interest (such as financial gain).

Perceptions of conflict of interest are as important as actual conflicts of interest.

Cochrane Handbook, Chapter 7, Table of reporting biases

The publication or non-publication of research findings, depending on the nature and direction of the results.

Cochrane Handbook, Chapter 13 (version 6.5, 2024)

ROB-ME is the first structured approach for assessing the risk of bias that arises when entire studies, or particular results within studies, are missing from a meta-analysis because of the P value, magnitude or direction of the study results (Page et al 2023).

John P. A. Ioannidis, PLoS Medicine (2005년 8월 30일)

Moreover, for many current scientific fields, claimed research findings may often be simply accurate measures of the prevailing bias.

Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), Article e124. https://doi.org/10.1371/journal.pmed.0020124

• 관점으로 받아들여라. “Heritage는 …라고 주장한다”, “CBPP는 …라고 본다”, “실제로 연 서한에서 …”. 괄호만이 아니라 문장에서 생산자를 밝히세요.
• 확인할 수 있는 사실로 받아들여라. 표, 법령, 방법 주석, 연 DOI. 구호가 아니라 숫자를 인용하세요.
• 다른 일로 균형을 잡아라. 옹호 브리프를 기관 점수, 체계적 고찰, 다른 학파의 논문과 짝지우세요. 이미 동의하는 블로그 두 개를 짝짓는 것은 균형이 아닙니다. Sherk (2016)와 CBO (2019)를 짝짓는 것이 더 가깝고, 그래도 다른 일정을 점수화했다고 말해야 합니다.
• 세탁하지 말라. 유일한 출처가 후원받은 브리프일 때 “연구는 보여준다”고 쓰지 마세요. 싱크탱크 주장을 당신 목소리로 옮기고 읽지 않은 학술지를 인용하지 마세요.
• 상대편을 지어내지 말라. 실제 대응물을 열 수 없으면 그렇게 말하거나 주장을 좁히세요.

• 확증. 이미 논지에 맞는 구절만 질의하는 것.
• 앵커링. 첫 기사를 이후 모든 기사의 틀로 취급하는 것.
• 가용성. 기억나는 연구, 또는 도서관이 즉시 불러온 연구를 과대 가중하는 것.
• 권위 / 내집단. 유명한 연구실, 익숙한 신문, “우리 같은 사람들”을 측면 검색 없이 믿는 것.

• 사실이 조작되었거나, 연 숫자가 본문의 숫자와 맞지 않는다.
• 반대 증거가 억압되고 방법을 확인할 수 없다.
• 문제가 될 이해충돌이 공시되지 않았다.
• 설계가 원하는 결과를 보장하도록 만들어졌다(비맹검 결과, 비교할 수 없는 용량, 본 뒤에 바꾼 결과변수).
• 반대 의견이 허수아비로만 나타나거나, 페이지가 판매, 모집, 선동을 위해 있다.
• 누가 책임지는지 알 수 없다.