内容效度指数(CVI)计算器
粘贴专家小组的相关性评分(每个条目 1 至 4 分),即可获得每个条目的 I-CVI 以及经机会一致性校正的修正 Kappa、量表层面的 S-CVI/Ave 和 S-CVI/UA,并判断每个条目是否达到与您小组规模相对应的 Lynn(1986)最低标准;选择任一条目还可查看计算过程。免费,无需注册,评分数据永远不会离开您的浏览器。
可从电子表格粘贴,或用逗号或空格分隔输入评分:1 = 不相关,2 = 有些相关,3 = 相当相关,4 = 高度相关。空白单元格将被跳过。
结果
粘贴小组的评分,或加载示例,即可查看每个条目的 I-CVI 以及量表层面的各项 CVI。
如何使用 CVI 计算器
- 1. 收集评分。 请每位专家按 Davis(1992)标示的 4 分量表,对每个条目与所测构念的相关性进行评分:1 = 不相关,2 = 有些相关,3 = 相当相关,4 = 高度相关。
- 2. 粘贴评分。 默认格式为每行一位专家、每列一个条目。如果您的表格每行是一个条目,请在“表格中每一行代表”下选择一个条目。第一行和第一列中的名称会被自动识别。
- 3. 阅读条目表。 每个条目列出有多少位专家评为 3 或 4 分、其 I-CVI、机会一致性 Pc、修正 Kappa k* 及其评价,以及是否达到 Lynn 的最低标准。选择任一条目即可查看其计算过程。
- 4. 报告量表结果。 先报告 S-CVI/Ave,并同时给出 S-CVI/UA,再报告 I-CVI 的范围;如需附录,可将条目结果下载为 CSV。
内容效度指数如何计算
评分会先被二分化:3 和 4 计为相关,1 和 2 计为不相关。其余一切都由计数得出。
- I-CVI = A ÷ N,其中 A 为将该条目评为 3 或 4 分的专家人数,N 为对其作出评分的专家人数(Lynn, 1986)。5 位专家中有 4 位,则为 0.80。
- S-CVI/Ave = 各条目 I-CVI 的平均值(Polit & Beck, 2006)。若没有空白评分,它等于每位专家认为相关的条目所占比例的平均值,本工具会按专家逐一列出。
- S-CVI/UA = 所有专家都将其评为 3 或 4 分的条目所占的比例——即全体一致度。
- Pc = N! ÷ (A! × (N − A)!) × 0.5ᴺ:若每位专家都通过抛掷一枚公平硬币来决定,则恰好 A 位专家认为该条目相关的概率。
- k* = (I-CVI − Pc) ÷ (1 − Pc),即 Polit、Beck 和 Owen(2007)的修正 Kappa,它扣除了小型专家小组可能因偶然而达到的一致性。
工作示例:六位专家评八个条目
点击 加载示例。六位专家评价了八个草拟条目。其中四个条目被全部六位专家评为 3 或 4 分,两个被五位评为 3 或 4 分,一个被四位评为 3 或 4 分,另一个被三位评为 3 或 4 分:
| 条目 | 评为 3 或 4 | I-CVI | Pc | k* | 评价 | Lynn(6 位专家) |
|---|---|---|---|---|---|---|
| 1、2、3、5 | 6/6 | 1.00 | 0.016 | 1.00 | 优秀 | 达到 |
| 6、7 | 5/6 | 0.83 | 0.094 | 0.82 | 优秀 | 达到 |
| 4 | 4/6 | 0.67 | 0.234 | 0.56 | 一般 | 未达到 |
| 8 | 3/6 | 0.50 | 0.313 | 0.27 | 较差 | 未达到 |
计算过程默认显示条目 4,也就是第一个未达到全体一致的条目:Pc = 6! ÷ (4! × 2!) × 0.5⁶ = 15 × 0.015625 = 0.234,k* = (0.667 − 0.234) ÷ (1 − 0.234) = 0.56。在量表层面,S-CVI/Ave = (4 × 1.00 + 2 × 0.83 + 0.67 + 0.50) ÷ 8 = 0.85,S-CVI/UA = 4 ÷ 8 = 0.50——两者均低于通常的目标值。
条目 4 和条目 8 是需要修改或删除的条目。去掉它们之后,其余六个条目的 S-CVI/Ave 达到 0.94,S-CVI/UA 为 0.67,这正是 Polit 和 Beck(2006)所警告的情形:一旦去掉较弱的条目,平均指数便超过 0.90,但六位专家的小组很难达到全体一致,因为一个反对的评分就会使某个条目被排除在全体一致之外。
什么是良好的内容效度
| 指数 | 常用基准 | 来源 |
|---|---|---|
| I-CVI,3–5 位专家 | 1.00——每位专家都将该条目评为 3 或 4 分 | Lynn(1986) |
| I-CVI,6–10 位专家 | 5/6、6/7、7/8、7/9、8/10——且绝不低于 0.78 | Lynn(1986);Polit & Beck(2006) |
| k* | 优秀(高于 0.74)、良好(0.60–0.74)、一般(0.40–0.59) | Polit, Beck & Owen(2007) |
| S-CVI/Ave | 0.90 或更高 | Polit & Beck(2006),引自 Waltz, Strickland & Lenz(2005) |
| S-CVI/UA | 0.80 或更高,是较为严格的标准 | Davis(1992),经 Polit & Beck(2006)解读 |
两条条目层面的规则可能相互矛盾。若有五位专家,Lynn 要求五位全部一致,但四位一致时 k* = 0.76,Polit、Beck 和 Owen 将其评为优秀;他们还得出结论:专家人数为三位或以上时,I-CVI 达到 0.78 或更高即为良好内容效度的证据。本计算器同时报告两者,因此请说明您采用了哪一条规则。专家超过十位时,Lynn 的表格已不再适用,本工具改用 0.78 的下限。
CVI 只衡量专家在相关性上的一致程度,别无其他。它不能说明条目是否清晰、整套条目是否覆盖了整个构念,也不能说明量表在真实受访者中的表现——请同时询问专家对清晰度和覆盖面的意见,并以预试数据和信度分析来跟进内容效度的检验。
常见问题
- 什么是良好的内容效度指数?
- 对于条目,Lynn(1986)要求 3 至 5 位专家时 I-CVI 必须为 1.00;专家更多时的最低标准为 5/6 至 8/10,且绝不低于 0.78。对于整个量表,Polit 和 Beck(2006)建议 S-CVI/Ave 达到 0.90 或更高;0.80 则是 S-CVI/UA 常用且较严格的目标。
- 计算内容效度指数需要多少位专家?
- Lynn 建议至少三位,并认为超过十位可能没有必要。许多研究使用五至十位专家。专家越多,单个异常评分对每个条目 I-CVI 的影响就越小,但全体一致也就越难达到,因此 S-CVI/UA 也越难达到。
- S-CVI/Ave 与 S-CVI/UA 有何区别?
- S-CVI/Ave 取各条目 I-CVI 的平均值,因此一个被六位专家中五位评为相关的条目仍会贡献 0.83。S-CVI/UA 只计算所有专家都评为 3 或 4 分的条目,因此它随专家人数增加而下降。Polit 和 Beck(2006)更推崇 S-CVI/Ave,并建议说明所用的方法。
- 为什么除了 I-CVI 还要计算修正 Kappa?
- 专家人数较少时,高度一致可能只是偶然:即使只是随机猜测,两位专家也有四分之一的时间都会评为相关。修正 Kappa 会扣除观察到的一致性中的二项概率,从而显示在该规模的小组中,某个 I-CVI 是否真的令人印象深刻。
- CVI 与 CVR 有何区别?
- 内容效度比(Lawshe, 1975)询问专家每个条目是“必要”“有用但非必要”还是“不必要”,并计算 CVR = (nₑ − N/2) ÷ (N/2),其中 nₑ 为选择“必要”的人数。CVI 则改用 4 分量表询问相关性。两者回答的是相关问题,但不可互换;本计算器计算的是 CVI。
- 我可以使用 3 分或 5 分的相关性量表吗?
- Lynn 建议采用四个选项,正是为了避免模棱两可的中间选项,而且 I-CVI 只区分相关与不相关。如果您的小组使用了其他量表,请先确定哪些评分表示相关,将其重新编码为 4,其余编码为 1,然后粘贴重新编码后的表格。