Công Cụ Tính Chỉ Số Hiệu Lực Nội Dung (CVI)

Kết quả

Dán đánh giá của hội đồng hoặc tải ví dụ để xem I-CVI của mọi mục và các CVI ở cấp thang đo.

Cách Sử Dụng Công Cụ Tính CVI

1. 1. Thu thập đánh giá. Yêu cầu mỗi chuyên gia đánh giá mức độ liên quan của từng mục với khái niệm, trên thang 4 bậc mà Davis (1992) đặt tên: 1 = không liên quan, 2 = hơi liên quan, 3 = khá liên quan, 4 = rất liên quan.
2. 2. Dán vào. Bố cục mặc định là mỗi hàng một chuyên gia và mỗi cột một mục. Nếu bảng tính của bạn có mỗi hàng một mục, hãy chọn Một mục dưới Mỗi hàng của bảng là. Tên ở hàng đầu và cột đầu được tự động nhận diện.
3. 3. Đọc bảng mục. Mỗi mục cho biết có bao nhiêu chuyên gia chấm 3 hoặc 4, I-CVI của nó, xác suất đồng thuận ngẫu nhiên Pc, kappa đã hiệu chỉnh k* cùng đánh giá, và mục có đạt mức tối thiểu của Lynn hay không. Chọn bất kỳ mục nào để xem cách tính của nó.
4. 4. Báo cáo thang đo. Nêu S-CVI/Ave trước, kèm S-CVI/UA bên cạnh, báo cáo khoảng giá trị của các I-CVI, và tải bảng mục dưới dạng CSV để đưa vào phụ lục.

Chỉ Số Hiệu Lực Nội Dung Được Tính Như Thế Nào

Các đánh giá được nhị phân hóa: 3 và 4 được tính là liên quan, 1 và 2 là không liên quan. Mọi thứ còn lại đều xuất phát từ việc đếm.

• I-CVI = A ÷ N, trong đó A là số chuyên gia chấm mục 3 hoặc 4 và N là số người đã chấm mục đó (Lynn, 1986). Bốn trên năm chuyên gia cho 0,80.
• S-CVI/Ave = trung bình các I-CVI (Polit & Beck, 2006). Khi không có ô trống, nó bằng tỷ lệ trung bình các mục mà mỗi chuyên gia gọi là liên quan, và công cụ liệt kê tỷ lệ đó theo từng chuyên gia.
• S-CVI/UA = tỷ lệ các mục mà mọi chuyên gia đều chấm 3 hoặc 4 — đồng thuận toàn phần.
• Pc = N! ÷ (A! × (N − A)!) × 0,5ᴺ: xác suất để đúng A trên N chuyên gia gọi mục là liên quan nếu mỗi người quyết định bằng cách tung một đồng xu công bằng.
• k* = (I-CVI − Pc) ÷ (1 − Pc), kappa đã hiệu chỉnh của Polit, Beck và Owen (2007), loại bỏ phần đồng thuận mà một hội đồng nhỏ có thể đạt được do may rủi.

Ví Dụ Minh Họa: Sáu Chuyên Gia Đánh Giá Tám Mục

Nhấn Tải ví dụ. Sáu chuyên gia đã đánh giá tám mục nháp. Bốn mục được cả sáu người chấm 3 hoặc 4, hai mục được năm người, một mục được bốn người và một mục được ba người:

Bảng mục làm việc mở ở mục 4, mục đầu tiên không đạt đồng thuận toàn phần: Pc = 6! ÷ (4! × 2!) × 0,5⁶ = 15 × 0,015625 = 0,234, và k* = (0,667 − 0,234) ÷ (1 − 0,234) = 0,56. Ở cấp thang đo, S-CVI/Ave = (4 × 1,00 + 2 × 0,83 + 0,67 + 0,50) ÷ 8 = 0,85 và S-CVI/UA = 4 ÷ 8 = 0,50 — cả hai đều chưa đạt các mục tiêu thông thường.

Mục 4 và mục 8 là những mục nên sửa hoặc bỏ. Nếu không có chúng, sáu mục còn lại đạt S-CVI/Ave = 0,94 và S-CVI/UA = 0,67, mẫu hình mà Polit và Beck (2006) đã cảnh báo: chỉ số trung bình vượt 0,90 khi các mục yếu bị bỏ đi, trong khi đồng thuận toàn phần vẫn khó đạt với sáu chuyên gia, vì chỉ một đánh giá bất đồng cũng loại mục đó khỏi chỉ số này.

Thế Nào Là Hiệu Lực Nội Dung Tốt

Hai quy tắc ở cấp mục có thể mâu thuẫn. Với năm chuyên gia, Lynn yêu cầu cả năm người đồng ý, nhưng bốn trên năm cho k* = 0,76, mà Polit, Beck và Owen xếp vào mức xuất sắc — và họ kết luận rằng I-CVI từ 0,78 trở lên với ba chuyên gia trở lên là bằng chứng về hiệu lực nội dung tốt. Công cụ báo cả hai, nên hãy nói rõ bạn đã áp dụng quy tắc nào. Với hơn mười chuyên gia, bảng của Lynn kết thúc và công cụ áp dụng ngưỡng 0,78.

CVI chỉ đo sự đồng thuận về mức độ liên quan, không hơn. Nó không cho biết các mục có rõ ràng không, bộ mục có bao phủ toàn bộ khái niệm không, hay thang đo hoạt động ra sao với người trả lời thực. Hãy hỏi chuyên gia về độ rõ ràng và độ bao phủ, và tiếp nối việc kiểm định hiệu lực nội dung bằng dữ liệu thử nghiệm và phân tích độ tin cậy.

Câu Hỏi Thường Gặp

Chỉ số hiệu lực nội dung tốt là bao nhiêu?

Với các mục, Lynn (1986) yêu cầu I-CVI 1,00 với ba đến năm chuyên gia và đặt mức tối thiểu từ 5 trên 6 đến 8 trên 10 cho hội đồng lớn hơn, không bao giờ dưới 0,78. Với toàn bộ thang đo, Polit và Beck (2006) khuyến nghị S-CVI/Ave từ 0,90 trở lên, và 0,80 là mục tiêu nghiêm ngặt thường gặp cho S-CVI/UA.

Tôi cần bao nhiêu chuyên gia cho chỉ số hiệu lực nội dung?

Lynn khuyến nghị ít nhất ba và cho rằng trên mười người có lẽ là không cần thiết. Nhiều nghiên cứu dùng năm đến mười. Nhiều chuyên gia hơn làm I-CVI của mỗi mục ít nhạy hơn với một đánh giá bất thường, nhưng cũng khiến đồng thuận toàn phần, và do đó S-CVI/UA, khó đạt hơn.

Khác biệt giữa S-CVI/Ave và S-CVI/UA là gì?

S-CVI/Ave lấy trung bình các I-CVI của mục, nên một mục được năm trên sáu chuyên gia đánh giá là liên quan vẫn đóng góp 0,83. S-CVI/UA chỉ đếm các mục mà mọi chuyên gia chấm 3 hoặc 4, nên nó giảm khi hội đồng lớn lên. Polit và Beck (2006) ưa S-CVI/Ave và khuyến nghị báo cáo bạn đã dùng phương pháp nào.

Vì sao phải tính kappa đã hiệu chỉnh bên cạnh I-CVI?

Với ít chuyên gia, sự đồng thuận cao có thể xảy ra do may rủi: hai chuyên gia cùng nói là liên quan một phần tư thời gian ngay cả khi họ đoán mò. Kappa đã hiệu chỉnh trừ đi xác suất nhị thức của sự đồng thuận quan sát được, nên nó cho thấy một I-CVI có ấn tượng hay không đối với một hội đồng quy mô đó.

Khác biệt giữa CVI và CVR là gì?

Tỷ lệ hiệu lực nội dung (Lawshe, 1975) hỏi chuyên gia xem mỗi mục là thiết yếu, hữu ích nhưng không thiết yếu, hay không cần thiết, và tính CVR = (nₑ − N/2) ÷ (N/2), trong đó nₑ là số người chọn thiết yếu. CVI thay vào đó hỏi về mức độ liên quan trên thang 4 bậc. Chúng trả lời các câu hỏi gần nhau và không thể thay thế cho nhau; công cụ này tính CVI.

Tôi có thể dùng thang 3 hoặc 5 bậc không?

Lynn khuyến nghị bốn bậc để tránh một lựa chọn trung gian mơ hồ, và I-CVI chỉ phân biệt liên quan với không liên quan. Nếu hội đồng của bạn dùng thang khác, hãy quyết định những đánh giá nào nghĩa là liên quan, mã hóa lại chúng thành 4 và phần còn lại thành 1, rồi dán bảng đã mã hóa lại.