Kalkulator konsensusu Delphi
Wklej oceny z każdej rundy Delphi — wiersz na panelistę, kolumna na punkt — a otrzymasz medianę, rozstęp międzykwartylowy, średnią oraz procent zgody i braku zgody dla każdego punktu. Następnie sprawdź je według wybranych przez siebie reguł konsensusu: progu procentu zgody, limitu IQR, dolnego progu mediany i stabilności między rundami. Działa w przeglądarce, a nic nie jest przesyłane. Za darmo, bez rejestracji.
Zmiana skali ustawia je z powrotem na typowe wartości początkowe. Ustaw je tak, jak wymaga Twój protokół.
Reguły konsensusu
W badaniach Delphi nie ma jednej definicji konsensusu. Włącz reguły, które Twój protokół ustalił z góry; punkt osiąga konsensus, gdy spełnione są wszystkie włączone reguły.
Kwartyle — a więc i IQR — zależą od metody, zwłaszcza w małych panelach. Podaj, której użyto.
Rundy
Wklej jedną tabelę na rundę: wiersz na panelistę i kolumnę na punkt, w tej samej kolejności punktów w każdej rundzie. Puste komórki to brakujące oceny.
Wyniki
Wklej co najmniej jedną rundę ocen, aby zobaczyć statystyki.
Jak korzystać z kalkulatora konsensusu Delphi
- 1. Ustaw skalę i przedziały. Wybierz skalę ocen, a następnie wskaż, które oceny oznaczają zgodę (na przykład 4 i 5 na skali pięciopunktowej), a które brak zgody.
- 2. Włącz swoje reguły. Zaznacz reguły konsensusu, które Twój protokół ustalił przed rundą 1, i ustaw ich progi. Punkt ma konsensus, gdy spełnione są wszystkie zaznaczone reguły.
- 3. Wklej rundy. Jedna tabela na rundę, z panelistami w wierszach i punktami w kolumnach, w tej samej kolejności punktów za każdym razem. Puste komórki liczą się jako brakujące, a oceny spoza skali są pomijane i zgłaszane.
- 4. Odczytaj wyniki. Każda runda pokazuje n, medianę, IQR, średnią, % zgody i braku zgody oraz wynik z wymienionymi niespełnionymi regułami. Druga tabela śledzi każdy punkt przez kolejne rundy, a wszystko można skopiować lub pobrać.
Nie ma jednej definicji konsensusu
Metoda Delphi prosi panel o ocenę punktów w kilku rundach, przekazując wyniki grupy między rundami, aby paneliści mogli zrewidować swoje oceny. Nie podaje natomiast standardu, kiedy grupa się zgadza. Przegląd systematyczny 100 badań Delphi (Diamond et al., 2014) wykazał, że około 98 twierdziło, iż ocenia konsensus, tylko 72 go zdefiniowały, a jedynie 42 spośród badań, które stwierdziły osiągnięcie konsensusu, ustaliły próg z wyprzedzeniem. Autorzy wnioskowali, że definicje znacznie się różnią i są słabo raportowane. To narzędzie dlatego stosuje Twoją definicję i pokazuje swoje obliczenia, zamiast narzucać jedną.
| Reguła | Typowa konwencja | Skąd pochodzi |
|---|---|---|
| Procent zgody | 70–80% panelistów oceniających w przedziale zgody; 75% to zwykły wybór | Najczęstsza definicja u Diamond et al. (2014), medianowy próg 75% |
| Rozstęp międzykwartylowy | IQR ≤ 1 na skali pięciopunktowej | Szeroko stosowana konwencja; kryteria przeglądane u von der Gracht (2012) |
| Mediana | Mediana na poziomie progu lub powyżej, na przykład 4 na skali pięciopunktowej, aby punkt został zachowany | Reguła włączenia właściwa dla badania |
| Stabilność | Niewielka zmiana udziału zgadzających się między rundami | Właściwa dla badania; ustal własny limit |
Traktuj dwa pierwsze wiersze jako konwencje, a nie standardy: tyle właśnie wybrało wiele badań, a protokół przyjmujący inne wartości może być w pełni rzetelny, jeśli poda je z góry. Diamond et al. stwierdzili też, że tylko 23 badania powiązały zakończenie z osiągnięciem konsensusu, podczas gdy 70 po prostu zakończyło się po ustalonej liczbie rund.
Dlaczego ma znaczenie metoda kwartyli
IQR to Q3 minus Q1, a programy różnie wyznaczają kwartyle. Dla ocen 1, 2, 3, 4, 5 metoda inkluzywna (Excel QUARTILE.INC, domyślna w R) daje IQR równy 2, podczas gdy metoda ekskluzywna (QUARTILE.EXC, SPSS) i metoda mediany połówek dają po 3. Przy panelu z 10–20 osobami na skali pięciopunktowej to różnica między spełnieniem reguły IQR ≤ 1 a jej niespełnieniem. Wybierz jedną metodę, podaj ją w protokole i zrelacjonuj.
Przykład krok po kroku
Kliknij Wczytaj przykład: 12 panelistów ocenia sześć elementów kursu w skali od 1 do 5 w dwóch rundach. Zgoda to ocena 4 lub 5, a reguły to co najmniej 75% zgody i IQR równy 1 lub mniej. W rundzie 1 trzy punkty osiągają konsensus. Prerejestracja nie: jej mediana to 3, IQR wynosi 1,25, a zgadza się 33%. W rundzie 2 ma medianę 4, IQR 0,25 i dokładnie 75% zgody, więc właśnie spełnia próg. Czytanie prac oryginalnych przechodzi z 67% do 92%. Metody jakościowe odpadają: zgadza się tylko 8%, a 33% się nie zgadza, więc kierunek wskazuje na brak zgody, lecz nie dochodzi do wymaganych 75%. Po rundzie 2 pięć z sześciu punktów ma konsensus.
Raportowanie konsensusu
- Podaj reguły przed rundą 1. Skalę, przedział zgody, próg oraz wszelkie reguły dotyczące IQR, mediany lub stabilności.
- Raportuj każdą rundę. Zaproszonych i odpowiadających panelistów, ocenione punkty oraz punkty, które osiągnęły konsensus, wraz z medianą i IQR lub procentem zgody dla każdego punktu.
- Podaj metodę kwartyli, jeśli raportujesz IQR.
- Opisz, jak zakończyłeś. Czy zakończyłeś po osiągnięciu konsensusu, po stabilności, czy po zaplanowanej liczbie rund.
Bibliografia
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
- von der Gracht, H. A. (2012). Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technological Forecasting and Social Change, 79(8), 1525–1536. https://doi.org/10.1016/j.techfore.2012.04.013
Czego ten kalkulator nie robi
Podsumowuje oceny i stosuje reguły; nie projektuje badania, nie dobiera panelu i nie prowadzi rund. Zgoda między panelistami nie jest dowodem, że mają rację, a wysoki procent zgody w małym panelu jest kruchy. Podawaj liczebność panelu obok każdego procentu.
Najczęstsze pytania
- Czym jest konsensus w badaniu Delphi?
- Nie ma jednej definicji. Badania zwykle określają go jako minimalny procent zgody (często około 75%), maksymalny rozstęp międzykwartylowy albo oba naraz, a czasem wymagają stabilności między rundami. Cokolwiek wybierzesz, ustal definicję przed pierwszą rundą i ją podaj.
- Jaki procent zgody oznacza konsensus w Delphi?
- Progi między 70% a 80% są częste, a w przeglądzie systematycznym Diamond et al. (2014) medianowy próg wśród badań używających procentu zgody wynosił 75%. To konwencja, a nie reguła. Wybierz wartość odpowiednią do swojej skali i wielkości panelu oraz ją uzasadnij.
- Co oznacza IQR równy 1 lub mniej dla konsensusu?
- Na skali pięciopunktowej środkowa połowa ocen obejmuje co najwyżej jeden punkt skali, więc większość panelistów jest blisko siebie. To szeroko stosowana konwencja. Na dłuższej skali ten sam limit jest surowszy, więc ustaw próg odpowiednio do skali; to Ty go definiujesz.
- Ile rund potrzebuje badanie Delphi?
- Typowe są dwie lub trzy rundy, ale liczba powinna wynikać z protokołu. Zakończ, gdy spełnione są podane kryteria, gdy oceny przestają się zmieniać albo po zaplanowanej z góry liczbie rund — i powiedz, które. Diamond et al. stwierdzili, że większość badań kończyła się po ustalonej liczbie rund, a nie po osiągnięciu konsensusu.
- Jak zacytować Diamond et al. (2014) w APA?
- Diamond, I. R., Grant, R. C., Feldman, B. M., Pencharz, P. B., Ling, S. C., Moore, A. M., & Wales, P. W. (2014). Defining consensus: A systematic review recommends methodologic criteria for reporting of Delphi studies. Journal of Clinical Epidemiology, 67(4), 401–409. https://doi.org/10.1016/j.jclinepi.2013.12.002
- Co zrobić z panelistami, którzy pomijają punkt?
- Zostaw komórkę pustą. Statystyki punktu korzystają z ocen, które otrzymał, a obok nich pokazane jest n, aby czytelnik widział, ilu panelistów stoi za danym procentem. Brak odpowiedzi raportuj w części o metodach, dla każdej rundy.
- Czy to narzędzie przechowuje oceny mojego panelu?
- Nie. Obliczenia odbywają się w przeglądarce i nic nie jest przesyłane. Jeśli oceny pozwalają zidentyfikować osoby, używaj kodów panelistów zamiast imion w pierwszej kolumnie.