Номинальные дихотомические данные «да/нет»: межэкспертная надежность альфа-критерия Криппендорфа

Описание: В этом видео показано, как я провожу статистический тест альфа Криппендорфа для проверки надёжности переменной с номинальными/дихотомическими данными. (ПК с Windows и SPSS.)

Шаг 1. Найдите и скачайте макрос Kalpha. Я использую ключевые слова «загрузить», «макрос», «kalpha», «spss», чтобы найти его в интернете.

Иногда вы найдёте файл с именем «kalpha.sps». А иногда — сжатый zip-файл с именем «kalpha.zip». В любом случае, скачайте его на свой компьютер.

Шаг 2. Если это несжатый файл «kalpha.sps», оставьте его как есть. Если это zip-файл, представляющий собой сжатую папку, необходимо распаковать его. Щёлкните по нему правой кнопкой мыши и распакуйте. Запомните, куда вы сохранили макрос, так как он понадобится вам позже.

Шаг 3. Запустите SPSS и откройте пустую страницу.

Шаг 4. Файл, Открыть, Синтаксис

Шаг 5. Найдите на компьютере, выберите и откройте файл "kalpha.sps". Макрос.
Как видите, это всего лишь скрипт. Ничего не меняйте. Просто оставьте его.

Шаг 6. Выполните этот макрос, выбрав "Выполнить", "Все".
Открывшееся окно отображается нормально. Это просто подтверждение того, что всё в порядке. При желании вы можете закрыть его и скрипт.

Шаг 7. Откройте данные. Убедитесь, что данные верны. Числовой тип и номинальный уровень измерения.

Шаг 8. Пришло время запустить статистический тест. Обычно тест выбирается из меню. Но, поскольку этот тест не входит в SPSS, нам нужно выполнить его самостоятельно.
Файл, Создать, Синтаксис и Тип:
kalpha judges = obs1 obs2 obs3 obs4 obs5/level = 1/detail = 0/boot = 10000
Я объясню, что это значит позже.
Затем: Выполнить, Все

Вот как я бы написал свой отчёт:

Метод
Для оценки межкодирующей надёжности использовался альфа-тест Криппендорфа (Hayes & Krippendorff, 2007), и эти значения альфа (α) представлены в результатах ниже.

Результаты
Результаты показывают, что межкодирующая надёжность была относительно высокой (α = 0,7831), т.е. пять кодировщиков дали согласие.

Обсуждение
(Здесь вы интерпретируете и обсуждаете возможные причины, по которым, по вашему мнению, кодировщики дали (или не дали) согласие. Это выходит за рамки данного примера, где я концентрируюсь только на статистическом тесте.)

Литература
Hayes, A. F., & Krippendorff, K. (2007). Ответ на потребность в стандартной мере надёжности для кодирования данных. Communication Methods and Measures 1(1), 77-89.