Проверка нормальности распределения
Проверка выборки на нормальность с помощью критериев Шапиро–Уилка, Колмогорова–Смирнова (включая поправку Лиллиефорса) и Андерсона–Дарлинга, гистограммы и Q–Q графика.
Этот материал распространяется на условиях лицензии Creative Commons Attribution/Share-Alike License 3.0 (Unported). Это означает, что вы можете размещать этот контент на своем сайте или создавать на его основе собственный (в том числе и в коммерческих целях), при условии сохранения оригинального лицензионного соглашения. Кроме того, Вы должны отметить автора этой работы, путем размещения HTML ссылки на оригинал работы https://planetcalc.ru/11020/. Пожалуйста оставьте без изменения все ссылки на других авторов данной работы или работы, на основе которой создана данная работа (если таковые имеются в спроводительном тексте).
Этот онлайн калькулятор проверяет, согласуется ли выборка с нормальным распределением. Он рассчитывает критерии Шапиро–Уилка, Колмогорова–Смирнова (включая поправку Лиллиефорса) и Андерсона–Дарлинга, а также строит гистограмму с нормальной кривой и нормальный Q–Q график.
Формулы и немного теории вы можете найти под калькулятором.
Что именно проверяется
Нормальным распределением (нормальным законом, распределением Гаусса) называется непрерывное распределение с плотностью
где — математическое ожидание,
— среднеквадратическое отклонение,
. Его график — симметричный «колокол» с центром в точке
. Отдельный калькулятор для плотности и функции нормального распределения есть здесь: Нормальное распределение.
Предположим, мы двадцать раз взвесили одну и ту же гирю. Показания весов немного меняются: 999,8 г, 1000,1 г, 1000,0 г и так далее. Мы можем предположить, что случайная погрешность весов распределена нормально. Но по двадцати числам нельзя увидеть сам закон распределения — можно только проверить, насколько сильно эти числа ему противоречат.
Поэтому формулируется нулевая гипотеза : выборка получена из нормального распределения. Альтернативная гипотеза
состоит в обратном. Для классического критерия Колмогорова–Смирнова с заданными параметрами гипотеза уже: проверяется конкретное распределение
, а не любое нормальное.
Результатом критерия служат статистика и p-value. Иными словами, p-value — это вероятность получить при верной такое же или еще более сильное расхождение с нормальным распределением, какое наблюдается в нашей выборке. Это не вероятность того, что гипотеза о нормальности верна.
Но как из одного числа — статистики критерия — получается вероятность? Для этого нужно знать нулевое распределение статистики, то есть распределение значений, которое получалось бы при верной . Мысленно представим, что мы много раз берем из нормального распределения новую выборку того же объема
и каждый раз заново считаем статистику. Затем смотрим, какая доля этих значений не меньше противоречит нормальности, чем значение для нашей выборки. Эта доля и есть p-value.
Направление неравенства зависит от критерия: для Шапиро–Уилка подозрительны малые , а для Колмогорова–Смирнова и Андерсона–Дарлинга — большие
и
. Поэтому нельзя просто взять площадь под обычной нормальной кривой справа от любого значения. У каждой статистики свое нулевое распределение, которое зависит от
, а для Колмогорова–Смирнова еще и от того, оценивались ли параметры по выборке. На практике калькулятор не моделирует тысячи выборок: он использует точные формулы там, где они доступны, и опубликованные аппроксимации нулевых распределений там, где точный расчет слишком сложен. Ниже для каждого критерия указано, как именно получается p-value.
Дальше p-value сравнивается с выбранным уровнем значимости :
- Если
, гипотеза о нормальности отвергается. Расхождение слишком велико, чтобы считать его правдоподобным случайным колебанием при выбранных условиях.
- Если
, гипотеза о нормальности не отвергается. Но она и не доказывается: возможно, отклонение есть, просто данных недостаточно, чтобы его обнаружить.
Что это значит на практике? Если получилось и
, нормальность отвергается. Если же
, это не означает «вероятность нормальности 91 %». Это означает лишь, что при верной нулевой гипотезе подобные и более выраженные расхождения встречаются довольно часто.
Выборочное среднее и два стандартных отклонения
Для выборки калькулятор вычисляет выборочное среднее
и исправленное выборочное стандартное отклонение
где — объем выборки. Делитель
используется в критериях Лиллиефорса и Андерсона–Дарлинга.
Для построения нормальной кривой на гистограмме применяется оценка методом максимального правдоподобия:
То есть и
отличаются делителем:
и
. Поэтому калькулятор показывает оба значения. При большом
разница почти исчезает, а при маленьком ее лучше не прятать под ковер.
Критерий Шапиро–Уилка
Критерий Шапиро–Уилка (Shapiro–Wilk test) предназначен именно для проверки нормальности. Сначала значения выборки упорядочиваются: . Затем вычисляется статистика1
где — упорядоченные значения выборки,
— выборочное среднее,
— коэффициенты, зависящие от объема выборки и получаемые из свойств порядковых статистик нормального распределения.
Числитель сравнивает упорядоченную выборку с закономерностью, ожидаемой для нормальных данных, а знаменатель измеряет ее общий разброс. Значения лежат между нулем и единицей; маленькие
указывают на отклонение от нормальности. Однако решение принимается не по самодеятельному порогу вроде «
— уже нормально», а по p-value.
Поскольку отклонению от нормальности соответствуют малые значения , p-value здесь равно левому хвосту нулевого распределения:
где — значение, вычисленное для нашей выборки. Например,
означает, что при верной
лишь 1 % выборок того же объема даст такое же или еще меньшее
.
Калькулятор применяет этот критерий при . Точное нулевое распределение
очень громоздко, поэтому используется аппроксимация Ройстона: величина
преобразуется с помощью логарифма и коэффициентов, зависящих от
, к нормальной шкале, по которой и вычисляется вероятность левого хвоста.2 При
в строке критерия выводится прочерк, а остальные проверки продолжают работать.
Критерий Колмогорова–Смирнова и поправка Лиллиефорса
Эмпирической функцией распределения называется доля наблюдений, не превосходящих :
где равно единице, если условие выполнено, и нулю в противном случае,
— объем выборки.
Критерий Колмогорова–Смирнова (Kolmogorov–Smirnov test, KS) сравнивает эмпирическую функцию с теоретической функцией нормального распределения
:
Здесь — наибольшее вертикальное расстояние между двумя функциями распределения, а
означает, что берется максимум по всем возможным
. Чем больше
, тем сильнее расхождение.
И вот тут есть важный нюанс. Откуда берутся среднее и стандартное отклонение для ?
- Параметры известны заранее. Тогда используются заданные
и
, и это классический критерий Колмогорова–Смирнова. Например, по техническим условиям прибор должен давать погрешность со средним 0 и стандартным отклонением 0,1 г. Мы проверяем именно эту модель, а не подгоняем ее под свежие измерения. При
калькулятор использует точное p-value, при большем объеме — численные аппроксимации.
- Параметры оцениваются по той же выборке. Вместо
и
подставляются
и
. В этом случае применяется критерий Лиллиефорса (Lilliefors test). Статистика
выглядит так же, но ее распределение при нулевой гипотезе другое, поэтому другое и p-value.3 Брать обычное p-value Колмогорова–Смирнова после подгонки параметров нельзя — такой расчет будет слишком снисходителен к данным.
Для обоих вариантов критерия подозрительны большие значения , поэтому используется правый хвост нулевого распределения:
где — наблюдаемое максимальное расхождение функций распределения. Но нулевые распределения здесь разные. В классическом критерии параметры
и
фиксированы. В критерии Лиллиефорса для каждой гипотетической нормальной выборки параметры оцениваются заново, и расстояние
обычно получается меньше — ведь кривая подгоняется именно под эту выборку. Поэтому одно и то же число
может дать разные p-value в двух режимах.
То есть поправка Лиллиефорса — это не поправка к самому числу , а исправленный способ получить решение по этому числу. В калькуляторе критерий Лиллиефорса вычисляется при
, его правый хвост и p-value находятся по аналитическим аппроксимациям.
Критерий Андерсона–Дарлинга
Критерий Андерсона–Дарлинга (Anderson–Darling test) тоже сравнивает выборку с теоретическим распределением, но придает больше веса его хвостам. Для нормального распределения со средним и стандартным отклонением, оцененными по выборке, статистика равна
где — упорядоченные значения выборки,
— функция нормального распределения с параметрами
и
,
— объем выборки.
Перед вычислением p-value статистика корректируется с учетом объема выборки:
В таблице калькулятор показывает исходное , а p-value получает по скорректированной статистике. Большие значения
говорят против нормальности, поэтому снова нужен правый хвост:
Нулевое распределение не является нормальным. Для него используется кусочная аппроксимация Стефенса: в зависимости от интервала, в который попало
, применяется одна из пяти формул, приближающих нужную вероятность.4 Критерий вычисляется при
.
Гистограмма с нормальной кривой
Гистограмма показывает, как наблюдения распределены по интервалам. Калькулятор строит ее в единицах плотности: высота столбика равна
где — число наблюдений в интервале,
— объем выборки,
— ширина интервала. Поэтому площадь каждого столбика равна доле наблюдений в нем, а суммарная площадь гистограммы равна единице. Это позволяет наложить сверху плотность нормального распределения
— обе величины измеряются одинаково.
Поясню на примере. Если 4 из 20 измерений попали в интервал шириной 0,4 г, высота столбика будет . Его площадь —
, то есть в этом интервале находится 20 % выборки.
Ширина интервалов автоматически выбирается по правилу Фридмана–Дьякониса:
где — межквартильный размах,
и
— первый и третий квартили выборки. Если такую ширину получить нельзя, например при нулевом межквартильном размахе, число интервалов выбирается как
.5
На что смотреть? На заметную асимметрию, несколько отдельных вершин, большие промежутки и выбросы. Но не стоит требовать идеального колокола: маленькая выборка из строго нормального распределения может дать довольно кривую гистограмму. Случайность тоже имеет право на неровности.
Нормальный Q–Q график
Q–Q график (quantile–quantile plot, квантиль-квантильный график) сравнивает квантили выборки с квантилими теоретического распределения. Для нормального Q–Q графика калькулятор строит точки
где — обратная функция стандартного нормального распределения,
— упорядоченная выборка. Вероятности
называются позициями для построения (plotting positions): они указывают, с каким теоретическим квантилем сопоставить
-е по величине наблюдение.
Здесь используется правило, предложенное шведским статистиком Гуннаром Бломом.6 Зачем нужны странные числа 0,375 и 0,25? Самый простой вариант для последнего наблюдения дал бы
, а соответствующий нормальный квантиль
равен бесконечности — такую точку на графике не нарисуешь. Позиции Блома не доходят до нуля и единицы, симметричны относительно
и хорошо приближают ожидаемые положения порядковых статистик нормальной выборки.
Например, при получаются
,
,
,
. То есть минимум сопоставляется примерно с 14,7 %-м квантилем, а максимум — с 85,3 %-м, а не с бесконечной точкой на конце распределения.
Опорная прямая проводится через соответствующие первый и третий квартили теоретических и выборочных квантилей. Такой выбор устойчивее к выбросам, чем прямая, построенная только по среднему и стандартному отклонению.
Как читать график:
- Точки близки к прямой — серьезных визуальных противоречий нормальности нет. Точное совпадение, разумеется, не требуется.
- Плавный изгиб — возможна асимметрия распределения.
- S-образное отклонение — хвосты выборки отличаются от нормальных: они тяжелее или легче.
- Отдельные точки далеко от общей картины — возможны выбросы.
- Ступеньки — в данных много повторяющихся значений или величина по своей природе дискретна.
Q–Q график особенно полезен там, где гистограмма зависит от выбора интервалов. Он не заменяет критерии, зато помогает понять, как именно данные отличаются от нормальных.
Пример расчета
Оставим в калькуляторе 20 значений по умолчанию — это условные измерения величины около 5. Выберем и режим оценки параметров по выборке. Получатся следующие результаты:
| Критерий | Статистика | p-value | Решение |
|---|---|---|---|
| Шапиро–Уилка | 0,911875 | Нормальность не отвергается | |
| Лиллиефорса | 0,840087 | Нормальность не отвергается | |
| Андерсона–Дарлинга | 0,819790 | Нормальность не отвергается |
Все p-value заметно больше 0,05. Значит, эти данные не дают оснований отвергнуть нормальность. Именно так, а не «полученные числа заведомо нормальны». Значения по умолчанию можно удалить, они только для иллюстрации.
А если один критерий отверг нормальность, а два других — нет? Это не повод устраивать голосование «два против одного». Критерии по-разному чувствительны к асимметрии, хвостам и другим отклонениям, кроме того, у них разные ограничения по объему выборки. Надо посмотреть на Q–Q график, гистограмму и природу данных. Итоговая строка калькулятора лишь сообщает, отверг ли нормальность хотя бы один применимый критерий; это сводка результатов, а не четвертый критерий с собственным p-value.
Критерии применимости
- Наблюдения должны быть независимыми. Если каждое следующее измерение зависит от предыдущего, обычные p-value могут вводить в заблуждение. Для временных рядов сначала нужно учитывать их структуру.
- Объем выборки имеет значение. При маленьком
критерий может не заметить реальное отклонение от нормальности. При очень большом
он способен отвергнуть нормальность из-за отклонения, которое практически несущественно для вашей задачи. Поэтому p-value стоит рассматривать вместе с графиками и здравым смыслом.
- У критериев есть числовые границы. В этом калькуляторе Шапиро–Уилк применяется при
, Лиллиефорс — при
, Андерсон–Дарлинг — при
. Классический Колмогоров–Смирнов требует заранее заданных
и
. Часть p-value вычисляется по аппроксимациям, о чем сказано в примечаниях к строкам таблицы.
- Одинаковые значения не подходят. Если вся выборка состоит из одного повторяющегося числа, стандартное отклонение равно нулю и подогнанное нормальное распределение не существует. Калькулятор в этом случае сообщает об ошибке.
- Не удаляйте выбросы только ради красивого p-value. Сначала проверьте, не ошибка ли это измерения или ввода. Если наблюдение настоящее, его удаление меняет и исходную задачу.
- Отклонение нормальности — не приговор всему дальнейшему анализу. Иногда помогают преобразование данных, другая модель распределения или непараметрические методы. А для оценки среднего при большом объеме выборки часто помогает центральная предельная теорема. Связь этого предположения с доверительными интервалами разобрана в статье Построение доверительных интервалов.
-
NIST/SEMATECH. e-Handbook of Statistical Methods. Раздел «Anderson-Darling and Shapiro-Wilk tests». NIST ↩
-
Royston P. Remark AS R94: A Remark on Algorithm AS 181: The W-test for Normality. Applied Statistics, 1995, vol. 44, pp. 547–551. DOI ↩
-
Dallal G. E., Wilkinson L. An Analytic Approximation to the Distribution of Lilliefors’ Test Statistic for Normality. The American Statistician, 1986, vol. 40, pp. 294–296. DOI ↩
-
Stephens M. A. EDF Statistics for Goodness of Fit and Some Comparisons. Journal of the American Statistical Association, 1974, vol. 69, pp. 730–737. DOI ↩
-
Freedman D., Diaconis P. On the Histogram as a Density Estimator:
Theory. Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete, 1981, vol. 57, pp. 453–476. DOI ↩
-
Blom G. Statistical Estimates and Transformed Beta-Variables. New York: John Wiley & Sons, 1958. ↩
Комментарии