проверка одного сомнительного наблюдения независимо от следующего по величине и двух крайних противоположных [3]
- (для ) - (для )
Все критические значения полученных статистик в зависимости от уровня значимости имеются в таблицах. В случаях превышения статистиками соответствующих критических значений признается гипотеза , означающая наличие выбросов в выборке.
Приведенные выше критерии рекомендуется применять при следующих условиях: критерий при , : , : , : [3].
.1.7 Критерий Хоглина-Иглевича
В данном критерии определяется правило выделения выбросов (промахов наблюдений) в нормально распределенных выборках с помощью порядковых статистик: наблюдение признается выбросом, если его значение находится вне интервала, ограниченного величинами [3]
где - -я порядковая статистика (т.е. -й по величине член выборки, упорядоченной по возрастанию), - объем выборки.
Значение определяется одним из следующих способов [3]:
Коэффициент определяется в зависимости от значений и вероятности отсутствия выброса - по составленным таблицам.
1.1.8 Критерий Титьена-Мура для обнаружения нескольких выбросов
Титьен и Мур обобщили критерий Граббса для случая выявления нескольких выбросов в выборке. Для выявления наибольших выбросов используется статистика [3]
где определяется по формуле (1.2), а
Если подозрительными являются и крайние левые, и крайние правые наблюдения, то для их обнаружения используется следующее правило: находятся абсолютные отклонения и ранжируются по возрастанию от до . После этого некоторое выборочное значение , для которого является -ым по величине, обозначают через , и проверяют гипотезы исключения наибольших по модулю наблюдений с помощью статистики [3]
Наличие выбросов признается значимым с достоверностью , если или . Значения критических статистик в правых частях неравенств берутся из таблиц.
.1.9 Критерий Роснера для обнаружения нескольких выбросов
Пусть извлечена выборка из нормальной генеральной совокупности, и по ней построен вариационный ряд . Проверяемая гипотеза заключается в том, что все () принадлежат одной генеральной совокупности, т.е. в выборке нет аномальных наблюдений (выбросов), альтернативная гипотеза заключается в том, что в выборке есть определенное количество выбросов, заранее не известное.
Данный критерий предназначен для выявления наличия выбросов и их количества (в отличие от критерия Титьена-Мура, где количество выбросов заранее известно). Суть критерия в последовательном применении критерия Граббса для выделения одного выброса, основанного на статистике [3]
Алгоритм критерия Роснера:
)По выборке определяются значения , и .
)Удаляем из выборки экстремальный член (минимальный или максимальный) в зависимости от того, какое значение сильнее удалено от среднего.
)Повторяем действия 1 и 2 раз, каждый раз проверяя полученные значения статистики с критическими значениями (из таблиц, см. приложение А).
)Если статистика превышает критическое значение, то устанавливаем наличие выбросов и их количество, равное значению , при котором появляется первая значимая величина критерия .
)Последовательное вычисление статистик ведется до тех пор, пока [3].
Поскольку рассматриваемый критерий предполагает последовательное применение критерия Граббса, то статистика при выполнении гипотезы будет иметь распределение аналогичное распределению статистики в критерии Граббса.
1.2 Критерии выбросов для экспоненциального распределения ти распределения Вейбулла
.2.1 Критерий Смоляка-Титаренко
Случайная величина, распределенная по экспоненциальному закону, имеет плотность распределения вероятностей [3]
Поэтому естественно подозревать на наличие выбросов наибольшие значения в выборке. Авторы данного критерия основывались на отношении величины наибольшего члена выборки к выборочному среднему [3]:
Проверяемый член выборки считается выбросом, если - критическое значение берется из таблиц.
1.2.2 Критерий Бродского-Быцаня-Власенко
Этот критерий является аналогом критерия Диксона для случая экспоненциального распределения, плотность вероятности которого имеет вид [3]
Рассматриваются следующие статистики:
для проверки на выброс наибольшего значения при известном [3]:
для проверки на выброс наибольшего значения при неизвестном [3]:
Гипотеза , подтверждающая наличие выбросов, отклоняется, если принятый уровень значимости меньше, чем вероятность используемого критерия (см. формулы 1.12 - 1.15) [3].
1.2.3 Критерий Кимбера для нескольких выбросов
Критерий позволяет по аналогии с критерием Роснера последовательную процедуру для выявления нескольких выбросов в выборке из экспоненциального распределения. Рассматриваемая статистика будет иметь вид [3]
Для выделения нижних выбросов используется статистика [3]
Сравнивая формулы (1.16) и (1.17), видно, что . Поэтому определение нижних выбросов аналогично определению верхних выбросов. Определение границ критической области осуществляется с помощью таблиц.
.2.4 Критерии выбросов для распределения Вейбулла
Рассматриваются методы трансформации статистик известных критериев для обнаружения выбросов в выборках, извлекаемых из генеральных совокупностей, имеющих распределение Вейбулла.
Для выделения верхних выбросов статистиками критериев являются:
критерии типа Граббса [3]
критерии типа Диксона [3]
Для выделения нижних выбросов статистиками критериев являются
критерии типа Граббса [3]
Аналогично всем предыдущим критериям, определяется выполнение гипотез, если , , то в выборке признается верхних выбросов, если , , то - нижних выбросов. Критические значения определяются из таблиц.
1.3 Критерий выбросов для любого непрерывного распределения
Для проверки на выброс максимального или минимального наблюдения из выборки, имеющей любое непрерывное распределение, Дарлинг предложил использовать критерий, основанный на статистике [3]
где - функция распределения вероятностей в точке .
При статистика стремиться к нормальному закону распределения с математическим ожиданием и дисперсией [3].
Тогда критическая область для определения нижнего (верхнего) выбросов запишется в виде [3]
где - квантиль нормального стандартного распределения.
Также существуют модификация критерия Дарлинга с большей мощностью. Здесь записываются такие статистики [3]:
При выполнении неравенства ] принимается нулевая гипотеза об отсутствии выбросов, где - это - квантиль -распределения с степенями свободы [3].
2. Реализация критериев определения выбросов в статистическом пакете R
.1 Критерий Шовене
Реализуем в статистическом пакете R критерий Шовене, определяющий наличие выбросов в выборке, извлекаемой из нормально распределенной генеральной совокупности. Для этого напишем функцию, которой на входе будем задавать случайную величину, имеющую нормальное распределение, а на выходе будем получать сообщение о том, какая гипотеза принимается.
В переменную запоминаем границу критической области, которая имеет вид . Значение зависит от объема выборки и берется из соответствующих таблиц (см. приложение А). В рассмотренном примере для получаем значение
Статистика, рассматриваемая в этом критерии, определяется формулой (1.1). Статистика проверяет на выброс наименьшее значение вариационного ряда (выборку обязательно нужно упорядочить по возрастанию), а статистика проверяет, соответственно, наибольший элемент вариационного ряда. Для рассмотренной в примере выборки получились следующие значения статистик: Сравнивая полученные значения с критическим, видно, что статистика входит в критическую область, значит, крайний правый элемент выборки признается выбросом и принимается гипотеза .
Таким образом, в данном критерии рассчитываются статистики для крайнего правого и крайнего левого элементов вариационного ряда, и проверяется их попадание в критическую область. Если хотя бы одна статистика попала в критическую область, принимается альтернативная гипотеза о наличии выбросов в выборке, если ни одна не попала - то принимается .
2.2 Критерий Граббса
Для реализации критерии Граббса в пакете R будем использовать формулы для статистик (1.4) - (1.7), (1.10), а для определения критической области будем использовать как готовые таблицы (приложение А), так и аппроксимации (формулы (1.8), (1.9)).
Для начала формируем выборку из нормальной генеральной совокупности объемом . Упорядочиваем эту выборку по возрастанию. Если переменные и равны 0, то будем считать, что м и у2 заранее не известны.
Находим границы . Нижняя граница критической области в зависимости от того, известны параметры распределения м и у2 заранее или нет, может принимать различные значения: - м и у2 заранее не известны, - у2 известно, м не известно, - оба параметра определены. Для сформированной в примере выборки () получили следующие критические значения: При для и используются аппроксимации.
В рассматриваемом примере значения м и у2 не определены, поэтому при расчете статистики попадаем в первое условие, и получаем результат: ="В выборке нет выбросов! (Гипотеза H0)", а в остальных двух условиях переменная равна пустой строке, потому что в эти условия мы не попали. На аномальность проверяются наибольший и наименьший элементы вариационного ряда, т.е. вычисляются статистики и соответственно. В примере - , . Обе статистики не входят в критическую область, поэтому принимается гипотеза .
В случае, когда параметры распределения заданы, то вычисляется статистика по третьему условию:
Для выборки из нормальной генеральной совокупности с параметрами и , получили значение статистики 7631 и . Отсюда следует, что в выборке нет выбросов - .
Таким образом, критерий Граббса позволяет исследовать выборки, извлеченные из нормальных генеральных совокупностей, на наличие аномальных наблюдений и в зависимости от того известны или нет параметры распределения м и у2 вычисляет значения соответствующих статистик и границы критической области.
.3 Критерий Роснера
Критерий Роснера позволяет не только определить наличие выбросов в выборках, но и посчитать их количество. Для программной реализации этого критерия напишем отдельную функцию, определяющую критическое значение статистики.
Значение статистики зависит от объема выборки , количества вычисленных статистик и номера статистики.
Данный критерий предполагает последовательное применение критерия Граббса к рассматриваемой выборке, т.е. сначала вычисляем статистики по формулам (1.5) и (1.7) для наибольшего и наименьшего элементам вариационного ряда, затем определяем, какой из этих элементов наиболее удален от среднего значения, и удаляем его из выборки. Так повторяем до тех пока новое значение статистики больше значения, вычисленного на предыдущем шаге, т.е. На каждом шаге сравниваем значение статистики с соответствующим критическим значением. Если статистика будет превышать критическое значение, то можно утверждать, что в выборке есть выбросы, количество которых определяется номером вычисленной статистики.
В рассмотренном выше примере извлекается выборка объемом из нормальной генеральной совокупности. Затем определяем значения статистик и записываем их в массив - в данном примере вычислено два значения статистики. Первые две статистики вычисляем отдельно, так как в условии выхода из цикла нужно знать текущее значение и значение статистики на предыдущем шаге. Для полученных статистик вычислены соответствующие критические значения, которые запоминаются в массив Сравнивая полученные значения статистик с критическими значениями, видим, что статистики не принадлежат критической области, поэтому принимается нулевая гипотеза (="В выборке нет выбросов! (Гипотеза H0)", =0).
В результате критерий Роснера удобно применять, когда нужно выявить не только наличие выбросов в нормально распределенных выборках, но и количество этих выбросов.
.4 Критерий Дарлинга
Критерий Дарлинга применяется для любого непрерывного распределения, заданного функцией распределения . Для реализации этого критерия в статистическом пакете R воспользуемся формулами для статистик (1.18) и для критической области (1.19).
Функция - это функция любого непрерывного распределения. Она может быть различной в зависимости от рассматриваемого распределения. В данном примере рассматривается экспоненциальное распределение с параметром . Формируем некоторую выборку , взятую из заданного экспоненциального распределения, строим по этой выборке вариационный ряд и вычисляем статистики для проверки наибольшего и наименьшего значений. Для проверки наибольшего значения вариационного ряда вычисляем статистику , а для наименьшего значения - (в примере ). Критическая область для этих статистик определяется неравенствами (1.19). Находим критические значения статистик . Как видно из полученных значений и , это означает, что оба крайних значения выборки признаются выбросами.
Таким образом, критерий Дарлинга для определения выбросов в выборках является универсальным критерием для любого непрерывного распределения. Для того чтобы задать вид распределения достаточно написать функцию , которая возвращает значение функции распределения в точке .
3. Исследования смоделированных критериев определения выбросов
.1 Исследование распределения статистик по критериям согласия Колмогорова и Смирнова
Критерии согласия проверяют основную гипотезу : о равенстве эмпирической функции распределения теоретической, соответственно альтернативная гипотеза : [3].
Колмогоров также нашел предельное распределение статистики - эта статистика имеет распределение Колмогорова [5].
Критическая область имеет вид [5]:
Нижняя граница критической области определяется из таблиц в зависимости от заданного уровня значимости (см. приложение А).
Проверим по критерию согласия Колмогорова распределение статистики (см формулу (1.18)) в критерии Дарлинга, которая при выполнении гипотезы стремиться к нормальному распределению с параметрами
где - объем выборки.
Напишем в пакете R функцию вычисляющую статистику . Для определения статистики воспользуемся формулой (3.1), а для критической области - формулой (3.2), где уровень значимости
Данной функции в качестве аргументов передаем случайную величину - рассматриваемую статистику, математическое ожидание и дисперсию, вычисленные по формулам (3.3) и (3.4). В примере статистика моделируется в цикле из статистик при выполнении гипотезы . Теоретически эта статистика имеет нормальное распределение, поэтому в функции используется стандартная функция [6], моделирующая функцию нормального распределения с заданными параметрами.
Переменная - это значение принимаемой гипотезы. В результате эта переменная принимает значение H0, т.е. распределение смоделированной статистики соответствует теоретическому - нормальному распределению с параметрами, определяемыми формулами (3.3) и (3.4).
При увеличении количества получаемых статистик, ошибка (разница между теоретической и эмпирической функциями распределения) убывает и становится близкой к нулю. Критерий согласия Смирнова также основан на расстоянии между теоретической и эмпирической функциями распределения вероятностей. В нем рассматривается следующая статистика [3]:
где - элемент вариационного ряда.
Статистика при выполнении нулевой гипотезы стремиться по вероятности к некоторому закону распределения.
Для критических значений статистики существуют таблицы (см. приложение А), а критическая область записывается [3].
Исследуем эту же статистику , полученную при применении критерия Дарлинга по критерию согласия Смирнова.
Реализуем в программе функцию для нахождения статистики .
Аргументами этой функции являются случайная величина - проверяемая статистика, математическое ожидание и дисперсия, определяемые по формулам (3.3) и (3.4). Поскольку исследуется на согласие статистика , имеющая нормальное распределение при выполнении нулевой гипотезы, то в функции используем стандартную функцию для нормального распределения [6].
В рассмотренном примере для статистики получили значение , которое не принадлежит критической области на уровне значимости 0.05. Поэтому принимается гипотеза о согласованности эмпирической и теоретической функций распределения (теоретическая функция имеет нормальное распределение с параметрами и , см. формулы (3.3) и (3.4)).
Построим графики зависимостей статистик и от объема моделируемой статистики при выполнении нулевой гипотезы.
В результате исследования распределения статистики по критериям согласия получили, что эмпирический закон распределения моделируемой статистики стремиться к теоретическому - нормальному распределению с параметрами и , определяемыми по формулам 3.3 и 3.4.
3.2 Исследование асимптотических свойств критериев и анализ эмпирической мощности
Исследуем асимптотические свойства, а именно, оценку параметров распределения, их состоятельность, и предельное распределение при различных объемах выборки.
Будем исследовать асимптотические свойства для статистики в критерии Дарлинга, когда задан равномерный закон распределения, т.е. в этом случае функция возвращает значение функции распределения равномерно распределенной случайной величины.
Как отмечалось выше, статистика , определяемая формулой (1.18), при выполнении нулевой гипотезы имеет нормальное распределение с параметрами и .
Покажем, что эмпирическое распределение статистики при увеличении объема выборки (моделируемой статистики) будет стремиться к нормальному распределению. Для этого реализуем в R две функции: первая будет строить теоретическую функцию распределения в определенном интервале, а вторая - эмпирическую функцию распределения по полученным значениям статистик.
Рисунок 1 - Графики теоретической (красный) и эмпирической (черный) функций распределения статистики критерия Дарлинга, имеющей нормальное распределение с параметрами и ()
Рисунок 2 - Графики теоретической (красный) и эмпирической (черный) функций распределения статистики критерия Дарлинга, имеющей нормальное распределение с параметрами и ()
Полученные графики позволяют убедиться, что эмпирическая функция распределения (график отображается черным цветом) стремиться к теоретической (красная кривая) при увеличении объема выборки моделируемых статистик, при этом функция не зависит от объема моделируемой случайной величины.
Построим доверительные границы для при различных объемах моделируемой статистики. Допустимая ошибка для математического ожидания при известной дисперсии определяется по формуле [7]
где - надежность.
Рисунок 3. Доверительные границы для математического ожидания статистики критерия Дарлинга в зависимости от объема моделируемых статистик ()
Как видно из рисунков математическое ожидание вычисленных при выполнении нулевой гипотезы статистик принимает значения в пределах доверительных интервалов и при увеличении объема моделируемой статистики сильнее стремиться к теоретическому значению, определяемому по формуле (3.3).
Рисунок 4 - Доверительные границы для математического ожидания статистики критерия Дарлинга в зависимости от объема моделируемых статистик ()
Построим доверительные интервалы для дисперсии при известном . Границы интервалов определяются по формуле [7]:
Построенные границы доверительного интервала для дисперсии значений статистики (см. формулу (1.18)) при выполнении нулевой гипотезы на уровне значимости 0.05 получились следующими: , эмпирическое значение дисперсии равно (входит в доверительный интервал), а теоретическое значение . Так, отклонение эмпирического значения дисперсии от теоретического не является значительным и при увеличении объема выборки моделируемой статистики стремиться к теоретическому значению.
Рассмотрим понятие мощности критерия и найдем эмпирическую мощность критерия Дарлинга в зависимости от объема выборки.
Мощность критерия - это вероятность того, что нулевая гипотеза будет отвергнута, если верна конкурирующая гипотеза, т.е. принимается гипотеза и она верна [7]. Чтобы показать эмпирическую мощность критерия, построим график зависимости от , где - количество неправильно принимаемых гипотез в испытаниях и фиксированных объемах выборок , для статистики в критерии Дарлинга при равномерном распределении. Объемы выборок принимают значения из заданного интервала. Для того чтобы в моделируемых выборках наблюдались выбросы, будем добавлять искусственно дополнительное значение значительно отличающееся от остальных (для равномерно распределения от 0 до 1 можно добавить значение 2).
Рисунок 5 - График эмпирической функции мощности для статистики в критерии Дарлинга ()
Таким образом, исследование асимптотических свойств статистики в критерии Дарлинга показало, что при увеличении объема моделируемой статистики при выполнении нулевой гипотезы все эмпирические параметры распределения стремятся к теоретическим значениям. А исследование эмпирической мощности показало, что вероятность принятия альтернативной гипотезы при условии, что она верна, стремиться к единице при увеличении объема моделируемой статистики.
3.3 Анализ реальных данных
Проанализируем реальные данные изученными методами, т.е. будем исследовать различные выборки на наличие выбросов с помощью смоделированных критериев.
)Период колебания маятника
Производиться шесть измерений периода колебаний маятника, получаем результаты (в секундах) 3,8; 3,5; 3,9; 3,9; 3,4; 1,8. В этом примере значение 1,8 поразительно отличается от остальных, и необходимо решить, что с ним делать. Можно подозревать, что время 1,8 с. является результатом какой-то незамеченной ошибки или обусловлено какой-то внешней причиной. Возможно, просто ошиблись при считывании этого последнего значения времени, или, может быть, электронный секундомер остановился во время последнего измерения из-за внезапного нарушения контакта с блоком питания [2]. Будем считать, что эта выборка имеет нормальное распределение. Поскольку выборка небольшая и на выброс подозревается только одно значение, применим к этой выборке критерий Шовене и критерий Граббса.
Таблица 3.1 - Результаты проверки периода колебаний маятника
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1= 1.970462, K2= 0.642993[1.73,∞)Н1 (наименьший элемент является выбросом)Граббсаt1= 1.970462 t2=0.642993 [1.996; ∞) [2.184; ∞)H0 (в выборке нет выбросов)
Из таблицы 3.1 видно, что применение разных критериев может давать разные результаты, по критерию Шовене значение 1,8 с. признается выбросом, а проверка по критерию Граббса не выявила наличие выбросов в выборке, но значение статистики оказалось очень близким к критической области, что говорит о подозрительности наименьшего измерения.
)Студент делает 14 измерений периода колебаний генератора и получает результаты (в десятых долях секунды) 7, 3, 9, 3, 6, 9, 8, 7, 8, 12, 5, 9, 9, 3 [2]. Замечаем, что результат 12 подозрительно велик, поэтому применим к этой выборке критерий Шовене, Граббса и Роснера, а полученные данные занесем в таблицу.
Таблица 3.2 - Результаты проверки периода колебаний генератора
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1= 1.47196, K2= 1.83995[2.1,∞)Н0 (в выборке нет выбросов)Граббсаt1= 1.47196 t2= 1.83995[2.461; ∞) [2.589; ∞)H0 (в выборке нет выбросов)Роснера tau1= 1.83995 tau2= 1.50688[2.62; ∞) [2.39; ∞)H0 (в выборке нет выбросов)
Несмотря на то, что значение 12 является подозрительным, проверка по всем трем критериям не подтвердила наличие выбросов. В таблице 3.2 видно, что статистики для проверки наибольшего значения близки к критической области, но не входят в нее, следовательно, в выборке отсутствуют аномальные наблюдения.
)Приведем результаты измерений некоторого предмета 258.5, 255.4, 256.6, 256.7, 257.0, 256.5, 256.7, 255.3, 256.0, 266.0, 256.3, 256.5, 256.0, 256.3, 256.9. Нетрудно заметить, что величина 266.0 - явный промах, так как вместо 5 записали 6 [8].
Таблица 3.3 - Результаты проверки измерений некоторого прибора
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1= 0.7060785, K2= 3.460304[2.13,∞)Н1 (наибольший элемент является выбросом)Граббсаt1= 0.7060785 t2= 3.460304[2.493; ∞) [2.617; ∞)Н1 (наибольший элемент является выбросом)
Проверка данной выборки на наличие выбросов подтвердила, что ошибочно записанный результат 266.0 является выбросом. В таблице 3.3 оба критерия подтвердили, что наибольший элемент выборки является аномалией.
)Студент делает десять измерений одной длины х и получает результаты (все в миллиметрах) 46, 48, 44, 38, 45, 47, 58, 44, 45, 43. Заметив, что значение 58 кажется аномально большим, он проверяет свои записи, но не находит указаний на то, что этот результат получился по ошибке [2]. Чтобы проверить на аномальность значение 58 воспользуемся критерием Шовене и критерием Роснера для обнаружения нескольких выбросов.
Таблица 3.4 - Результаты проверки измерений одной длины x
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1= 1.537611, K2= 2.404982[1.96,∞)Н1 (наибольший элемент является выбросом)Роснераtau1= 2.404982 tau2= 2.239900[2.39; ∞) [2.17; ∞)Н1 (наибольший и наименьший элементы являются выбросами)
В таблице 3.4 отражены данные, полученные при применении статистических критериев. Из таблицы видно, что по критерию Шовене наибольший элемент выборки 58 признается выбросом, а критерий Роснера определил наличие двух выбросов: наибольшего 58 и наименьшего 38.
)Рассмотрим пример применения критериев для исключения грубых погрешностей при измерении скорости ударной волны. Получены результаты 3.42, 3.43, 3.44, 3.45, 3.46, 3.47, 3.48, 3.49, 3.50. Требуется определить, не содержит ли результат наблюдения 3.50 грубую ошибку [9]. Применим критерии Шовене, Граббса и Дарлинга.
Таблица 3.5 - Результаты проверки измерений скорости ударной волны
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1=1.460593, K2= 1.460593[1.92,∞)Н0 (в выборке нет выбросов)Граббсаt1=1.460593 t2=1.460593[2.237; ∞) [2.392; ∞)Н0 (в выборке нет выбросов)Дарлингаln= 8.897143 l1= 4.760364[- ∞; 6.343017) [- ∞; 3.656983)Н1 (наибольший элемент является выбросом)
Данные таблицы 3.5 показывают, что при проверке на грубую ошибку значения 3.50 подтвердилась нулевая гипотеза об отсутствии грубой ошибки. Однако проверка по критерию Дарлинга подтвердила, что значение 3.50 является промахом, поэтому этот результат лучше перепроверить или исключить из выборки.
)Заданы 15 значений систолического давления, измеренные в мм: 154, 136, 91, 125, 133, 125, 93, 80, 132, 107, 142, 115, 114, 120, 141 [10]. Проведем анализ этих данных на наличие выбросов среди наблюдений при б = 0.05 с помощью критериев Шовене, Роснера и Дарлинга.
Таблица 3.6 - Результаты проверки измерений систолического давления
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1=1.942510 K2= 1.603849[2.13,∞)Н0 (в выборке нет выбросов)Роснераtau1=1.942510 tau2=1.775757[2.65; ∞) [2.42; ∞)Н0 (в выборке нет выбросов)Дарлингаln=11.74026 l1=7.394701(- ∞; 9.776645) (- ∞; 6.223355]Н0 (в выборке нет выбросов)
Полученные результаты, представленные в таблице 3.6, показывают, что в выборке нет выбросов, так это подтвердилось тремя критериями их трех. Поэтому все результаты измерения систолического давления у пациентов находятся в пределах нормального.
)Даны 15 значений диастолического давления пациентов, измеренные в мм: 108, 90, 54, 89, 93, 77, 43, 50, 125, 76, 96, 74, 79, 71, 90 [10]. Проведем анализ этих данных на наличие выбросов среди наблюдений при б = 0.05 с помощью критериев Шовене, Роснера и Дарлинга.
Таблица 3.7 - Результаты проверки измерений диастолического давления
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1=1.942510 K2= 1.603849[2.13,∞)Н0 (в выборке нет выбросов)Роснераtau1=2.028336 tau2=1.870667[2.65; ∞) [2.42; ∞)Н0 (в выборке нет выбросов)Дарлингаln=9.72 l1=7.7626(- ∞; 9.776645] (- ∞; 6.223355]Н1 (наибольший элемент является выбросом)
Из таблицы 3.7 видно, что по критерию Дарлинга для нормального распределения наибольшее значение 125 было признано выбросом, хотя остальные критерии этого не обнаружили. Поэтому данное значение диастолического давления пациента нужно просто перепроверить, измерив еще раз.
)Для ряда наблюдений (n=20) 0, 15, 16, 22, 22, 23, 26, 27, 27, 28, 28, 31, 32, 33, 35, 37, 38, 41, 56, 58 проверить наличие выбросов критериями Шовене, Граббса, Роснера и Диксона [3].
Таблица 3.8 - Результаты проверки ряда наблюдений
КритерийЗначение статистикКритическая областьПринимаемая гипотезаШовенеK1= 2.267116 K2= 2.152807[2.24,∞)Н1 (наибольший элемент является выбросом)Граббсаt1= 2.267116 t2= 2.152807[2.623; ∞) [2.732; ∞)H0 (в выборке нет выбросов)Роснераtau1=2.267116 tau2=2.340307 tau3=2.706944 tau4=1.809593[2.95; ∞) [2.63; ∞) [2.49; ∞) [2.39; ∞)Н1 (в выборке есть три выброса)Дарлингаln= 10.25862 l1= 10.27093(- ∞; 12.56973] (- ∞; 8.430271]Н1 (наибольший элемент является выбросом)
В результате проверки на выбросы некоторого ряда наблюдений наибольшее значение 58 было признано выбросом тремя критериями, значит его нужно исключить из выборки. В то же время критерий Роснера обнаружил в выборке целых три аномальных наблюдения это 0, 56 и 58, поэтому эти значения необходимо перепроверить.
Таким образом, проверка реальных данных с помощью процедур смоделированных статистических критериев определения выбросов позволяет автоматизировать процесс проверки данных на аномальные наблюдения, тем самым экономя время и исключая возможности ошибок, обусловленные человеческим фактором (например, невнимательность или утомление).
Заключение
В данной курсовой работе были изучены различные критерии определения одного или нескольких выбросов для случая нормального распределения, экспоненциального, а также был рассмотрен критерий Дарлинга для любого непрерывного распределения. Для критериев Шовене, Граббса, Роснера (для обнаружения нескольких выбросов), а также критерия Дарлинга (для любого непрерывного распределения) были представлены математические модели методов проверки гипотез и написаны процедуры в статистическом пакете R.
Провели исследование распределения статистик по критериям согласия Колмогорова и Смирнова, построили графики зависимостей полученных статистик от объема выборки. В результате проверки по обоим критериям получили, что принимается нулевая гипотеза о том, что распределение моделируемой статистики при выполнении гипотезы стремиться к некоторой теоретической непрерывной функции распределения, а вероятность ошибки при увеличении объема выборки убывает и стремиться к 0.
Также исследовали асимптотические свойства рассматриваемых критериев при «малых» и «больших» объемах выборок. Построили теоретическую и эмпирическую функции распределения, доверительные границы для параметров распределения и убедились, что при увеличении количества моделируемых статистик эмпирическая функция распределения и эмпирические параметры распределения стремится к теоретическим значениям, а от объема моделируемых случайных величин не зависят. Проведенные исследования позволяют убедиться в правильности работы статистических критериев и дают возможность применять их на практике.
С помощью смоделированных и запрограммированных критериев провели анализ реальных данных, в котором выборки с реальными данными проверялись на наличие в них аномальных наблюдений - выбросов.
Таким образом, разработанные в данной курсовой работе критерии можно применять для анализа реальных данных и на его основе делать соответствующие выводы, если в выборке были обнаружены выбросы.
выброс статистика критерий асимптотический
Список литературы
1.Тейлор Дж. Введение в теорию ошибок. Пер. с англ. - М.: Мир, 2009. - 272 с.
2. Кобзарь А.И. Прикладная математическая статистика. Для инженеров и научных работников. - М.: ФИЗМАТЛИТ, 2011. - 816 с.
3.Боровков А.А. Теория вероятностей. - М.: Наука, 1986. - 432 с.
.Буховец А.Г., Москалев П.В. Статистический анализ данных в системе R. - Воронеж: ВГАУ, 2014. - 124 с.
.Меретилов М.А. Методические указания к лабораторным работам по курсу «Методы анализа данных». - Красноярск: КГТУ, 2006. - 15 с.
.Гмурман В.Е. Теория вероятностей и математическая статистика. - М.: Высшая школа, 2010. - 479 с.
.Кокунин В.А. Статистическая обработка данных при малом числе опытов. - Киев, 1974. - 790 с.
. Третьяк Л.Н. Обработка результатов наблюдений. - Оренбург: ГОУ ОГУ, 2004. - 171 с.
.Аффи А., Эйзен С. Статистический анализ: Подход с использованием ЭВМ. Пер. с англ. - М.: Мир, 1982. - 488 с.
Приложение
Таблицы критических точек
Таблица 1 - Критические значения критерия Шовене
31.6141.6451.6861.7671.7981.8691.92101.96112.00122.03132.07142.10152.13162.16172.19182.20202.24222.28242.31252.33262.36302.39502.571002.813003.14
Таблица 2 - Критические значения статистик Граббса
Доверительная вероятность б=0.0531.7381.4122.12141.9411.6892.23452.0801.8692.31962.1841.9962.38672.2672.0932.44282.3342.1722.49092.3922.2372.531102.4412.2942.568112.4842.3432.601122.5232.3872.630132.5572.4262.657142.5892.4612.682152.6172.4932.705162.6442.5252.746172.6682.5512.746182.6912.5772.765192.7122.6002.783202.7322.6232.799212.7502.6442.815222.7682.6642.830232.7842.6832.844242.8002.7012.857252.8152.7172.870
Таблица 3 - Критические значения критерия Роснера
Доверительная вероятность 10212,3920412,9535213,0950432,7280332,8110222,1720422,6335222,7450442,5980413,5711212,4520432,4940213,1750513,4580423,0511222,2320442,3940222,7750522,9680432,8412212,5020512,9740313,2250532,7480442,6912222,2720522,6540322,8150542,6180513,6113212,5720532,5140332,6250552,5280523,1113222,3120542,4240413,3260213,3480532,8614212,6220552,3740422,8660222,9080542,7214222,3925212,9940432,6760313,4280552,6215212,6525222,6240442,5560322,95100213,5215222,4230213,0540513,3160332,73100223,0316212,7030222,6740522,8860413,48100313,6016222,4430313,1240532,6960422,98100323,1017212,7530322,7340542,5560432,77100332,8617222,4830332,5640552,4760442,63100413,6418212,7930413,1645213,1760513,51100423,1318222,4630422,7745222,8260523,01100432,8919212,8030432,5950213,2760532,77100442,7419222,4930442,4950222,8560542,65100513,7020212,8330513,1950313,3460552,56100523,1620222,5230522,7850322,8980213,45100532,9120312,8830532,6050332,6880223,03100542,7720322,6030542,5150413,4080313,49100552,6720332,4530552,4550422,9380323,03
Таблица 4 - Критические значения для критерия согласия Колмогорова
Уровень значимости б0,010,050,10,21,631,361,221,07
Таблица 5 - Критические значения для критерия согласия Смирнова
Уровень значимости б0,0010,010,050,11,1680,7430,4610,347