Множественная линейная регрессия

Множественная линейная регрессия

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ

РОССИЙСКОЙ ФЕДЕРАЦИИ

НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ АРХИТЕКТУРНО-СТРОИТЕЛЬНЫЙ УНИВЕРСИТЕТ (СИБСТРИН)

Кафедра прикладной математики

Индивидуальное задание

По дисциплине «Математическое моделирование»

Тема: «Множественная линейная регрессия»

Студент: Филиппов А.В.

Специальность «Экспертиза, оценка и управление недвижимостью»

группа 115-маг-з

Руководитель работы: Воскобойников Ю.Е.

Новосибирск 2013

Исходные данные

регрессия дисперсия детерминация интервал

Имеются следующие данные о потреблении некоторого продукта У (в условных единицах). В зависимости от уровня урбанизации (доли городского населения) - переменная X₁, относительного образовательного уровня - X₂, относительного заработка - переменная X₃, для девяти географических районов.

Конкретные значения представлены в таблице 1.

Таблица 1.

Решение

1.      Для данного задания может быть построена линейная множественная регрессия вида:

Y=β₀+β₁x_i1+ β₂x_i2+ β₃x_i3+ε_i, (1)

Тогда оценка для данной регрессии имеет вид:

ŷ=b₀+b₁x₁+ b₂x₂+ b₃x₃, (2)

где b₀, b₁, b_2, b₃ - коэффициенты уравнения регрессии.

Введем матричные обозначения и матричные вычисления, тогда справедливы следующие формулы

(3)

 (4)

 (5)

Коэффициенты уравнения множественной регрессии находятся по формуле:

b=(X^T*X)^-1*(X^T*y), (6)

Решение представлено на рисунке 1.

Рисунок 1 - Расчет коэффициентов линейной множественной регрессии

Таким образом уравнение регрессии имеет вид:

ŷ=-241.085+1,14x_i1+ 33.422x_i2+ 0.373x_i3,

где i = 1,2 …9.

2.   Для определения дисперсий найденных коэффициентов уравнения регрессии нужно рассчитать оценку дисперсии случайной составляющей s²:

, (7)

где n- объем выработки (n=9), m-число оцениваемых параметров (m=k+1=4), e_i-невязка i-го измерения.

e_i=y_i- ŷ_i, (8)

Тогда оценка дисперсии коэффициента уравнения регрессии b_j, рассчитывается по формуле:

 (9)

где  - j-й диагональный элемент матрицы .

Отсюда следует, что коэффициент b_jзначим (принимается гипотеза H₁: b_j≠0), если выполняется условие:

|T_bj|=|| >t(1-α, n-m),

где m - количество коэффициентов регрессии, α - уровень значимости (0,05).

Решение представлено на рисунке 2.

Рисунок 2 - Расчет дисперсий коэффициентов уравнения регрессии и проверка их значимости.

Как видно из расчетов, неравенство значимости коэффициента не выполняется для всех коэффициентов (x₁,x2,x3,x₄).

3.   Коэффициент детерминации рассчитывается по формуле:

, (10)

где (y_i- ŷ_i)² - вектор, состоящий из квадратов невязки  можно взять из предыдущего расчета, y_ср - вектор размерности n=9, составленный из средних значений.

Если известен коэффициент детерминации, то скорректированный коэффициент детерминации:

 (11)

Расчет представлен на рисунке 3.

Рисунок 3 - Расчет коэффициента детерминации, скорректированного коэффициента детерминации и значение коэффициента F.

, (12)

,

то есть уравнение множественной регрессии статистически не значимо (гипотеза H₀).

. 95%-ный доверительный интервал для коэффициентов β_j:

, (13)

Результаты представлены на рисунке 4.

Рисунок 4 - Интервальная оценка коэффициентов уравнения регрессии.

Интервалы:

для β₀ - [-724,179; 242,009];

для β₁ - [-12.37;14.649];

для β₂ - [-27,043; 93.886];

для β₃ - [-4,899; 5.645].

5.   Доверительный интервал для f(x) = M(Y/x):

, (14)

где S_ŷ(x) рассчитывается по формуле:

, (15)

где -вектор, координаты которого определяют значения объясняющих переменных, при которых вычисляется значение регрессии ŷ. Расчет представлен на рисунке 5 (у_н - нижняя граница, у_в - верхняя граница).

Рисунок 5 - Доверительный интервал для f(x) = M(Y/x).

.        Рассматриваемая классическая модель множественной линейной регрессии в данном случае не отражает в должной мере количественную зависимость между экономическими явлениями. Построенное уравнение регрессии с помощью существующих независимых переменных объясняет изменение зависимой переменной на 53,7%, а в скорректированном виде - на 25,9%. Таким образом, получаем не значимость уравнения регрессии, и не значимость всех коэффициентов, что может быть вызвано недостатком объясняющих переменных и мультиколлинеарностью (стохастической) - наличием высокой взаимной коррелированности между объясняющими переменными.

.        Для исключения мультиколлинеарности и повышения точности построенной регрессионной модели проводим пошаговое введение наиболее информативных объясняющих моделей с построением корреляционной таблицы и расчетом обыкновенного и скорректированного коэффициентов детерминации для каждого шага. Расчет представлен на рисунке 6. На рисунке 7 представлен расчет коэффициентов детерминации на втором шаге.

Выбирается та переменная, которая больше другой коррелированна с у. В нашем случае это x₂. Выбираем ее для того, чтобы в дальнейших расчетах получить большее значение скорректированного коэффициента детерминации чем в исходной модели. Для построенной модели рассчитываются обыкновенный и скорректированный коэффициенты детерминации. Причем для парной регрессии обыкновенный коэффициент детерминации равен квадрату соответствующего коэффициента корреляции.

Рисунок 6 - Отбор объясняющих переменных регрессионной модели.

Рисунок 7 - Построение регрессионной модели на шаге 2 отбора объясняющих переменных и расчет коэффициентов уравнения регрессии для новой модели.

8.      На втором шаге в модель попеременно добавляются переменныеx₁ и x₃. Для этих уравнений рассчитываются коэффициенты уравнения (рисунок 7), коэффициенты детерминации, скорректированные коэффициенты детерминации, F-критерии.

Оценивая найденные значения можно сказать, что введение дополнительных переменных на втором шаге снижает значение коэффициента детерминации и уравнение регрессии становится статически не значимо.

Расчет всех необходимых параметров для уравнения регрессии с переменной x₂ приведен на рисунке 8.

Рисунок 8 - Расчет параметров уравнения парной регрессии

Согласно расчета, только второй коэффициент уравнения регрессии является значимыми, как и само уравнение регрессии. Произведены расчеты для определения доверительных интервалов β_jи доверительного интервала f(x) = M(Y/x).

.        Скорректированный коэффициент детерминации для второго уравнения больше, чем для первого, что говорит о большей адекватности второго варианта, предпочтительность второй регрессии можно доказать и через F-критерий.

То есть неравенство выполняется, можно сделать вывод о значимости построенного уравнения регрессии, следовательно, исследуемая зависимость у достаточно хорошо описывается включенной в регрессионную модель переменной x₁. В первой же модели это условие не выполняется, поэтому первое регрессионное уравнение незначимо.

.        Прогноз с использованием второго уравнения регрессии:

при x₁=34 x₂=10,3 x₃=26,2.

ŷ=37,1x_i1, = 382,13.

Рисунок 9 -Построение интервальной оценки для M(Y/x).

Общий вывод

Классическая линейная модель в рамках множественного регрессионного анализа не всегда адекватно и точно отражает зависимость между переменными. В случае наличия мультиколлинеарности, недостатка или переизбытка объясняющих переменных, попадая в уравнение регрессии случайной составляющей, применяют специальные методы выявления и устранения проблем. В итоге с упором на принцип наименьшей сложности и высокой информативности может быть построена эффективная регрессионная модель.