Изучение моделей регрессии

Изучение моделей регрессии

Введение

Из всего многообразия методов моделирования структурно-сложных экономических систем можно выделить два основных «работающих» класса:

• эконометрика;

• имитационное моделирование.

В отличие от систем физических или биологических, которые достаточно хорошо изучены, точность предсказания будущего поведения экономических объектов (рынок, отрасль, регион, предприятие, банк) относительно не высока. Возможно, именно сложность объекта привлекает исследователей: количество научных работ растет почти экспоненциально.

Изучение моделей множественного выбора в настоящее время является очень актуальным вопросом, так как они применяются в социологических, социально-экономических и медицинских выборочных обследованиях. Это даёт возможность проводить более грамотную экономическую политику и как следствие приносит большую прибыль предприятиям.

Методы эконометрики используются для поиска и проверки общих закономерностей, связывающих траекторные переменные системы и переменные внешней среды. А поскольку измерение любых величин, в особенности экономических, связано со случайными ошибками, то применение аппарата математической статистики для анализа вероятностных свойств этих величин неизбежно. Использование эконометрических моделей предполагает представление объекта в виде «черного ящика» и формальное исследование зависимостей между переменными, например, на основе системы одновременных уравнений.

Целью написания работы является изучение моделей регрессии.

Объектом исследования является модель лог-регрессии.

Предмет исследования -‒ использование модели лог-регрессии в эконометрических исследованиях.

Для изучения темы использовалась тематическая литература таких авторов как: Магнус Л.Р, Тихомиров Н.П., Дорохина Е.Ю., а так же труды ведущих отечественных экономистов: В.Н. Афанасьева, И.И. Елисеевой, А.К. Шалабанова. Так же в работе использованы интернет источники.

В работе были использованы ряд статистических методов, таких как: метод массового статистического наблюдения, анализ и синтез данных, а также эконометрические методы: метод наименьших квадратов и конфлюэнтный анализ.

Работа состоит из введения, двух глав (теоретической и практической), выводов (заключения), списка использованных источников.

1. Теоретическая часть

.1 Функциональные преобразования переменных в линейной регрессии

В линейной регрессии иногда переменные выражены в нелинейном виде или они имеют разные размерности. В этих случаях требуется преобразование данных. Применяют чаще всего два вида преобразований:

·        логарифмирование данных;

·        переход к безразмерным величинам путем деления на некоторые известные величины, той же размерности, что и исходные данные.

Покажем на примере линеаризации нелинейных моделей регрессии как проводят подобные преобразования.

При нелинейной зависимости признаков, приводимых к линейному виду, параметры множественной регрессии определяются по МНК, который используется не к исходной информации, а к преобразованным данным. Так, рассматривая степенную функцию

,

преобразовываем ее в линейный вид:

,

где переменные выражены в логарифмах.

Далее обработка МНК такая же: строится система нормальных уравнений и определяются неизвестные параметры. Потенцируя значение , находим параметр a и соответственно общий вид уравнения степенной функции. Оценка нелинейной регрессии по включенным переменным определяется МНК или его модификациями, как и в линейной регрессии. Так, в двухфакторном уравнении нелинейной регрессии

может быть проведена линеаризация, введением в него новых переменных . В результате получается четырехфакторное уравнение линейной регрессии

.

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

1.      Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например

- полиномы различных степеней , ;

равносторонняя гипербола ;

полулогарифмическая функция .

2.      Регрессии, нелинейные по оцениваемым параметрам, например

- степенная ;

показательная ;

экспоненциальная .

Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции.

Парабола второй степени  приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению , оценка параметров которого при помощи МНК.

Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.

Равносторонняя гипербола  может быть использована для характеристики обратной связи между факторами (например, удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота, процента прироста заработной платы от уровня безработицы, расходов на непродовольственные товары от доходов или общей суммы расходов). Гипербола приводится к линейному уравнению простой заменой: .

Аналогичным образом приводятся к линейному виду зависимости ,  и другие.

Среди нелинейных моделей наиболее часто используется степенная функция , которая приводится к линейному виду логарифмированием:

;

;

,

где . Т.е. МНК применяется для преобразованных данных:

а затем потенцированием находим искомое уравнение.

Для определения неизвестных коэффициентов линеаризованной формы показательной функции методом наименьших квадратов необходимо минимизировать сумму квадратов отклонений логарифмов наблюдаемых значений результативной переменной У от теоретических значений Ỹ (значений, рассчитанных на основании модели регрессии), т. е. минимизировать функционал МНК вида:

Оценки неизвестных коэффициентов А и В линеаризованной формы показательной функции находятся при решении системы нормальных уравнений вида:

Данная система является системой нормальных уравнений относительно коэффициентов А и В для функции вида Yi=A+Bхi+E.

Однако основным недостатком полученных МНК-оценок неизвестных коэффициентов моделей регрессии, сводимых к линейному виду, является их смещённость.

.2 Лог-линейная регрессия, как модель с постоянной эластичностью

Регрессия, линейная в логарифмах, именуется лог-линейной регрессией.

Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции  для линейной регрессии (-1 ≤ ≤ 1):

,

где  - среднее квадратическое отклонение в ряду x,

- среднее квадратическое отклонение в ряду y.

Линейный коэффициент корреляции как измеритель тесноты линейной связи признаков связан не только с коэффициентом регрессии b, но и с коэффициентом эластичности, который является показателем силы связи, выраженным в процентах.

Коэффициент эластичности отражает, на сколько процентов изменится значение y при изменение значения фактора на 1%. Коэффициент эластичности рассчитывается как .

Обобщающий (средний) коэффициент эластичности рассчитывается для среднего значения :

и показывает, на сколько процентов изменится y относительно своего среднего уровня при росте x на 1% относительно своего среднего уровня.

Точечный коэффициент эластичности рассчитывается для конкретного значения x=x₀:

и показывает, на сколько процентов изменится y относительно своего уровня y(x₀) при увеличении  на 1% от уровня x₀.

Степенная функция является примером нелинейной по параметрам регрессии. Данная модель нелинейна относительно оцениваемых параметров, т.к. включает параметры a и b неаддитивно. Однако ее можно считать внутренне линейной, так как логарифмирование приводит ее к линейному виду: .

При исследовании взаимосвязей среди функций, использующих ln y, в эконометрике преобладают степенные зависимости - это кривые спроса и предложения, кривые освоения для характеристики связи между трудоемкостью продукции и масштабами производства в период освоения выпуска нового вида изделий, а также зависимость валового национального дохода от уровня занятости.

Для оценки параметров степенной функции  применяется МНК к линеаризованному уравнению , т.е. решается система нормальных уравнений:

Параметр b определяется непосредственно из системы, а параметр a - косвенным путем после потенцирования величины ln a.

Так как в виде степенной функции изучается не только эластичность спроса, но и предложения, то обычно параметром b<0 характеризуется эластичность спроса, а параметром b>0 - эластичность предложения.

Если же модель представить в виде:

,

то она становится внутренне нелинейной, так как ее невозможно превратить в линейный вид, то же относится к моделям вида:

,

так как эти уравнения не могут быть преобразованы в уравнения, линейные по коэффициентам.

Ниже представлены формулы расчета коэффициентов эластичности (табл. 1).

Широкое использование степенной функции связано с тем, что параметр  в ней имеет четкое экономическое истолкование - он является коэффициентом эластичности. Коэффициент эластичности фактора - результата Y по фактору X показывает, на сколько процентов изменится в среднем результат Y, если фактор X изменится на 1%.

Таблица 1. Формулы коэффициентов точечной эластичности и средних коэффициентов эластичности

Формула для расчета коэффициента эластичности имеет вид:

.

Так как для остальных функций коэффициент эластичности не является постоянной величиной, а зависит от соответствующего значения фактора X, то обычно рассчитывается средний коэффициент эластичности:

.

Приведем дополнительные формулы расчета средних коэффициентов эластичности для наиболее часто используемых типов уравнений регрессии (табл.2)

Возможны случаи, когда расчет коэффициента эластичности не имеет смысла. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения в процентах.

В двухфакторном регрессионном анализе найти уравнение регрессии в стандартизированном масштабе  можно через формулы:

, .

На основе линейного уравнения множественной регрессии:

могут быть найдены частные уравнения регрессии:

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном среднем уровне. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности:

где b_j - коэффициент регрессии при j-ом факторе;

‒ частное уравнение регрессии.

Для того чтобы оценить сравнительную силу влияния факторов, по каждому фактору рассчитывают средние коэффициенты эластичности.

,

где - среднее значение j-го факторного признака;

 - среднее значение результативного признака;

 - коэффициент регрессии при j-м факторном признаке.

Расчет коэффициента эластичности дополняет экономический анализ. Данный коэффициент показывает, на сколько процентов следует ожидать изменения результативного показателя при изменении фактора на 1% и неизменном значении других факторов.

2. Практическая часть

.1 Характеристика экзогенных и эндогенных переменных. Построение двухфакторного уравнения регрессии. Построение однофакторных уравнений линейной регрессии. Прогнозирование значения результативного признака

Список переменных, используемых в модели

У - индекс человеческого развития (ИЧР) - безразмерная величина;

Х1 - ВВП 1997 г., % к 1990 г. - безразмерная величина;

Х6 - ожидаемая продолжительность жизни при рождении в 1997 г., число лет дожития

Эндогенной переменной в модели Y=F(X1, X6) является У (ее значение будет определятся в модели), соответственно, Х1, Х6 - это экзогенные переменные (их значения задаются извне).

Таблица 2. Исходные значения переменных

Подготовим данные к обработке - проранжируем их, проследим, какие связи между ними. Поле рассеяния Х1, Х6 на У показано на рис.1. На графике видно, что наличествует прямая линейная зависимость Х6 от У. Для Х1 не прослеживается определенная зависимость результирующего признака У от фактора Х6. График распадается на 2 части: в диапазоне У от 0,55 до 0,7 связь прямая и линейная, затем слом уровня Х6 в 5 раз и опять проступает повышательный тренд в диапазоне 0,7 до 1. Эти графические наблюдения показывают, что для линейной регрессии У от Х6 мало оснований.

Строим многофакторную линейную регрессию для модели

=a+b1*X1+b2*X6

Применив МНК, получаем такое эмпирическое уравнение регрессии (полные результаты приведены в Прил.1)

= -0,63377-0,000552*X₁ + 0,020747*X6

Рис.1

Примечание: из-за разной масштабности Х1 и Х6 данные по Х6 отложены на правой шкале.

Множественный коэффициент корреляции (Индекс множественной корреляции).

Тесноту совместного влияния факторов на результат оценивает индекс множественной корреляции. В отличии от парного коэффициента корреляции, который может принимать отрицательные значения, он принимает значения от 0 до 1. Поэтому R не может быть использован для интерпретации направления связи. Чем плотнее фактические значения Yi располагаются относительно линии регрессии, тем меньше остаточная дисперсия и, следовательно, больше величина R_y(x1,...,xm).

Таким образом, при значении R близком к 1, уравнение регрессии лучше описывает фактические данные и факторы сильнее влияют на результат. При значении R близком к 0 уравнение регрессии плохо описывает фактические данные и факторы оказывают слабое воздействие на результат.

Аналогичный результат получим при использовании других формул:

Связь между признаком Y и факторами X_i очень высокая.

Расчёт коэффициента корреляции выполним, используя известные значения линейных коэффициентов парной корреляции и в-коэффициентов.

Коэффициент детерминации, ²= 0,976² = 0,952. Эта величина показывает, что 95,2 % колебаний У объяснено этим уравнением, оставшиеся 4,8% относятся на ошибки спецификации и случайную ошибку. Коэффициент детерминации также равен доле факторной дисперсии в общей дисперсии. Такое высокое значение - хороший результат.

Проверка общего качества уравнения множественной регрессии.

Оценка значимости уравнения множественной регрессии осуществляется путем проверки гипотезы о равенстве нулю коэффициент детерминации рассчитанного по данным генеральной совокупности: R² или b₁ = b₂ =... = b_m = 0 (гипотеза о незначимости уравнения регрессии, рассчитанного по данным генеральной совокупности).

Для ее проверки используют F-критерий Фишера.

При этом вычисляют фактическое (наблюдаемое) значение F-критерия, через коэффициент детерминации R², рассчитанный по данным конкретного наблюдения.

По таблицам распределения Фишера-Снедоккора находят критическое значение F-критерия (Fкр). Для этого задаются уровнем значимости б (0,05) и двумя числами степеней свободы k₁=m и k₂=n-m-1. статистика. Критерий Фишера.

Чем ближе этот коэффициент к единице, тем больше уравнение регрессии объясняет поведение Y.

Более объективной оценкой является скорректированный коэффициент детерминации:

Добавление в модель новых объясняющих переменных осуществляется до тех пор, пока растет скорректированный коэффициент детерминации.

Проверим гипотезу об общей значимости - гипотезу об одновременном равенстве нулю всех коэффициентов регрессии при объясняющих переменных:

₀: R² = 0; в₁ = в₂ = ... = в_m = 0. ₁: R² ≠ 0.

Проверка этой гипотезы осуществляется с помощью F-статистики распределения Фишера (правосторонняя проверка). =

Если F < F_kp = F_{б ; n-m-1}, то нет оснований для отклонения гипотезы H₀.

Табличное значение при степенях свободы k₁ = 2 и k₂ = n-m-1 = 25 - 2 - 1 = 22, Fkp(2;22) = 3,44

Отметим значения на числовой оси.

Таблица 3

Поскольку фактическое значение F=219,61 > Fkp =3,44, нулевую гипотезу принимаем, соответственно, коэффициент детерминации статистически значим и уравнение регрессии статистически надежно.

Оценка значимости дополнительного включения фактора (частный F-критерий).

Необходимость такой оценки связана с тем, что не каждый фактор, вошедший в модель, может существенно увеличить долю объясненной вариации результативного признака. Это может быть связано с последовательностью вводимых факторов (т. к. существует корреляция между самими факторами).

Мерой оценки значимости улучшения качества модели, после включения в нее фактора х_j, служит частный F-критерий - F_xj:

где m - число оцениваемых параметров.

В числителе - прирост доли вариации у за счет дополнительно включенного в модель фактора х_j.

Если наблюдаемое значение F_xj больше F_kp, то дополнительное введение фактора x_j в модель статистически оправдано.

Частный F-критерий оценивает значимость коэффициентов «чистой» регрессии (b_j). Существует взаимосвязь между частным F-критерием - F_xj и t-критерием, используемым для оценки значимости коэффициента регрессии при j-м факторе:

Оценим с помощью частного F-критерия:

) целесообразность включения в модель регрессии факторов х₁ после введения х_j (F_x1).

Определим наблюдаемое значение частного F-критерия:

R²(X6,x_n = r²(X6) = 0,962² = 0,926 _kp(k1=1;k2=22) = 4,3

Сравним наблюдаемое значение частного F-критерия с критическим: _x1>4,3, следовательно, фактор Х₁ целесообразно включать в модель после введения факторов Х_j.

) целесообразность включения в модель регрессии факторов Х₆ после введения х_j (F_X6).

Определим наблюдаемое значение частного F-критерия:

²(x₁,x_n = r²(x₁) = -0,00434² = 1,9E-5

Сравним наблюдаемое значение частного F-критерия с критическим: _X6>4,3, следовательно, фактор х₆ целесообразно включать в модель после введения факторов х_j.

Таким образом, по уравнению множественной регрессии можно сделать вывод о его статистической надежности.

Теперь вычислим оценки парных регрессий.

Y=a+b*X1

Y=a+b*X6

Для регрессии У на Х1 получаем такие оценки (см. Прил.2)

Y = -0,000014451*X1 + 0,8513

Видно, что оценка при Х1 настолько близка к 0, что этот фактор практически не работает в уравнении.

Линейный коэффициент корреляции рассчитывается по формуле:

Линейный коэффициент корреляции принимает значения от -1 до +1.

Связи между признаками могут быть слабыми и сильными (тесными). Их критерии оцениваются по шкале Чеддока:

,1 < r_xy < 0,3: слабая;

,3 < r_xy < 0,5: умеренная;

,5 < r_xy < 0,7: заметная;

,7 < r_xy < 0,9: высокая;

,9 < r_xy < 1: весьма высокая;

В нашем примере связь между признаком Y фактором X1 слабая и обратная.

Коэффициент эластичности.

Коэффициенты регрессии нежелательно использовать для непосредственной оценки влияния факторов на результативный признак в том случае, если существует различие единиц измерения результативного показателя у и факторного признака Х, как это имеет место в данном случае. Для этих целей вычисляются коэффициенты эластичности и бета - коэффициенты.

Средний коэффициент эластичности E показывает, на сколько процентов в среднем по совокупности изменится результат У от своей средней величины при изменении фактора X1 на 1% от своего среднего значения.

Коэффициент эластичности находится по формуле:

Коэффициент эластичности меньше 1. Следовательно, при изменении Х1 на 1%, Y изменится менее чем на 1%. Другими словами - влияние Х1 на Y не существенно.

Бета - коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

Т.е. увеличение x на величину среднеквадратического отклонения S_x приведет к уменьшению среднего значения Y на 0,43% среднеквадратичного отклонения S_y.

Для линейной регрессии индекс корреляции равен коэффициенту корреляции r_x1y = -0.00434. Полученная величина r_x1y свидетельствует о том, что фактор x1 никак не влияет на Y

Значимость коэффициента корреляции.

Выдвигаем гипотезы: ₀: r_xy = 0, нет линейной взаимосвязи между переменными; ₁: r_xy ≠ 0, есть линейная взаимосвязь между переменными;

Для того чтобы при уровне значимости б проверить нулевую гипотезу о равенстве нулю генерального коэффициента корреляции нормальной двумерной случайной величины при конкурирующей гипотезе H₁ ≠ 0, надо вычислить наблюдаемое значение критерия (величина случайной ошибки)

и по таблице критических точек распределения Стьюдента, по заданному уровню значимости б и числу степеней свободы k = n - 2 найти критическую точку t_крит двусторонней критической области. Если t_набл < t_крит оснований отвергнуть нулевую гипотезу. Если |t_набл| > t_крит - нулевую гипотезу отвергают.

По таблице Стьюдента с уровнем значимости б=0,05 и степенями свободы k=23 находим

_крит: t_крит (n-m-1;б/2) = (23;0,025) = 2,069

где m = 1 - количество объясняющих переменных.

Если |t_набл| > t_критич, то полученное значение коэффициента корреляции признается значимым (нулевая гипотеза, утверждающая равенство нулю коэффициента корреляции, отвергается).

Поскольку |t_набл| < t_крит, то принимаем гипотезу о равенстве 0 коэффициента корреляции. Другими словами, коэффициент корреляции статистически незначим

Отметим значения на числовой оси.

Таблица 4

Нулевую гипотезу отвергаем.

Результаты регрессии У на Х6.

Y = 0,02018*X6 -0,6521

Линейный коэффициент корреляции считаем по формуле:

В нашем примере связь между признаком Y фактором X6 весьма высокая и прямая.

Смысл оценок параметров регрессии:

коэффициент регрессии b = 0,0202 показывает среднее изменение результативного показателя (в единицах измерения У) с повышением или понижением величины фактора Х6 на единицу его измерения. В данном примере с увеличением на 1 единицу Y повышается в среднем на 0,0202.

Коэффициент a = -0,65 формально показывает прогнозируемый уровень У, но только в том случае, если х6=0 находится близко с выборочными значениями.

Но если х6=0 находится далеко от выборочных значений х6, то буквальная интерпретация может привести к неверным результатам, и даже если линия регрессии довольно точно описывает значения наблюдаемой выборки, нет гарантий, что также будет при экстраполяции влево или вправо.

Подставив в уравнение регрессии соответствующие значения х6, можно определить выровненные (предсказанные) значения результативного показателя y(x6) для каждого наблюдения.

Связь между У и Х определяет знак коэффициента регрессии b (если > 0 - прямая связь, иначе - обратная). В нашем примере связь прямая.

Коэффициент эластичности.

Коэффициент эластичности находится по формуле:

В нашем примере коэффициент эластичности больше 1. Следовательно, при изменении Х6 на 1%, Y изменится более чем на 1%. Другими словами, Х6 существенно влияет на Y.

Бета - коэффициент показывает, на какую часть величины своего среднего квадратичного отклонения изменится в среднем значение результативного признака при изменении факторного признака на величину его среднеквадратического отклонения при фиксированном на постоянном уровне значении остальных независимых переменных:

Т.е. увеличение x6 на величину среднеквадратического отклонения S_x6 приведет к увеличению среднего значения Y на 96,2% среднеквадратичного отклонения S_y.

Квадрат (множественного) коэффициента корреляции называется коэффициентом детерминации, который показывает долю вариации результативного признака, объясненную вариацией факторного признака. ²= 0,962² = 0,9255

т,е. в 92,55 % случаев изменения Х6 приводят к изменению Y. Соответственно, точность подбора уравнения регрессии высокая. Остальные 7,45 % изменения Y объясняются факторами, не учтенными в модели (а также ошибками спецификации).

Анализ данных этой таблицы показывает, что регрессия для Х1 не может быть принята для дальнейшего использования - она статистически ненадежна. Сравнение многофакторной регрессии и парной регрессии У на Х6 показывает, что многофакторная регрессия лучше, но из-за того, что в ней оценки фактора Х1 ненадежны (t набл = -3,512859127 при уровне критическом в 2,073873068 с 95% вероятностью незначима), этот фактор следует удалить.