Общие сведения о регрессионном анализе

Проверка качества модели

В задачу регрессионного анализа входит не только построение самой модели, но и исследование ее соответствия реальным (фактическим) данным.

Оценки и параметров регрессионного уравнениядолжны обладать определенными свойствами. Они должны быть несмещенными, состоятельными и эффективными.

Несмещенность оценок означает, что математическое ожидание остатков равно 0.

Оценки считаются эффективными, если они характеризуются наименьшей дисперсией.

Состоятельность оценок характеризует увеличение их точности с увеличением объема выборки.

Указанные критерии оценок (несмещенность, состоятельность и эффективность) обязательно учитываются при разных способах оценивания. МНК строит оценки регрессии на основе минимизации суммы квадратов остатков. Поэтому для проверки названных критериев важно исследовать поведение остаточных величин регрессии. Условия, необходимые для получения несмещенных, состоятельных и эффективных оценок, представляют собой предпосылки МНК, соблюдение которых желательно для получения достоверных результатов регрессии.

Исследования остатков предполагают проверку наличия следующих пяти предпосылок МНК:

1) случайный характер остатков;

2) независимость остатков или отсутствие их автокорреляции;

3) остатки подчиняются нормальному распределению;

4) нулевая средняя величина остатков (или их математическое ожидание), не зависящая от уровней фактора Х;

5) гомоскедастичность остатков – дисперсия каждого отклонения одинакова для всех значений фактора.

Теорема Гаусса-Маркова. Если регрессионная модель удовлетворяет предпосылкам1, 2, 4, 5,то оценки и имеют наименьшую дисперсию в классе всех линейных несмещенных оценок.

Выполнение предпосылки 3 (нормальность распределения остатков) позволяет использовать критерии t и F (см. ниже)при анализе свойств модели и ее параметров.

Проверка первых четырех предпосылок представляет собой исследование адекватности модели определенным статистическим критериям. Этот материал подробно рассмотрен в курсе ЭММиПМ в теме «Моделирование и прогнозирование временных рядов»[5].

Рассмотрим подробнее исследование гомоскедастичности остатков. Остатки считаются гомоскедастичными, если для каждого значения фактора они имеют одинаковую дисперсию. Иными словами остатки распределены вдоль оси абсцисс случайно с одинаковой частотой и амплитудой. В этом случае на графике остатков они расположены в виде достаточно узкой горизонтальной полосы[6] (рис.9).

Рис. 9. Гомоскедастичные остатки

Если это условие не соблюдается, то имеет место гетероскедастичность остатков. Гетероскедастичные остатки имеют направленность в своем распределении (рис. 10).

Рис. 10. Гетероскедастичные остатки

При малом объеме выборки для оценки гетероскедастичности может использоваться метод Гольдфельда – Квандта, разработанный в 1965 году. Тест, предложенный этими учеными, включает в себя следующие шаги:

1. Упорядочение n наблюдений по мере возрастания переменной X.

2. Исключение из рассмотрения С центральных наблюдений; при этом (n-C):2>p, где р – число оцениваемых параметров ().

3. Разделение совокупности из (n-C) наблюдений на две группы (соответственно с малыми и большими значениями фактора Х) и определение по каждой из групп уравнений регрессии.

4. Определение остаточной суммы квадратов для первой (S1) и второй (S2) групп и нахождение их отношения: R=S1:S2 (в числителе должна стоять большая величина).

Вывод о гомоскедастичности делается с помощью F-критерия Фишера с (n-C-2p):2 (р – число оцениваемых в уравнении параметров; для парной регрессии р=2) степенями свободы для каждой остаточной суммы квадратов. Чем больше величина R превышает табличное значение F-критерия, тем более нарушена предпосылка о равенстве дисперсий остаточных величин.

Замечание

Табличное значение F -критерия можно найти с помощью статистической функции FРАСПОБР.

Протестируем данные нашего примера на наличие гомоскедастичности остатков.

Пример (продолжение).

2) проверить выполнение предпосылок МНК:

Проверку предпосылок 1 – 4 выполнить самостоятельно, используя материал дисциплины ЭММиПМ.

Проверка предпосылки 5:

1. Упорядочим переменную Y по возрастанию фактора Х (в Excel для этого можно использовать команду Данные – Сортировка – По возрастанию Х).

Исходные данные

Упорядоченные данные

2. Уберем из середины упорядоченной совокупности С=1/4*n=1/4*9 2 значения. В результате получим две совокупности по ½*(9-2)=4 значения соответственно с малыми и большими значениями Х.

3. Для каждой совокупности в отдельности выполним регрессионный анализ (рисунок 11).

Для первой совокупности:

Для второй совокупности:

Рис. 11.Фрагменты регрессионного анализа для первой и второй совокупностей соответственно

4. Найдем отношение полученных остаточных сумм квадратов (в числителе должна быть большая сумма):

5. Вывод о наличии гомоскедастичности остатков делаем с помощью F-критерия Фишера с уровнем значимости и двумя одинаковыми степенями свободы:

Так как , то обнаруживается наличие гомоскедастичности в остатках модели по отношению к фактору Х.

■

Замечание

При нарушении гомоскедастичности остатков модели и наличии автокорреляции в них рекомендуется заменять традиционный МНК обобщенным МНК (ОМНК), в основе которого лежит работа с предварительно преобразованными исходными данными[7].

Для анализа качества регрессионных моделей используется ряд дополнительных специфических характеристик. К ним относится, например, индекс корреляции:

.

Этот коэффициент является универсальным, так как отражает тесноту связи и точность модели, может использоваться при любой форме связи переменных. Для парной линейной модели индекс корреляции равен коэффициенту парной корреляции, т.е.

.

На практике чаще используется его квадрат, который называется коэффициентом детерминации:

.

, иногда выражают не в долях, а в процентах.

Коэффициент детерминации показывает,какая доля вариации (случайных колебаний, общей дисперсии) признака Y учтена в построенной модели и обусловлена случайными колебаниями включенного в нее фактора. Качество модели тем лучше, чем ближе к 1. Иными словами характеризует степень влияния включенных в модель факторов. Влияние факторов, не учтенных в модели, определяется тогда величиной 1- . Модель тем лучше, чем больше и меньше 1- .

Для оценки уровня точности регрессионных моделей используется также средняя относительная ошибка аппроксимации

Парная нелинейная регрессия

Общий вид регрессионной модели:

. (1)

Если в уравнении (1) присутствует только один фактор X, а f – нелинейная математическая функция, получим парную нелинейную модель регрессии вида

Y=f(X).

Парная линейная регрессия проста в использовании, удобна и наглядна. Но среди реальных экономических данных линейные зависимости встречаются нечасто. Поэтому в эконометрических исследованиях чаще применяются нелинейные модели (рис. 16).

а) гиперболическая функция может использоваться для показателей, достигающих насыщения, начиная с определенных значений фактора (верхняя горизонтальная асимптота);

б) парабола применяется в тех случаях, когда исследуемая величина меняет направление своего развития;

в) затухающие колебания могут характеризовать объемы продаж сезонного товара на этапе ухода с рынка.

Рис. 16. Примеры нелинейных зависимостей

Различают два класса нелинейных регрессий:

1) регрессии, нелинейные относительно объясняющих переменных, но линейные по оцениваемым параметрам;

2) регрессии, нелинейные как относительно объясняющих переменных, так и относительно оцениваемых параметров.

К первому классу относятся, например:

1) полиномы разных степеней

;

2) равносторонняя гипербола

.

Ко второму классу относятся:

1) степенная функция

;

2) показательная

;

3) экспоненциальная

.

Работа с такими моделями сводится к их предварительной линеаризации (приведению к линейному виду). Модели из первого класса приводятся к линейному виду простой заменой переменных. Для линеаризации моделей второго класса используют полулогарифмическую функцию или логарифмирование. Полученные таким образом вспомогательные линейные модели оценивают обычным МНК. Затем осуществляют обратный переход к нелинейной функции.

Замечание.

Если модель второго класса с помощью соответствующих преобразований может быть приведена к линейному виду, то она называется внутренне линейной, если же модель не может быть сведена к линейной функции, то она называется внутренне нелинейной (например, и другие). Для оценки параметров таких моделей используются итеративные процедуры.

Кривые Энгеля и Филлипса [8]

Пример

Пусть зависимая переменная y – средняя заработная плата продавцов (в тыс. руб.) в семи различных торговых точках, а фактор x – чистая среднемесячная прибыль (в тыс. руб.) в них (исходные данные приведены в таблице 1).

Таблица 1

Требуется:

Степенная модель

.

Линеаризация:

,

обозначим lg y=Y, lg x= X, и получим вспомогательную линейную модель вида

Y=A+bX.

Для ее построения воспользуемся таблицей 2 (столбцы X=lg x и Y=lg y) и результатами регрессионного анализа.

Таблица 2

Вспомогательная линейная модель примет вид

Y=-4.346+2.789*X.

Обратный переход к степенной функции:

Степенная модель парной регрессии примет вид:

.

С помощью этой модели рассчитываем все последующие столбцы таблицы 1, начиная с и далее.

Качественные характеристики модели:

–

84.4 % случайной вариации переменной средняя заработная плата (y) учтено в построенной модели и обусловлено случайными колебаниями фактора чистая прибыль (х);

–

фактические значения средней зарплаты отличаются от рассчитанных на основе степенной модели в среднем на 14 %.

График:

Показательная модель

.

Линеаризация:

Таблица 3

Y=-0.161+0.0133*x – вспомогательная линейная модель.

Обратный переход:

Окончательно показательная модель примет вид:

.

Качественные характеристики модели:

–

77,6 % случайной вариации переменной средняя заработная плата (y) учтено в построенной модели и обусловлено случайными колебаниями фактора чистая прибыль (х);

–

фактические значения средней зарплаты отличаются от рассчитанных на основе модели в среднем на 28 %, модель неточная.

График:

Гиперболическая модель

Линеаризация:

используем простую замену ,

.

Таблица 4

– вспомогательная линейная модель;

– гиперболическая модель.

Качественные характеристики модели:

–

86,6 % случайной вариации переменной средняя заработная плата (y) учтено в построенной модели и обусловлено случайными колебаниями фактора средняя чистая прибыль (х);

–

фактические значения средней зарплаты отличаются от рассчитанных на основе модели в среднем на 51,8 %, модель неточная.

График:

Сравнение моделей

Таблица 5

Модель
Степенная	0.844	14.02
Показательная	0.776	27.78
Гипербoлическая	0.866	51.8

Общие сведения о регрессионном анализе

Регрессионный анализ предназначен для исследования количественных взаимосвязей переменных и представления их в виде регрессионной модели.

Виды регрессий:

1) по числу переменных:

- парная,

- множественная,

- частная;

2) по виду связи переменных:

- линейная,

- нелинейная;

3) по направлению связей:

- положительная,

- отрицательная.

Задачи регрессионного анализа:

1. Установление формы связи, построение модели.

2. Оценка качества моделей.

3. Распределение факторов по степени влияния на показатель.

4. Построение прогноза.

Общий вид регрессионной модели:<