Множественный линейный регрессионный анализ

Парная регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Если же этим влиянием пренебречь нельзя, то в этом случае следует попытаться выявить влияние других факторов, введя их в модель, т.е. построить уравнение множественной регрессии

       ,

где  – зависимая переменная (результативный признак),  – независимые, или объясняющие, переменные (признаки-факторы).

Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и целом ряде других вопросов моделирования социально-экономических процессов. В настоящее время множественная регрессия – один из наиболее распространенных инструментов моделирования. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Он включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии.

Включение в уравнение множественной регрессии того или иного набора факторов связано прежде всего с представлением исследователя о природе взаимосвязи моделируемого показателя с другими экономическими явлениями. Факторы, включаемые во множественную регрессию, должны отвечать следующим требованиям:

1. Они должны быть количественно измеримы. Если необходимо включить в модель качественный фактор, не имеющий количественного измерения, то ему нужно придать количественную определенность.

2. Факторы не должны быть интеркоррелированы и тем более находиться в точной функциональной связи.

3. Включение в модель факторов с высокой интеркорреляцией, может привести к нежелательным последствиям – система нормальных уравнений может оказаться плохо обусловленной и повлечь за собой неустойчивость и ненадежность оценок коэффициентов регрессии.

4. Если между факторами существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Включаемые во множественную регрессию факторы должны объяснить вариацию независимой переменной. Если строится модель с набором факторов, то для нее рассчитывается показатель детерминации, который фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как с соответствующей остаточной дисперсией.

При дополнительном включении в регрессию фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться:

          и     .

Если же этого не происходит, и данные показатели практически не отличаются друг от друга, то включаемый в анализ фактор не улучшает модель и практически, является лишним фактором.

Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по критерию Стьюдента.

Таким образом, хотя теоретически регрессионная модель позволяет учесть любое число факторов, практически в этом нет необходимости. Отбор факторов производится на основе качественного теоретико-экономического анализа. Однако теоретический анализ часто не позволяет однозначно ответить на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов обычно осуществляется в две стадии: на первой подбираются факторы исходя из сущности проблемы; на второй – на основе матрицы показателей корреляции определяют статистики для параметров регрессии.

Коэффициенты интеркорреляции (т.е. корреляции между объясняющими переменными) позволяют исключать из модели дублирующие факторы. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если .  Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами. В этом требовании проявляется специфика множественной регрессии как метода исследования комплексного воздействия факторов в условиях их независимости друг от друга.

По величине парных коэффициентов корреляции обнаруживается лишь явная коллинеарность факторов. Наибольшие трудности в использовании аппарата множественной регрессии возникают при наличии мультиколлинеарности факторов, когда более чем два фактора связаны между собой линейной зависимостью, т.е. имеет место совокупное воздействие факторов друг на друга. Наличие мультиколлинеарности факторов может означать, что некоторые факторы будут всегда действовать в унисон. В результате, вариация в исходных данных перестает быть полностью независимой и нельзя оценить воздействие каждого фактора в отдельности.

Включение в модель мультиколлинеарных факторов нежелательно в силу следующих последствий:

1. Затрудняется интерпретация параметров множественной регрессии как характеристик действия факторов в «чистом» виде, ибо факторы коррелированы; параметры линейной регрессии теряют экономический смысл.

2. Оценки параметров ненадежны, обнаруживают большие стандартные ошибки и меняются с изменением объема наблюдений (не только по величине, но и по знаку), что делает модель непригодной для анализа и прогнозирования.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами.

Если бы факторы не коррелировали между собой, то матрица парных коэффициентов корреляции между факторами была бы единичной матрицей, поскольку все недиагональные элементы  были бы равны нулю. Так, для уравнения, включающего три объясняющих переменных      матрица коэффициентов корреляции между факторами имела бы определитель, равный единице:

       .

Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты корреляции равны единице, то определитель такой матрицы равен нулю:

       .

Чем ближе к нулю определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И, наоборот, чем ближе к единице определитель матрицы межфакторной корреляции, тем меньше мультиколлинеарность факторов.

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные. Ввиду четкой интерпретации параметров наиболее широко используется линейная функция. В линейной множественной регрессии  параметры при  называются коэффициентами регрессии. Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии

       .    

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака  от расчетных  минимальна:

       .

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю. Имеем функцию  аргумента:

       .

Находим частные производные первого порядка:

      

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии:

         

Для двухфакторной модели данная система будет иметь вид:

      

Пример. Пусть имеются следующие данные (условные) о сменной добыче угля на одного рабочего  (т), мощности пласта  (м) и уровне механизации работ  (%), характеризующие процесс добычи угля в 10 шахтах.

№	1	2	3	4	5	6	7	8	9	10
	8	11	12	9	8	8	9	9	8	12
	5	8	8	5	7	8	6	4	5	7
	5	10	10	7	5	6	6	5	6	8

Предполагая, что между переменными , ,  существует линейная корреляционная зависимость, найдем уравнение регрессии  по  и . Для удобства дальнейших вычислений составляем таблицу ():

№
1	2	3	4	5	6	7	8	9	10	11	12
1	8	5	5	64	25	25	40	40	25	5,13	0,016
2	11	8	10	121	64	100	88	110	80	8,79	1,464
3	12	8	10	144	64	100	96	120	80	9,64	0,127
4	9	5	7	81	25	49	45	63	35	5,98	1,038
5	8	7	5	64	49	25	56	40	35	5,86	0,741
6	8	8	6	64	64	36	64	48	48	6,23	0,052
7	9	6	6	81	36	36	54	54	36	6,35	0,121
8	9	4	5	81	16	25	36	45	20	5,61	0,377
9	8	5	6	64	25	36	40	48	30	5,13	0,762
10	12	7	8	144	49	64	84	96	56	9,28	1,631
Сумма	94	63	68	908	417	496	603	664	445	68	6,329
Среднее значение	9,4	6,3	6,8	90,8	41,7	49,6	60,3	66,4	44,5	–	–

Для нахождения параметров уравнения регрессии в данном случае необходимо решить следующую систему нормальных уравнений:

      

Откуда получаем, что , , . Т.е. получили следующее уравнение множественной регрессии:

.

Оно показывает, что при увеличении только мощности пласта  (при неизменном ) на 1 м добыча угля на одного рабочего  увеличится в среднем на 0,854 т, а при увеличении только уровня механизации работ  (при неизменном ) на 1% – в среднем на 0,367 т.

 

 

Задания для самостоятельного решения:

1. Определите функцию спроса (зависимость сбыта  от цены товара ) по следующим даны:

Цена (тыс.руб)	54	50	55	59	60	58	64
Объем сбыта  (шт.)	570	600	580	510	480	500	450

 

Построить линейное уравнение регрессии и проверить его значимость. Осуществите прогноз при цене равной 68 тыс.руб.

2. В следующей таблице представлены данные о рентах и свободных площадях для десяти городов.

Город	1	2	3	4	5	6	7	8	9	10
Доля площадей	10	2	7	8	4	6	7	8	9	10
Месячная рента за квадратный фут (долл.)	5,0	2,5	4,75	4,5	3,0	4,5	4,0	3,0	3,25	2,75

Построить линейное уравнение регрессии и проверить его значимость. Выполните прогноз доли свободной площади для города с месячной рентой за квадратный фут $3,50.

3. По 20 предприятиям региона изучается зависимость выработки продукции на одного работника  (тыс. руб.) от ввода в действие новых основных фондов  (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих  (%). Требуется построить линейную модель множественной регрессии по следующим данным:

Вариант 1

Номер предприятия				Номер предприятия
1	6	3,6	9	11	9	6,3	21
2	6	3,6	12	12	11	6,4	22
3	6	3,9	14	13	11	7	24
4	7	4,1	17	14	12	7,5	25
5	7	3,9	18	15	12	7,9	28
6	7	4,5	19	16	13	8,2	30
7	8	5,3	19	17	13	8	30
8	8	5,3	19	18	13	8,6	31
9	9	5,6	20	19	14	9,5	33
10	10	6,8	21	20	14	9	36

Вариант 2

Номер предприятия				Номер предприятия
1	6	3,5	10	11	10	6,3	21
2	6	3,6	12	12	11	6,4	22
3	7	3,9	15	13	11	7	23
4	7	4,1	17	14	12	7,5	25
5	7	4,2	18	15	12	7,9	28
6	8	4,5	19	16	13	8,2	30
7	8	5,3	19	17	13	8,4	31
8	9	5,3	20	18	14	8,6	31
9	9	5,6	20	19	14	9,5	35
10	10	6	21	20	15	10	36

Вариант 3

Номер предприятия				Номер предприятия
1	7	3,7	9	11	11	6,3	22
2	7	3,7	11	12	11	6,4	22
3	7	3,9	11	13	11	7,2	23
4	7	4,1	15	14	12	7,5	25
5	8	4,2	17	15	12	7,9	27
6	8	4,9	19	16	13	8,1	30
7	8	5,3	19	17	13	8,4	31
8	9	5,1	20	18	13	8,6	32
9	10	5,6	20	19	14	9,5	35
10	10	6,1	21	20	15	9,5	36

Вариант 4

Номер предприятия				Номер предприятия
1	7	3,5	9	11	10	6,3	22
2	7	3,6	10	12	10	6,5	22
3	7	3,9	12	13	11	7,2	24
4	7	4,1	17	14	12	7,5	25
5	8	4,2	18	15	12	7,9	27
6	8	4,5	19	16	13	8,2	30
7	9	5,3	19	17	13	8,4	31
8	9	5,5	20	18	14	8,6	33
9	10	5,6	21	19	14	9,5	35
10	10	6,1	21	20	15	9,6	36

Вариант 5

Номер предприятия				Номер предприятия
1	7	3,6	9	11	10	6,3	21
2	7	3,6	11	12	11	6,9	23
3	7	3,7	12	13	11	7,2	24
4	8	4,1	16	14	12	7,8	25
5	8	4,3	19	15	13	8,1	27
6	8	4,5	19	16	13	8,2	29
7	9	5,4	20	17	13	8,4	31
8	9	5,5	20	18	14	8,8	33
9	10	5,8	21	19	14	9,5	35
10	10	6,1	21	20	14	9,7	34

Вариант 6

Номер предприятия				Номер предприятия
1	7	3,5	9	11	10	6,3	21
2	7	3,6	10	12	10	6,8	22
3	7	3,8	14	13	11	7,2	24
4	7	4,2	15	14	12	7,9	25
5	8	4,3	18	15	12	8,1	26
6	8	4,7	19	16	13	8,3	29
7	9	5,4	19	17	13	8,4	31
8	9	5,6	20	18	13	8,8	32
9	10	5,9	20	19	14	9,6	35
10	10	6,1	21	20	14	9,7	36

 

Вариант 7

Номер предприятия				Номер предприятия
1	7	3,8	11	11	10	6,8	21
2	7	3,8	12	12	11	7,4	23
3	7	3,9	16	13	11	7,8	24
4	7	4,1	17	14	12	7,5	26
5	7	4,6	18	15	12	7,9	28
6	8	4,5	18	16	12	8,1	30
7	8	5,3	19	17	13	8,4	31
8	9	5,5	20	18	13	8,7	32
9	9	6,1	20	19	13	9,5	33
10	10	6,8	21	20	14	9,7	35

Вариант 8

Номер предприятия				Номер предприятия
1	7	3,8	9	11	11	7,1	22
2	7	4,1	14	12	11	7,5	23
3	7	4,3	16	13	12	7,8	25
4	7	4,1	17	14	12	7,6	27
5	8	4,6	17	15	12	7,9	29
6	8	4,7	18	16	13	8,1	30
7	9	5,3	20	17	13	8,5	32
8	9	5,5	20	18	14	8,7	32
9	11	6,9	21	19	14	9,6	33
10	10	6,8	21	20	15	9,8	36

Вариант 9

Номер предприятия				Номер предприятия
1	7	3,9	12	11	11	7,1	22
2	7	4,2	13	12	12	7,5	25
3	7	4,3	15	13	13	7,8	26
4	7	4,4	17	14	12	7,9	27
5	8	4,6	18	15	13	8,1	30
6	8	4,8	19	16	13	8,4	31
7	9	5,3	19	17	13	8,6	32
8	9	5,7	20	18	14	8,8	32
9	10	6,9	21	19	14	9,6	34
10	10	6,8	21	20	14	9,9	36

 

Вариант 10

Номер предприятия				Номер предприятия
1	7	3,6	12	11	10	7,2	23
2	7	4,1	14	12	11	7,6	25
3	7	4,3	16	13	12	7,8	26
4	7	4,4	17	14	11	7,9	28
5	7	4,5	18	15	12	8,2	30
6	8	4,8	19	16	12	8,4	31
7	8	5,3	20	17	12	8,6	32
8	8	5,6	20	18	13	8,8	32
9	9	6,7	21	19	13	9,2	33
10	10	6,9	22	20	14	9,6	34

 

 

Контрольные вопросы и задания

1. В чем суть метода наименьших квадратов?

2. Дайте определение коэффициента парной корреляции.

3. В каких пределах он изменяется?

4. Как проверить его значимость?

5. Что такое коэффициент детерминации?

6. В каких пределах он изменяется?

7. Как связаны между собой эти коэффициенты?

8. Перечислите основные свойства факторов, включаемых в множественную регрессию.

9. В чем суть понятия мультиколлинеарности?

10. Как оценить мультиколлинеарность?

11. В чем суть статистической значимости коэффициентов регрессии?

12. Верно ли утверждение, что для парной линейной регрессии коэффициент корреляции превосходит коэффициент детерминации?

13. Какие из следующих утверждений с увеличением объема выборки верны:

o увеличивается точность оценок;

o уменьшается ошибка регрессии;

o расширяются интервальные оценки;

o уменьшается коэффициент детерминации;

o увеличивается точность прогноза по модели.

14. Как проводится проверка значимости регрессионной модели?

15. Как связан коэффициент детерминации с критерием Фишера?

16. Поясните смысл коэффициента регрессии.

17. Как проводится проверка значимости уравнения множественной регрессии?

18. Что характеризуют коэффициенты регрессии в модели множественной регрессии?

 

Список основной литературы

1. Красс, М.С. Математика для экономистов: Учеб. пособие / М. С. Красс, Б. П. Чупрынов. - СПб.: Питер, 2004. - 464 с.,с.344-421.

2. Доугерти, Кристофер. Введение в эконометрику: учеб. для экон. специальностей вузов: пер. с англ. / Кристофер Доугерти. _ М.: ИНФРА-М, 2010. – 464 с.  

3. Сборник задач по высшей математике для экономистов: учеб. пособие / Под ред. В.И. Ермакова. – 2-е изд., испр. – М.: ИНФРА-М, 2007. – 575 с., с.412-497.

4. Осипов, А.Л. Математика: учеб. пособие для дистанц. обучения и самост. работы / А. Л. Осипов, Е. А. Рапоцевич; СибАГС. - Новосибирск, 2005. - 276 с.- То же [Электронный ресурс]. – Доступ из Б-ки электрон. изданий / Сиб. ин-т упр. – филиал РАНХиГС. – Режим доступа: http://www.sapanet.ru, требуется авторизация (дата обращения: 19.03.2013). - Загл. c экрана.

5. Тюрин, Ю.Н. Анализ данных на компьютере: учеб. пособие /Ю.Н. Тюрин, А.А. Макаров. – М.: ФОРУМ, 2008. – 366 с.

6. Эконометрика: учеб. для вузов / [И.И. Елисеева и др.]; под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2007. – 575 с.

7. Кремер, Н.Ш. Эконометрика: учеб. для вузов / Н.Ш. Кремер, Б.А. Путко. – М.: ЮНИТИ, 2008. – 310 с.

8. Практикум по эконометрике: учебное пособие / И.И. Елисеева, С.В. Курышева, Н.М. Гордеенко и др.; Под ред. И.И. Елисеевой. – М.: Финансы и статистика, 2001. – 192 с.