У чому суть методу найменших квадратів (МНК)?

Можна показати, що властивості оцінок коефіцієнтів регресії ( ), а також і якість побудованої регресії істотно залежать від властивостей випадкового відхилення ( ). Доведено, що для одержання за МНК найкращих результатів необхідно, щоб виконувався ряд передумов щодо випадкового відхилення.

Передумови МНК (умови Гаусса – Маркова):

1°. Математичне сподівання випадкового відхилення  дорівнює нулю:  для всіх спостережень.

2°. Дисперсія випадкових відхилень  постійна: для будь-яких спостережень  і .

Здійсненність даної передумови називається гомоскедастичністю, нездійсненність – гетероскедастичністю.

3°. Випадкові відхилення  і  є незалежними ( ):

У випадку, якщо дана умова виконується, то говорять про відсутність автокореляції.

4°. Випадкове відхилення незалежне від пояснюючих змінних:

           (4)

5°. Модель є лінійною щодо параметрів.

Теорема Гаусса-Маркова. Якщо передумови 1° – 5° виконані, то оцінки, отримані за МНК, мають наступні властивості:

1. Оцінки є незміщеними, тобто , .

2. Оцінки спроможні (обґрунтовані), тобто дисперсія оцінок параметрів при зростанні числа  спостережень прагне до нуля: ,.

3. Оцінки ефективні, тобто вони мають найменшу дисперсію в порівнянні з будь-якими іншими оцінками даних параметрів, лінійними щодо величин .