VIII. Метод наименьших квадратов

Сначала изложим метод наименьших квадратов в невероятностной интерпретации, как метод решения задачи аппроксимации.

Начнём с простейшего – линейного – случая. На плоскости дано множество точек (x_i, y_i), i =1, 2, ¼, n, явно располагающихся вблизи некоторой прямой. Из-за того, что глазу из всех линий проще всего выделить прямую, и того, что линейный случай часто встречается на практике, этот случай и занял особое место. Требуется в каком-то смысле наилучшим образом провести прямую, вокруг которой группируются точки. Обычно выбирают прямую, руководствуясь принципом наименьших квадратов: ищут прямую y =q₁ x +q₀, максимизирующую сумму квадратов

d= (y_i -q₁ x_i -q₀)².

Разность y_i -q₁ x_i -q₀интерпретируется как ошибка отклонения ординаты
i -ой точки от искомой прямой. Выбор в качестве меры отклонения точек (x_i, y_i) от точек прямой – суммы квадратов ошибок условен: можно было бы взять, на­пример, сумму модулей или сумму четвёртых степеней, однако это вызвало бы дополнительные аналитические и вычислительные трудности без видимых преимуществ. Как и все принципы, принцип наименьших квадратов не требует доказательства; он опирается на здравый смысл, а его полезность и разумность подтверждается практическим его применением.

Найдем прямую, минимизирующую d, обычным способом:

=-2 (y_i -q₁ x_i -q₀)=0,
=-2 (y_i -q₁ x_i -q₀) x_i =0,

или

q₁ x_i +q₀ n = y_i,
q₁ x_i ²+q₀ x_i = y_ix_i.

Решение очевидно:

q₁= ,
q₀= .

Аналогично по множеству точек (x_i, y_i) можно искать аппроксимирующий полином   y =q₀+q₁ x +q₂ x ²+¼+q _kx^k  степени k. При этом мы должны минимизировать сумму квадратов

d= (y_i -q₀-q₁ x_i -q₂ x_i ²-¼-q _kx_i^k)².

Соответствующая система уравнений для неизвестных коэффициентов q₀, q₁, ¼, q _k называется системой нормальных уравнений и имеет вид:

q₀ n +q₁S x_i +¼+q _k S x_i^k =S y_i,
q₀S x_i +q₁S x_i ²+¼+q _k S x_i^{k +1}=S x_iy_i,
...........................
q₀S x_i^k +q₁S x_i^{k +1}+¼+q _k S x_i ^{2 k} =S x_i^ky_i,

В каждой сумме индекс суммирования i меняется от 1 до n.

Решение полученной системы линейных неоднородных уравнений легко определяется по правилу Крамера.

Удобно записать систему нормальных уравнений в сокращённом матричном виде. Для этого определим три матрицы-столбца:

X = ,  Y = , Q= ,

и так называемую структурную матрицу размера (k +1)´ n:

A = .

Тогда легко проверить, что система нормальных уравнений записывается в форме:

AA^T Q= AY,

где A^T – матрица, транспонированная по отношению к матрице A.

Если матрица AA^T имеет обратную, то решение системы нормальных урав­нений сразу выписывается

Q=(AA^T)^-1 AY.

Формулы линейного случая входят сюда как частный случай при k =1.

Заменой функций и переменных к рассмотренным случаям можно свести и многие неполиномиальные зависимости. Например, для y =q₁ln x +q₀, вместо то­чек (x_i, y_i) можно рассматривать точки (ln x_i, y_i): получаем линейную зависимость с помощью введения логарифмического масштаба по одной из осей.

Для функции y = следует взять точки (e^xi, y_i ²), i =1, 2, ¼, n, и т. д.

Полиномиальная аппроксимация часто появляется в следующем варианте: если мы аппроксимируем точки функцией f (x), то для аналитических функций бывает возможно ограничиться частью степенного ряда, дающей достаточную точность.

Описанная задача часто применяется практиками, и в таком виде метод наименьших квадратов не имеет никакого отношения к теории вероятностей. Он возникает как задача аппроксимации, как сокращённый аналитический способ представления наблюдений.

Вероятностный аспект появляется, например, в такой ситуации: имеются две физические величины, связанные детерминированным законом

y =q₀+q₁ x +q₂ x ²+¼+q _kx^k,

но значения коэффициентов неизвестны и строгое выполнение закона не вызывает сомнений. Значение переменной x при эксперименте пусть задаётся точно, а в измерение величины y вкрадываются ошибки, так что опытные точки (x_i, y_i), i =1, 2, ¼, n, могут даже не удовлетворять уравнению. Если бы ошибок при измерении величины y не было, то достаточно было бы (k +1) наблюдений, что­бы найти все коэффициенты. Ошибки приводят к тому, что, если пытаться решать систему

y_i =q₀+q₁ x_i +q₂ x_i ²+¼+q _kx_i^k,  i =1, 2, ¼, n,

то она обычно оказывается противоречивой, несовместной.

Выход указывает принцип наименьших квадратов. Состоит он в том, чтобы выбрать коэффициенты, минимизируя сумму квадратов ошибок

d= e _i ², e _i = y_i -(q₀+q₁ x_i +q₂ x_i ²+¼+q _kx_i^k).

Вероятностный подход даёт возможность увидеть, когда принцип наименьших квадратов, как он сформулирован, хорош и когда плох. В сумму d те точки, которые лежат на искомой кривой, вносят нулевой вклад; наибольший же вклад вносят наиболее ошибочные наблюдения, именно они и начинают особенно заметно влиять на результат, хотя менее всего заслуживают такого влияния. В особенности плохо, когда на оси Ox есть участки наиболее точных измерений и участки очень грубых измерений. Участки грубых наблюдений получают право определять сумму, вносить в неё основной вклад. Ясно, что наиболее естественный случай применения принципа наименьших квадратов – случай, когда априори средний квадрат ошибок одинаков во всех наблюдениях. Если систематических погрешностей в измерениях нет, т. е. M e _i =0 для " i, то это означает, что дисперсии ошибок должны быть одинаковы, или как говорят, наблюдения должны быть равноточными.

Если же наблюдения не равноточные, но дисперсии известны: D e _i =s _i ², то можно внести коррективы в принцип наименьших квадратов, введя в сумму d весовые множители, уравнивающие априорный вклад в сумму всех наблюдений, минимизировать

d= .

К сожалению, как правило, параметры s _i ²бывают неизвестны, и практики обрабатывают наблюдения так, словно они равноточные.

Чаще всего, когда путем замены x и y приводят зависимость y = f (x) к линейной или полиномиальной с целью применить метод наименьших квадратов, то нарушают именно равноточностъ измерений, если она до этого была, придавая повышенный вес одним участкам наблюдений перед другими, причём обычно этот факт практиками молчаливо игнорируется. По поводу этого, однако, можно сказать, как и по поводу любого принципа, что если последствия его применения, связанные с ним ошибки нас устраивают, не чрезмерны, то всё в порядке.

В таком изложении метод наименьших квадратов применим к ошибкам e _i, как угодно распределённым. Если же ошибки распределены по нормальному закону: e _i ~ N (0, s _i), то полученные по методу наименьших квадратов оценки параметров q₀, q₁, ¼, q _k  совпадают с их оценками по методу максимального правдоподобия: ведь неизвестные коэффициенты q₀, q₁, ¼, q _k  становятся параметрами распределения случайной величины y.