Несмещенные, эффективные и состоятельные оценки.

Состоятельность, несмещенность и эффективность оценок. Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др. Рассмотрим оценку θn числового параметра θ, определенную при n = 1, 2, … Оценка θn называется состоятельной, если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θn является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение Пример. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ2 нормального распределения. Поскольку М () = М(m**) = m, поэтому оценки s2 и (σ2)** не являются состоятельными оценками дисперсии σ2 нормального распределения.Оценки, для которых соотношение М(θn) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θn и оцениваемым параметром θ, т.е. М(θn) – θ, называется смещением оценки. Пример. Для оценки s2, как следует из сказанного выше, смещение равно М(s2) - σ2 = - σ2/n.

Смещение оценки s2 стремится к 0 при n → ∞. Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной. В примере 7 показано, что оценка s2 является асимптотически несмещенной. Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М(θn – θ)2. Как следует из основных свойств математического ожидания и дисперсии, т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения. Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n, а смещение – не более чем 1/n, где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство где с – число, определяемое методом вычисления оценок θn и истинным значением оцениваемого параметра θ. С дисперсией оценки связано третье важное свойство метода оценивания – эффективность. Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра. Доказано, что и являются эффективными оценками параметров m и σ2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое. Понятие эффективности вводится для несмещенных оценок, для которых М(θn) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные. Пример. Рассмотрим «оценку» математического ожидания m1 ≡ 0. Тогда D(m1) = 0, т.е. всегда меньше дисперсии D () эффективной оценки .

Математическое ожидание среднего квадрата ошибки dn(m1) = m2, т.е. при имеем dn(m1) < dn(). Ясно, однако, что статистику m1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m. Пример. Более интересный пример рассмотрен американским математиком Дж. Ходжесом: Ясно, что Tn – состоятельная, асимптотически несмещенная оценка математического ожидания m, при этом, как нетрудно вычислить, Последняя формула показывает, что при m ≠ 0 оценка Tn не хуже (при сравнении по среднему квадрату ошибки dn), а при m = 0 – в четыре раза лучше. Подавляющее большинство оценок θn, используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения: для любого х, где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок dn(θn).

Интервальная оценка.

Оценки неизвестных параметров бывают двух видов - ТОЧЕЧНЫЕ И ИНТЕРВАЛЬНЫЕ.

ТОЧЕЧНАЯ ОЦЕНКА - оценка имеющая конкретное числовое значение. Например, среднее арифметическое:

X = (x1+x2+...+xn)/n, где: X - среднее арифметическое (точечная оценка МО); x1,x2,...xn - выборочные значения; n - объем выборки.

ИНТЕРВАЛЬНАЯ ОЦЕНКА - оценка представляемая интервалом значений, внутри которого с задаваемой исследователем вероятностью находится истинное значение оцениваемого параметра. Интервал в интервальной оценке называется ДОВЕРИТЕЛЬНЫМ ИНТЕРВАЛОМ, задаваемая исследователем вероятность называется ДОВЕРИТЕЛЬНОЙ ВЕРОЯТНОСТЬЮ. В практике статистических вычислений применяются стандартные значения доверительной вероятности: 0,95, 0,98 и 0,99 (95%, 98% и 99% соответственно). Например, интервальная оценка МО (3,8) при доверительной вероятности 0,95. Это означает, что МО лежит в пределах от 3 до 8 с вероятностью 0,95, следовательно вероятность того, что МО меньше 3 или больше 8 не превышает 0,05. Очевидно, что чем выше доверительная вероятность, тем выше точность оценки, но шире доверительный интервал. Отсюда следует - ДЛЯ НЕПРЕРЫВНЫХ СЛУЧАЙНЫХ ВЕЛИЧИН ВЕРОЯТНОСТЬ ТОГО, ЧТО ТОЧЕЧНАЯ ОЦЕНКА (ширина доверительного интервала равна 0) СОВПАДЕТ С ЛЮБЫМ ЗАДАННЫМ ЗНАЧЕНИЕМ ИЛИ ОЦЕНИВАЕМЫМ ПАРАМЕТРОМ РАВНА 0. Таким образом, точечная оценка имеет смысл лишь тогда, когда приведена характеристика рассеяния этой оценки (дисперсия). В противном случае она может служить лишь в качестве исходных данных для построения интервальной оценки. Вычисление интервальной оценки рассмотрим на примере интервальной оценки МО для случайной величины подчиняющейся нормальному закону распределения. Границы доверительного интервала определятся по формулам:

Xmin = X - T(ν,P)*S/(n)1/2

Xmax = X + T(ν,P)*S/(n)1/2

где: Xmin, Xmax - нижняя и верхняя границы интервала;

X - среднее арифметическое (точечная оценка МО); n - объем выборки;

T(ν,P) - поправочный коэффициент, называемый T-статистика, величина которого определяется значением задаваемой доверительной вероятности p и числом степеней свободы ν (ν=n-1);

S = [(x1 - X)2 + (x2 - X)2 +... + (xn - X)2]1/2 - корень квадратный из оценки дисперсии случайной величины X

ЧИСЛО СТЕПЕНЕЙ СВОБОДЫ СТАТИСТИКИ - число независимых случайных величин, по которым вычисляется данная статистика. Например, при вычислении среднего арифметического все случайные величины в выборке x1,x2,...,xn независят друг от друга. В оценке S из n отклонений вида (xi - X)2 независимы только n-1 (т.к. в формуле присутствует X, то по любому набору n-1 отклонений вычисляется n-ое). Пример 1. Доверительное оценивание по вариационному ряду. Пусть задана выборка некоторой случайной величины Построим вариационный ряд выборки Построим вариационный ряд выборки Очевидно, что вероятность попасть в любой из - го интервалов значений случайной ведичины приняла значение из интервала где будет равна: Вопрос: чему должен быть равен размер выборки чтобы вероятность попасть в интервал составила 95%. Подставляя значение для доверительной вероятности в формулу выше, получим: откуда Таким образом, при достаточном для заданной доверительной вероятности числе измерений случайной величины по набору ее порядковых статистик может быть оценен диапазон принимаемых ею значений.