Основные харки(функция,плотности распределения,понятие незанятости)

Основные числовые характеристики(мат ожид, дисперсия,корреляц матрица,коэф корреляц,нормированная корреляционная марица)

Математическим ожиданием (МО) случайного вектора X называется вектор

M[ X ]

Δ =

mX

Δ =

col(m 1,..., mn), где

mi

Δ =

M[ Xi ], i = 1, n.

Матрицу K размерности n x n с элементами

kij

Δ =

M[(Xi - mi)(Xj - mj)]

называют ковариационной. Элементы k_ij ковариационной матрицы являются ковариациями СВ X_i и X_j при i ≠ j, а диагональные элементы k_ij - дисперсии СВ X_i, т.е.

kij

Δ =

di

Δ =

(σi)2 = M[(Xi - mi)2], i = 1, n.

Дисперсии d_i, i = 1, n, характеризуют рассеивание реализаций компонент случайного вектора относительно средней точки m_X = col(m ₁,..., m_n), а ковариации k_ij - степень линейной зависимости между СВ X_i и X_j. В частности, по свойству 2)k_XY при линейной связи между X_i и X_j ковариация между ними равна k_ij = ±σ_iσ_j. Так как по свойству 1)k_XY всегда | k_XY | ≤ σ_iσ_j, то при линейной зависимости между X_i и X_j модуль | k_ij | максимален.

Нормированную ковариационную матрицу R, элементами которой являются коэффициенты корреляции r_ij, называют корреляционной матрицей

безразмерную величину , определяемую соотношением.

(73)

и называемую коэффициентом корреляции.

16. основные задачи математической статистики. Занимается методами обработки опытных данных, полученных в рез-те наблюдения над случайными явлениями. Задачи мат стата:1)указать способы сбора и группировки стат. сведений, полученных в рез-те наблюдения за случ. процессами. 2)Разработка методов анализа стат. Данных в зависимости от цели исследования. Генеральная и выборочная совокупность. Ген совокупность-множество объектов, из которых производится выборка.Выборочная совокупность-сов-ть случайно отобранных объектов из генеральной совокупности. Повторная и бесповторная выборка.Повторная – при которой отобранный объект возвращается в ген совокупность. Бесповторная – при которой отобранный объект не возвращается в ген совокупность.Репрезентативность выборки.Выборка является репрезентативной, когда достаточно полно представлены изучаемые признаки генеральной совокупности.Условием обеспечения репрезентативности выборкия явл, соблюдение случайности отбора, т.е. все обекты ген выборки имеют равную возм попать в выборку. Теоретическая ФР. по определению, F(x)= mх/n, где n - объем выборки, mх - число выборочных значений величины X, меньших х. В отличие от выборочной функции F(x) интегральную функцию F(x) генеральной совокупности называют теоретической дикцией распределения. Главное различие функций F(x) и F(x) состоит в том, что теоретическая функция распределения F(x) определяет вероятность события Х<х, а выборочная функция - относительную частоту этого события. Статистическое распределение выборки. Распред в тоер вероят – соответствие м/у возможными значениями случ. вел-ны и их вероятностями. Распред в мат статист-соответствие м/у наблюдаемыми вариантами и их частотами.Перечень вариантов и соответствующих частот или частостей назыв статистическим распред выборки. Эмпирическая функция распределения называется функция определяющая для каждого значения х частость события {X<x}: =p*{X<x}. Для нахожд значений эмпирической ф-ии удобно записать в виде = Nx/n, n-объем выборки,Nx-число наблюдений, меньших х. Эмпирическая функция распределения явл оценкой вероятности события {X<x},т.е. оценкой теоретической функции распределения F(x) с.в.Х Гистограмма, полигон относительных частот.Гистограммой частот называют ступнчатую фигуру, состоящую из прямоугольников, основаниями которых служат частичные интервалы длины h, а высоты равны отношению Ni/h-Плотность частоты.)площадь гистограммы частот равна объему выборки, а площадь гистограммы частостей равна единице. Полигон относит частот- ломаная, отрезки которой соединяют точки(x_i p* _i;) Статистические оценки параметров распределения (выборочная средняя, групповая, общая среднее, выборочная дисперсия.) Выборочным средним ¯x _в называется среднее арифметическое всех значений выборки: ¯x _в= 1/n∑х _i n _i; Групповая средняя – ср. арифметическое значение признака,

_i=1

принадлежащее группе. Общая средняя – ср. арифметическое знач. признака, принадлежащее всей сов-ти. Выборочная дисперсия – ср. арифметическое квадратов отклонения наблюдаемых значений признака от их ср. значения. .Если данные наблюдений представлены в виде дискретного вариационного ряда, причем x₁, x₂, x₃,..., x_n - наблюдаемые варианты, a m₁, m₂, m₃,..., m_v - соответствующие им частоты, то выборочная дисперсия определяется формулой:

Формула для вычисления дисперсии. D _в =х¯²-[х¯]² (ср.арифметический квадрат значений выборки-квадрат общей средней) Док-во:

17. Основные распределения в математической статистике Распределение хи-квадратПусть U_k, k = 1, n, - набор из n независимых нормально распределенных СВ, U_k ~ N (0,1). Тогда СВ

X

Δ =

n ∑ k =1

Uk 2

имеет распределение хи-квадрат (χ²-распределение) с n степенями свободы, что обозначается X ~ X² (n). СВ X имеет следующую плотность распределения:

fX (x)=

{

2(n /2)Γ(n /2) 0

x (n /2)-1 e-x /2

, ,

x ≥ 0, x < 0,

где

Γ(m)

Δ =

+∞ ∫ 0

ym -1 e-y d y - гамма-функция.

Графики функции f_X (x) (см. рис. 1), называемые кривыми Пирсона, асимметричны и, начиная с n ≥ 2, имеют один максимум в точке x = n - 2.

Характеристическая функция СВ X имеет вид:

gX (t) =

+∞ ∫ -∞

f X (x) eitx d x = (1 - 2 ti)- n /2.

Начальные моменты СВ X находятся по свойству 3)g_X(t):

ν 1 =

i

d d t

g (t)

|

t =0

= -

n 2 i

(-2 i)(1 - 2 ti)-(n /2)-1

|

t =0

= n,

 

ν 2 =

1 i 2

d2 d t 2

g (t)

|

t =0

=

n i

(-2 i)(-

n

- 1)(1 - 2 ti)-(n /2)-2

|

t =0

= n 2+2 n,

 

D[ X ] = ν 2 - ν 12 = n 2 + 2 n - n 2 = 2 n.

Сумма любого числа m независимых СВ X_k, k = 1, m, имеющих распределение хи-квадрат с n_k степенями свободы также имеет распределение хи-квадрат с

n

Δ =

n ∑ k =1

nk

степенями свободы. Это можно доказать, используя свойства характеристической функции.

 

Распределение Стьюдента Пусть U и X - независимые СВ, U ~ N (0,1), X ~ X² (n). Тогда СВ

T

Δ =

U √ n / X

имеет распределение Стьюдента с n степенями свободы, что обозначают как T ~ S (n). СВ T имеет плотность распределения

fT (x) =

Γ((n +1)/2) √ nπ Γ(n /2)

(1+

x 2 n

)-(n +1)/2.

1 Графики функции f_T (x) (рис. 2), называемые кривыми Стьюдента, симметричны при всех n = 1,2,... относительно оси ординат.

Рисунок 2.

2Можно показать, что при n → ∞ плотность вероятности распределения СВ T ~ S (n) сходится к плотности вероятности стандартного нормального распределения N (0,1), т.е.

fT (x) →

√2 π

exp(- x 2 / 2), n → ∞.

Действительно, пусть n = 2 m. Тогда

(1+

x 2 n

)-(n +1)/2 = (1 +

x 2 2 m

)- m -(1/2).

Если n → ∞ и m → ∞, то согласно известному замечательному пределу получим

(1+

x 2 2 m

)-1/2 (1+

x 2 2 m

)- m → exp{- x 2/2}.

Таким образом,

fT (x) → k exp{- x 2/2} при n → ∞.

Так как f_T (x) удовлетворяет условию нормировки, то и предельная функция должна удовлетворять условию нормировки, т.е. являться плотностью. Поэтому из условия нормировки плотности получаем

Γ((n +1)/2) √ nπ Γ(n /2)

→ k =

√2 π

при n → ∞.

При n > 30 распределение Стьюдента практически не отличается от N (0,1). Однако при n ≤ 30 отличия существенны.

Замечание 3. При n = 1 распределение Стьюдента S (1) совпадает с распределением Коши, плотность которого равна

f (x) =

π

1+ x 2

,

т.к. при n = 1 имеем Γ(1/2) = 1 / √ π, Γ(1) = 1. Особенность распределения Коши состоит в том, что у него нет ни одного начального момента ν_r, r ≥ 1, так как расходятся несобственные интегралы

νr

Δ =

1 π

∞ ∫ -∞

xr x 2+1

d x.

Любопытно, если попробовать вычислить МО M [ T ] СВ T, имеющей распределение Коши, как предел значений определенного интеграла на отрезке [- a, a ], то можно получить неверный ответ:

l i m n →∞

π

a ∫ - a

x x 2+1

d x = 0.

 

 

Распределение Фишера Пусть независимые СВ X_n и X_m имеют распределения хи-квадрат с n и m степенями свободы соответственно. Тогда СВ

X

Δ =

Xn / Xm

имеет распределение Фишера с n и m степенями свободы, что записывают как X ~ F (n, m). 1 СВ X имеет плотность f_X (x) = 0 при x < 0 и

fX (x) =

Γ((n+m)/2) Γ(n /2)Γ(m /2)

nn /2 mm /2

x (n /2)-1 (m+nx)(n+m)/2

, x ≥ 0.

Графики функции f_X (x) (см. рис. 3), называемые кривыми Фишера, асимметричны и достигают максимальных значений в окрестности точки

x =

(n -2) m (m +2) n

,

близкой к единице.

 

2 Распределение Фишера используют, например, при сравнении выборочных дисперсий для нормальных СВ. В частности, распределение F (n, m) имеет следующая СВ:

X

Δ =

[

1 n

n +1 ∑ k =1

(Xk -

^ MX

)2] / [

1 m

m +1 ∑ k =1

(Yk -

^ MY

)2],

где СВ X ₁,..., X_{n +1}, Y ₁,..., Y_{m +1} - независимы и имеют нормальное распределение: X_i ~ N (m_X, σ), Y_i ~ N (m_Y, σ).

18 Статистические оценки Точечные

Пусть выборка

Zn

Δ =

col(X 1,..., Xn)

соответствует функции распределения

F (x, θ)

Δ =

P{ X ≤ x },

зависящей от неизвестного параметра θ. Точечной (выборочной) оценкой неизвестного параметра θ называется функция

^ θ (Zn)

случайной выборки Z_n, реализация

^ θ (zn)

которой принимается за приближенное значение θ.

2 Оценка

^ θ (Zn)

параметра θ называется несмещенной, если ее МО при любом n равно θ, т.е.

M[	^ θ (Zn)] = θ.

3 Оценка

^ θ (Zn)

называется состоятельной, если она сходится по вероятности к θ, т.е.

^ θ (Zn)

P →

θ при n → ∞.

Свойствами состоятельности и несмещенности могут обладать сразу несколько оценок неизвестного параметра θ.

Несмещенная оценка

^ θ

*(Zn)

параметра θ называется эффективной, если

D[

^ θ

*(Zn)] ≤ D[

^ θ

(Zn)]

для всех несмещенных оценок

^ θ (Zn),

т.е. ее дисперсия минимальна по сравнению с дисперсиями других несмещенных оценок при одном и том же объеме n выборки Z_n.

θ 1

Δ =

mX, θ 2

Δ =

σX.

Замечание 2. Пусть СВ X имеет нормальное распределение N (m_X, σ_X) с неизвестными параметрами

В этом случае выборочное среднее является эффективной оценкой МО.

 

zn

Δ =

col(x 1, x 2,..., xn):

2. Метод максимального правдоподобия На практике часто удается предсказать вид плотности распределения f_X (x, θ ₁,..., θ_s) непрерывной СВ X с точностью до неизвестных параметров θ ₁,..., θ_s (например θ ₁ = m_X, θ ₂ = d_X при s = 2), которые требуется оценить по выборке Z_n. Рассмотрим выборку Z_n, соответствующую плотности f_X (x, θ ₁,..., θ_s) СВ X. Функцией правдоподобия называется плотность распределения n-мерной СВ Z_n с реализацией

 

L (zn, θ 1,..., θs)

Δ =

fZ

n

(zn, θ 1,..., θs)

Л13.Р1.О1 =

n ∏ k =1

fX (xk, θ 1,..., θs).

Оценкой максимального правдоподобия (ММП-оценкой), найденной по методу максимального правдоподобия, называется оценка

^ θ (Zn),

максимизирующая для каждой реализации z_n функцию правдоподобия:

^ θ (Zn) = arg

max θ

L (zn, θ), θ

Δ =

col(θ 1,..., θs).

Аналогично определяется ММП-оценка θ при неоднородной выборке

Zn

Δ =

col(X 1,..., Xn),

когда СВ X_k, к = 1, n, по-прежнему независимы, но имеют различные плотности распределения f_Xk (x_k, θ ₁,..., θ_s), зависящие от одного и того же набора неизвестных параметров θ ₁,..., θ_s.

 

 

3. Метод наименьших квадратовРассмотрим линейную регрессионную модель из предыдущего раздела, не предполагая, что ошибки W_k имеют нормальное распределение, и, кроме того, считая, что коэффициенты X_k случайны:

Yk

Δ =

aXk + b + Wk,

k = 1, n. Пусть M [ W_k ] = 0, D [ W_k ] = σ ² и неизвестна, СВ W_k, k = 1, n, независимы. Предположим, что СВ X_k и W_k, k = 1, n, независимы, причем X_k имеют одно и то же, но неизвестное распределение F_X (x). По результатам наблюдений (y ₁, x ₁),...,(y_n, x_n) требуется оценить неизвестные параметры a и b в линейной регрессионной модели. Для неоднородной выборки

zn

Δ =

col(y 1,..., yn, x 1,..., xn)

рассмотрим квадратическую функцию:

Q (zn, a, b) =

n

n ∑ k =1

(yk - axk - b)2,

характеризующую среднюю по n квадратическую ошибку предсказания того, что в n наблюдениях СВ Y примет значения y_k, k = 1, n.

МНК-оценками, полученными по методу наименьших квадратов неизвестных параметров a и b в линейной регрессионной модели

Yk

Δ =

aXk + b + Wk,

k = 1, n, называются оценки

^ a (Zn) и

^ b (Zn),

значения которых минимизируют квадратическую функцию Q (z_n, a, b), построенную по апостериорной выборке z_n.

случае видно, что функция Q (z_n, a, b) совпадает по форме с точностью до коэффициентов с логарифмической функцией правдоподобия из примера Л15.Р2.П1:

Q (zn, a, b) = -2 σ 2

~ L (zn, a, b) -2 σ 2 n ln(σ √2 π).

Поэтому минимум функции Q (z_n, a, b) по параметрам a и b достигается при тех же значениях

^ a и

^ b,

что и в методе максимального правдоподобия (минимизация функции Q (z_n, a, b) по a и b эквивалентна максимизации функции

~ L (zn, a, b))

^ MX

Найденные по методу наименьших квадратов оценки

^ a (zn) и

^ b (zn)

неизвестных параметров a и b имеют место для произвольных случайных ошибок W_k и случайных коэффициентов X_k, тогда как по методу максимального правдоподобия эти же оценки получены в предположении о нормальности W_k и для детерминированных значений x_k, k =1, n. Иными словами, МНК-оценки оказываются более робастными (т.е. менее чувствительными к априорной информации о случайных коэффициентах X_k и ошибках W_k) по сравнению с ММП-оценками.

19 Статистическая проверка гипотез Статистическими гипотезами называются любые предположения относительно закона распределения СВ X, проверяемые по выборке Z_n. По выборке Z_n требуется проверить гипотезу H ₀ о том, что m_X = m, где m - некоторое фиксированное число. Статистикой называется произвольная функция Z = φ (Z_n) выборки Z_n, для значений которой известны условные плотности распределения f (z | H ₀) и f (z | H ₁) относительно проверяемой гипотезы H ₀ и конкурирующей с ней альтернативной гипотезы H ₁.Из опред следует, что Z есть СВ. Практическое применение математической статистики состоит в проверке соответствия результатов экспериментов предполагаемой гипотезе. С этой целью строится процедура (правило) проверки гипотезы. Критерием согласия называется правило, в соответствии с которым по реализации

z

Δ =

φ (zn)

статистики Z, вычисленной на основании апостериорной выборки z_n, гипотеза H ₀ принимается или отвергается. Критической областью G называется область реализаций z статистики Z, при которых гипотеза H ₀ отвергается. Доверительной областью G называется область значений z статистики Z, при которых гипотеза H ₀ принимается. Уровнем значимости p критерия согласия называется вероятность события, стоящего в том, что гипотеза H ₀ отвергается, когда она верна, т.е.

p

Δ =

P{ Z  G | H 0},

где вероятность P соответствует условной плотности распределения f (z | H ₀). Мощностью γ критерия согласия называется вероятность события, состоящего в том, что гипотеза H ₀ отвергается, когда она неверна, т.е.

γ

Δ =

P{ Z  G | H 1},

где вероятность P соответствует условной плотности f (z | H ₁). Критической точкой z_β называется точка на оси Oz, являющаяся квантилью уровня

β

Δ =

1 - p

распределения F (z | H ₀), соответствующего плотности распределения f (z | H ₀). На рис.1 показана графическая интерпретация введенных понятий, где β + p = 1, δ + γ = 1.

В качестве критерия согласия примем правило:
1) если значение

z

Δ =

φ (zn)

статистики Z = φ (Z_n) лежит в критической области G, то гипотеза H ₀ отвергается и принимается альтернативная гипотеза H ₁; 2) если реализация

z

Δ =

φ (zn)

статистики Z = φ (Z_n) лежит в доверительной области G, то гипотеза H ₀ принимается.
При реализации данного правила могут возникнуть ошибки двух видов. Ошибкой 1-го рода называется событие, состоящее в том, что гипотеза H ₀ отвергается, когда она верна. Вероятность этой ошибки равна

p

Δ =

P{ Z  G | H 0}.

Ошибкой 2-го рода называется событие, состоящее в том, что гипотеза H ₀ принимается, когда она неверна. Вероятность этой ошибки равна

δ

Δ =

P{ Z  G | H 1} = 1 - γ.

Из рисунка видно, что с уменьшением вероятности p ошибки 1-го рода возрастает вероятность ошибки 2-го рода и наоборот, т.е. при выборе критической и доверительной областей должен достигаться определенный компромисс.

 

 

Проверка гипотезы о значении параметров нормального распределения Замечание 1. Пусть известно, что СВ X имеет нормальное распределение. Требуется проверить гипотезу H ₀, состоящую в том, что m_X = m (m - некоторое фиксированное число), используя апостериорную выборку z_n. Возможны два случая: дисперсия (σ_X)² известна или неизвестна.

Предполо- жение	Статистика Z критерия согласия	Распре- деление	Доверительная область G принятия гипотезы Н 0
σX известно	^ (MX - m)√ n σX	N(0,1)	[- uα, uα ]
σX неизвестно	^ (MX - m)√ n -1 ^ √ DX	S(n -1)	[- tα (n - 1), tα (n - 1)]

Для каждого случая в соответствии с примерами Л15.Р4.П1 и Л15.Р4.П2 получаем свой критерий согласия. (ниже u_α, t_α (n - 1) - квантили уровня

α

Δ =

1 - p / 2

распределений N (0,1) и S (n -1) соответственно). Пусть СВ X нормально распределена, но ее дисперсия неизвестна. Требуется проверить гипотезу H ₀, что σ_X = σ (σ - некоторое фиксированное число), на основе апостериорной выборки z_n. Возможны два случая: m_X - известно или m_X - неизвестно (ниже χ_α (k), χ _{1- α} (k) - квантили уровня α и 1- α распределения Χ² (k) с k степенями свободы,

α

Δ =

1 - p / 2 для k = n, n -1):

 

Предпо- ложение	Статистика Z критерия согласия	Распре- деление	Доверительная область G принятия гипотезы Н 0
mX известно	n ∑(Xk - mX)2 k =1 σ2	Χ2(n)	[- χ 1- α (n), χα (n)]
mX неизвестно	^ nDX σ 2	Χ2(n-1)	[- χ 1- α (n -1), χα (n -1)]

На практике обычно задают p [0.01, 0.05].

Проверка гипотезы о законе распределения случайной величины Замечание 1. Пусть имеется апостериорная выборка z_n и требуется проверить гипотезу H ₀, состоящую в том, что непрерывная СВ X имеет определенный закон распределения f (x) (например, нормальный, равномерный и т.д.). Истинный закон распределения f (x) неизвестен. Для проверки такой гипотезы обычно используют критерий согласия хи-квадрат (критерий Пирсона). Правило проверки состоит в следующем:
1. Формулируется гипотеза H₀, состоящая в том, что СВ X имеет плотность распределения определенного вида f (x, θ ₁,..., θ_s) с s неизвестными параметрами θ ₁,..., θ_s (например, m и σ для нормального распределения, a и b - для равномерного и т.д.)
2. По апостериорной выборке z_n методом максимального правдоподобия (или методом наименьших квадратов) находятся оценки

^ θ 1,...,

^ θs

неизвестных параметров θ ₁,..., θ_s
3. Действительная ось R ¹ разбивается на j + 1 непересекающихся полуинтервалов Δ₀,..., Δ _j так, как это сделано в Л13.Р2.31 при построении гистограммы. Подсчитывается число n_k элементов выборки, попавших в каждый полуинтервал Δ _k, k = 1, j -1, кроме Δ₀ и Δ _j.
4. Вычисляются вероятности p_k попадания СВ X в полуинтервалы Δ _k, k = 0, j, по формуле

pk =

αk +1 ∫ αk

f (x,

^ θ 1,....,

^ θs) d x,

где α ₀ = -∞, α_{j +1} = +∞. Для разрядов Δ _k, k = 1, j -1 значения p_k можно вычислить приближенно по формуле

pk  f (xk,

^ θ 1,....,

^ θs)(αk +1- αk),

где

xk

Δ =

(αk +1 + αk) / 2

- середина разряда Δ _k.
5. Вычисляется реализация статистики критерия хи-квадрат по формуле

z

Δ =

φ (zn)

Δ = np 0 +

j -1 ∑ k =1

(nk-npk)2 / (npk) + (npj).

6. В соответствии с критерием согласия хи-квадрат гипотеза H ₀ принимается (т.е. она согласуется с выборкой z_n), если φ (z_n) ≤ χ _{1- p} (j-s), где χ _{1- p} (j-s) - квантиль уровня 1- p распределения хи-квадрат с (j-s) степенью свободы, p - заданный уровень значимости (обычно p = 0.05), s - количество неизвестных параметров предполагаемого закона распределения f (x, θ ₁,..., θ_s). Если же φ (z_n) > χ _{1 -p} (j-s), то гипотеза H ₀ отвергается. При разбиении на полуинтервалы Δ _k, необходимо учитывать, чтобы np_k ≥ 5 для k = 1, j -1. В противном случае (np_k < 5) соседние полуинтервалы объединяются.