Эффективность оценки параметра регрессии полученной по мнк означает

17. Эффективность МНК-оценок МНК

17. Эффективность МНК-оценок МНК

Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.

Сделаем следующие предположения о модели парной регрессии:

1) факторная переменная xi– неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии ?i;

224964 17 pic 159

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

224964 17 pic 160

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;

224964 17 pic 161

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

224964 17 pic 162

Это условие выполняется в том случае, если исходные данные не являются временными рядами;

Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров ?0 и ?1.

Если выдвинутые предположения справедливы для модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров ?0…?n.

Для обозначения дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.

Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии называется выражение вида:

224964 17 pic 163

224964 17 pic 164

– дисперсия МНК-оценки параметра модели регрессии ?0;

224964 17 pic 165

– дисперсия МНК-оценки параметра модели регрессии ?1.

Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии называется выражение вида:

224964 17 pic 166

где G2(?) – это дисперсия случайной ошибки модели регрессии ?.

Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:

224964 17 pic 167

2) дисперсия МНК-оценки коэффициента модели регрессии ?1:

224964 17 pic 168

где G2(?) – дисперсия случайной ошибки уравнения регрессии ?;

G2(x) – дисперсия независимой переменой модели регрессии х;

n – объём выборочной совокупности.

В связи с тем, что на практике значение дисперсии случайной ошибки модели регрессии G2(?) неизвестно, для вычисления матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки модели регрессии S2(?).

Для линейной модели парной регрессии оценка дисперсии случайной ошибки определяется по формуле:

224964 17 pic 169

224964 17 pic 170

– это остатки регрессионной модели, которые рассчитываются как

224964 17 pic 171

Тогда оценка дисперсии МНК-оценки коэффициента ?0 линейной модели парной регрессии будет определяться по формуле:

224964 17 pic 172

Оценка дисперсии МНК-оценки коэффициента ?1линейной модели парной регрессии будет определяться по формуле:

224964 17 pic 173

Для модели множественной регрессии общую формулу расчёта матрицы ковариаций МНК-оценок коэффициентов на основе оценки дисперсии случайной ошибки модели регрессии можно записать следующим образом:

224964 17 pic 174

Данный текст является ознакомительным фрагментом.

Продолжение на ЛитРес

Читайте также

Эффективность капитальных вложений

9.1.3. Планирование и эффективность рекламы

9.1.3. Планирование и эффективность рекламы Основной источник разработки стратегии рекламной кампании – общая программа маркетинга. Исходя из этого и формируются цели рекламной кампании. То есть от того, каким путем спланированы все мероприятия по стимулированию сбыта,

12. Эффективность логистической системы

12. Эффективность логистической системы Ученые в области логистики считают, что на данный момент не существует универсальной модели оценки эффективности логистической системы способной учитывать все переменные, все нюансы и все возможные ситуации.Тем не менее один

21. Эффективность закупочной деятельности

21. Эффективность закупочной деятельности Основу экономической эффективности закупочной логистики составляют поиск необходимых материалов удовлетворительного качества и закупка их по минимальным ценам. Вопрос цен – главный в изучении рынка, проводимом

16. Состоятельность и несмещённость МНК-оценок

16. Состоятельность и несмещённость МНК-оценок Предположим, что методом наименьших квадратов получена оценка Для того, чтобы данная оценка могла быть принята за оценку параметра необходимо и достаточно выполнения трёх статистических свойств:1) свойства несмещённости;2)

Эффективность движений

Эффективность движений При выполнении «10 шагов» вы совершаете только те движения, которые помогают байку повернуть. Такие методики «эффективных движений» хорошо знакомы профессиональным танцорам и бойцам. Я впервые познакомился с ними, когда стал заниматься боевыми

27. ЭФФЕКТИВНОСТЬ МАРКЕТИНГА

27. ЭФФЕКТИВНОСТЬ МАРКЕТИНГА Критерии оценкиОценивать эффективность отдельных методов комплекса маркетинга по конечным результатам, например росту объема продаж, чрезвычайно сложно. Поэтому часто используется относительная оценка, когда стоимость того или иного

Эффективность и рациональность

Эффективность и рациональность Как говорил Сенека, когда не знаешь, в какую гавань держишь путь, ни один ветер не будет дуть в нужном направлении. Для организации операционная стратегия заключается в точном определении своей деятельности, т. е. что является центральной

Эффективность

Эффективность Эффективность E, согласно ISO 9000, – это соотношение достигнутого эффекта (результата) Q и затраченных ресурсов C:E = Q / C (4.4)Эффективность

4.3. Эффективное время, Эффективность

4.3. Эффективное время, Эффективность Не зря до сих пор специалисты в экономике, как только речь идет о точном расчете эффективности, не могут прийти к единому мнению, ибо в конкретном деле такие факторы, как социальные, личностные и другие не могут быть точно выражены в

Источник

Эффективность МНК-оценок метода наименьших квадратов

Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.

Сделаем следующие предположения о модели парной регрессии:

1) факторная переменная xi – неслучайная или детерминированная величина, которая не зависит от распределения случайной ошибки модели регрессии βi;

pic 159

2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:

pic 160

3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;

pic 161

4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):

pic 162

Это условие выполняется в том случае, если исходные данные не являются временными рядами;

5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией G 2 : εi

Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β0и β1.

Если выдвинутые предположения справедливы для модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров β0…βn.

Для обозначения дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.

Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии называется выражение вида:

pic 163

pic 164– дисперсия МНК-оценки параметра модели регрессии β0;

pic 165– дисперсия МНК-оценки параметра модели регрессии β1.

Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии называется выражение вида:

pic 166

где G 2 (ε) – это дисперсия случайной ошибки модели регрессии ε.

Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:

1) дисперсия МНК-оценки коэффициента модели регрессии β0:

pic 167

2) дисперсия МНК-оценки коэффициента модели регрессии β1:

pic 168

где G 2 (ε) – дисперсия случайной ошибки уравнения регрессии β;

G 2 (x) – дисперсия независимой переменой модели регрессии х;

n – объём выборочной совокупности.

В связи с тем, что на практике значение дисперсии случайной ошибки модели регрессии G 2 (ε) неизвестно, для вычисления матрицы ковариаций МНК-оценок применяют оценку дисперсии случайной ошибки модели регрессии S2(ε).

Для линейной модели парной регрессии оценка дисперсии случайной ошибки определяется по формуле:

pic 169

pic 170– это остатки регрессионной модели, которые рассчитываются как

pic 171

Тогда оценка дисперсии МНК-оценки коэффициента β0 линейной модели парной регрессии будет определяться по формуле:

pic 172

Оценка дисперсии МНК-оценки коэффициента β1 линейной модели парной регрессии будет определяться по формуле:

pic 173

Для модели множественной регрессии общую формулу расчёта матрицы ковариаций МНК-оценок коэффициентов на основе оценки дисперсии случайной ошибки модели регрессии можно записать следующим образом:

Источник

Эффективность оценки параметра регрессии полученной по мнк означает

2.3. Статистические свойства оценок метода наименьших квадратов

Поскольку полученные оценки a и b коэффициентов линейной регрессии основаны на статистических данных и являются случайными величинами, то естественно установить свойства этих оценок, как случайных величин. Более того, не выяснив этих свойств, невозможно сделать обоснованных выводов относительно качества и надежности полученных оценок. Необходимо, в частности, определить такие их статистические характеристики, как математическое ожидание и дисперсия. К желательным свойствам оценок относятся также несмещенность и состоятельность. Далее, если бы удалось определить вид распределения (плотности распределения) оценок, можно было бы построить доверительные интервалы для истинных значений параметров регрессии (то есть получить интервальные оценки коэффициентов) и реализовать процедуры проверки гипотез относительно их значений. Важную роль играет также изучение статистических свойств остатков оцененной регрессии.

Все эти задачи можно решить, основываясь на некоторых правдоподобных теоретических предпосылках (гипотезах) модели, выполнение которых на практике подлежит проверке с помощью специально разработанных для этого статистических процедур.

Предположение относительно независимых переменных

Предположения относительно случайной составляющей модели

При выполнении предпосылки относительно переменной x статистические свойства оценок параметров и зависимой переменной, а также остатков, целиком определяются вероятностными свойствами случайной составляющей регрессионной модели. Относительно случайной составляющей в классическом регрессионном анализе предполагают выполнение следующих условий, которые называются условиями Гаусса-Маркова и играют ключевую роль при изучении свойств оценок, полученных по методу наименьших квадратов.

1. Первое условие заключается в том, что математическое ожидание случайной составляющей во всех наблюдениях должно быть равно нулю. Формально это записывается так

f1, для всех t =1,2,…,n.

Смысл этого условия заключается в том, что не должно быть систематического смещения случайной составляющей. В линейной регрессии систематическое смещение линии регрессии учитывается с помощью введения параметра смещения f3и поэтому данное условие можно считать всегда выполненным.

2. Дисперсия случайной составляющей постоянна для всех наблюдений (то есть не зависит от номера наблюдения). Это условие записывается так

f2, где дисперсия f4— величина постоянная.

Это свойство дисперсии ошибок называется гомоскедастичностью (однородностью) (запомните этот термин).

Графическая иллюстрация понятий гомоскедастичность и гетероскедастичность

p26a
Рис. 2.6а. Гомоскедастичность

p26b
Рис. 2.6б. Гетероскедастичность

p26c
Рис. 2.6в. Гетероскедастичность

3. Случайные составляющие модели для различных наблюдений некоррелированы. Это условие записывается таким образом

f5, для всех i не равных j (i, j=1,2,…,n).

Выполнение этого условия означает отсутствие систематической (статистической) связи между значениями случайного члена в любых двух наблюдениях. Это свойство на практике также проверяется с помощью статистических процедур на основе анализа остатков модели. Если оно нарушается, то процедура оценки параметров должна быть скорректирована.

4. Четвертое условие Гаусса-Маркова записывается так

f6, для всех i и j,

и означает, что объясняющие переменные и случайные составляющие некоррелированы для всех наблюдений. Ранее мы предположили, что объясняющая переменная в модели не является стохастической. В этом случае четвертое условие выполняется автоматически.

Дополнительное предположение о нормальном распределении ошибок

Данное предположение является, пожалуй, наиболее спорным. Дело в том, что предположение о нормальности можно считать правдоподобным, если значения случайной величины порождаются в результате воздействия большого количества независимых случайных факторов, каждый из которых не обязательно имеет нормальное распределение. Примером такого воздействия является так называемое броуновское движение (хаотичное движение малых частиц в жидкости как результат совокупного воздействия на частицу (ударов, соударения) большого количества молекул жидкости).

Если случайные величины в модели распределены по нормальному закону, то из свойств некоррелированности в третьем и четвертом условиях Гаусса-Маркова следует и независимость соответствующих случайных величин.

2.3.2. Свойства выборочных вариаций и ковариаций. Остаточные ошибки (остатки) модели, их свойства

Свойства выборочных вариаций (дисперсий) и ковариаций

Для дальнейшего изложения нам понадобиться установить ряд правил, которые можно использовать при преобразовании выражений, содержащих выборочные вариации и ковариации.

f4,

откуда следует свойство

f5

Далее, нетрудно видеть, что имеют место равенства

Источник

Эффективность оценки параметра регрессии полученной по мнк означает

2.2. Оценка параметров линейной модели по методу наименьших квадратов (МНК)

Этот метод и многочисленные его модификации являются основными и в эконометрике. Поэтому при изучении данного курса ему нужно уделить особое внимание.

2.2.1. Критерий наименьших квадратов. Сравнение с другими возможными критериями

Запишем уравнение для отдельных наблюдений (реализаций) в парной линейной регрессии

f1
f9
f11

Уравнение ( 2.6 ) выражает эмпирическую взаимосвязь между переменными модели и его можно записать только относительно конкретных наблюдений. Подчеркнем, что ошибки модели являются наблюдаемыми величинами, поскольку их можно определить исходя из наблюдений переменных модели.

В методе наименьших квадратов оценки a и b параметров модели строятся так, что бы минимизировать сумму квадратов ошибок (остатков) модели по всем наблюдениям. Таким образом, критерий (целевая функция) наименьших квадратов записывается в виде

Очевидно, правая часть выражения ( 2.7 ) является квадратичной функцией параметров a и b.

Замечание относительно переменных x.

Графическая иллюстрация принципа наименьших квадратов

p22
Рис 2.2. Иллюстрация принципа наименьших квадратов

p23
Рис 2.3. Между переменными нет зависимости

2.2.2. Вывод нормальных уравнений для оценок параметров регрессии. Решение нормальных уравнений. Варианты записи выражений для оценок параметров

Получим выражения для оптимальных в смысле минимума МНК-критерия оценок параметров модели парной линейной регрессии.

Согласно методу наименьших квадратов, необходимо минимизировать функцию двух переменных

f12

Из курса высшей математики известно, что условием минимума функции вида ( 2.8 ) по переменным a и b является равенство нулю частных производных этой функции. Уравнения для определения оптимальных оценок получаются путем приравнивания нулю производной функции S(a,b) как функции только от a при фиксированном b и производной функции S(a,b) как функции только от b при фиксированном a.

Это приводит к следующей системе уравнений:

f1
f3
f4

которую необходимо решить относительно переменных a и b. По правилам вычисления производных получим следующие выражения:

f5
f6

так что значения параметров a и b, минимизирующие квадратичную форму ( 2.8 ), удовлетворяют соотношениям

После несложных преобразований эту систему можно записать в виде

f7
f8

Система уравнений ( 2.11 ), ( 2.12 ) называется системой нормальных уравнений для коэффициентов регрессии.

Это система двух линейных уравнений с двумя неизвестными и она легко может быть решена, например, методом подстановки.

Из первого уравнения системы находим:

f9
f10
f11

где f12, f13— выборочные средние наблюдений.

Подставив выражение для a во второе уравнение системы, получим

f14,
f15,

Таким образом, мы получили следующие соотношения для оценок параметров модели

f16,
f17

Однако, в теоретических исследованиях и практических расчетах чаще используют другую, более удобную эквивалентную форму записи уравнений для оценок. Эта форма получается, если использовать следующие соотношения

f18
f19

Эти соотношения позволяют получить новую форму записи выражения для b (в отклонениях от выборочных средних значений)

которая вместе с выражением для a

f20
f21

которое означает, что определитель системы нормальных уравнений отличен от нуля. Действительно, этот определитель равен

f22
f23

Выражение для коэффициента b часто записывают также, используя понятия выборочной вариации (дисперсии) и выборочной ковариации.

Выборочная вариация определяется соотношением вида

и выборочная ковариация следующим соотношением

f28

Используя введенные понятия, формулу ( 2.13 ) для коэффициента b можно записать в виде

f29

Замечание относительно выборочных дисперсии и ковариации.

Напомним, что выборочная дисперсия характеризует степень разброса случайной величины относительно ее выборочного среднего значения. Выборочная ковариация характеризует степень линейной статистической взаимосвязи двух случайных величин. При определенных условиях, которые будут рассмотрены позже, выражения ( 2.16 ) и ( 2.17 ) являются несмещенными эмпирическими оценками теоретических дисперсии и ковариации.

Замечание относительно полученных оценок.

Если независимая переменная не случайная (детерминированная) величина, то ее дисперсия равна нулю, а ковариация детерминированной и случайной величин равна нулю. В этом случае выборочные дисперсия (вариация) x и выборочная ковариация величин x и y теряют смысл оценок соответствующих теоретических значений дисперсии и ковариации и должны рассматриваться только как некоторые характеристики наблюдаемых переменных, не связанные с их статистическими свойствами.

И, наконец, подчеркнем еще раз, что уравнения для оценок получены без каких либо предположений относительно характеристик случайных составляющих модели.

Интерпретация оценок параметров

Определим оценку f34зависимой переменной y уравнением

f30

Уравнение ( 2.19 ) определяет эмпирическую регрессионную функцию, оценка f34называется прогнозом объясняемой переменной. Эта функция определяет прямую на плоскости f36. Эмпирический коэффициент b является частной производной ( 2.19 ) по независимой переменной x (регрессору). Следовательно можно дать следующую интерпретацию коэффициента b: изменение величины независимой переменной x на единицу при фиксированном значении параметра a приведет к изменению оценки переменной y на величину коэффициента b.

Таблица 1.1
t 11

Из диаграммы рассеяния, построенной по этим данным (рис. 2.4a ), можно предположить существование линейной зависимости между переменными y и x.

p4a
Рис. 2.4а. Диаграмма рассеяния примера 2.1

p4b
Рис. 2.4б. Линия регрессии (пример 2.1)

Оценки параметров парной линейной регрессии, вычисленные по формулам ( 2.13 ), ( 2.14 ) равны: a=4,02; b=1,29. Уравнение регрессии имеет вид

f35
f37

Торговое предприятие имеет несколько филиалов. Исследуем зависимость годового товарооборота отдельного филиала от: а) размера торговой площади; б) среднедневной интенсивности потока покупателей. Поскольку мы пока не умеем строить модели множественной регрессии, построим две «частные» модели парной регрессии.

Таблица 1.2
t 12

f42

Для второй регрессии получаем следующие оценки: a=-2,0394, b=0,6846. Ее уравнение

f43

Дайте интерпретацию параметров регрессий примера 2.2.

p5a
Рис.2.5а. Диаграмма рассеяния и линия
регрессии (первая модель, пример 2.2)

p5b
Рис.2.5б. Диаграмма рассеяния и линия
регрессии (вторая модель, пример 2.2)

Источник

Справочник по обустройству дома и дачи
Adblock
detector