yandex rtb 1
ГоловнаЗворотній зв'язок
yande share
Главная->Економіка->Содержание->2.4. НОРМАЛЬНЫЕ ЛИНЕЙНЫЕ МОДЕЛИ С  НЕСКОЛЬКИМИ ОБЪЯСНЯЮЩИМИ ПЕРЕМЕННЫМИ

Эконометрика для начинающих

2.4. НОРМАЛЬНЫЕ ЛИНЕЙНЫЕ МОДЕЛИ С  НЕСКОЛЬКИМИ ОБЪЯСНЯЮЩИМИ ПЕРЕМЕННЫМИ

Начиная с этого момента, мы будем предполагать, что

(1)  Модель наблюдений  имеет вид

где     -  значение объясняемой переменной в -м наблюдении;

         -  известное значение-ой объясняющей переменной в -м наблюдении;

        -  неизвестный коэффициент при-ой объясняющей переменной;

        -   случайная составляющая (“ошибка“) в -м наблюдении.

(2)   -  случайные величины, независимые в совокупности, имеющие одинаковое нормальное распределение  N (0,s2) с нулевым математическим ожиданием и дисперсией 

(3)    Если не оговорено противное, то в число объясняющих переменных включается переменная, тождественно равная единице, которая объявляется  первой  объясняющей переменной, так что

При сделанных предположениях   являются наблюдаемыми значениями  нормально распределенных случайных величин , которые независимы в совокупности и для которых

так что

 ~

В отличие от   , случайные величины  имеют распределения, отличающиеся сдвигами.

Определенную указанным образом модель наблюдений мы будем называть  нормальной линейной моделью с  объясняющими переменными. Иначе ее еще называют  нормальной линейной моделью множественной регрессии переменной  y  на переменные x1, ... , xp . Термин “множественная” указывает на использование в правой части модели наблюдений двух и более объясняющих переменных, отличных от постоянной. Термин “регрессия” имеет определенные исторические корни и используется лишь в силу традиции.

Оценивание  неизвестных коэффициентов модели  методом наименьших квадратов  состоит в минимизации по всем возможным значениям   суммы квадратов

Минимум этой суммы достигается при некотором наборе значений коэффициентов

 

так что

Это минимальное значение мы опять обозначаем   RSS , так что

и называем  остаточной суммой квадратов.

Коэффициент детерминации R2  определяется как

где

Обозначая

 

(подобранные - fitted-  значения объясняющей переменной по оцененной линейной модели связи), и определяя  остаток (residual) от  i-го наблюдения  как

мы получаем:

Обозначая

- объясненная моделью (explained) сумма квадратов, или  регрессионная сумма квадратов, мы так же, как и в случае простой линейной регрессии с  , имеем разложение

так что

И опять, это разложение справедливо только при наличии постоянной составляющей в модели линейной связи. При этом, также, здесь

т.е.  коэффициент детерминации равен квадрату выборочного коэффициента корреляции    между переменными   и . Последний называется  множественным коэффициентом корреляции (multiple-R).

Для поиска значений , минимизирующих сумму

следует приравнять нулю частные производные этой суммы (как функции от ) по каждому из  аргументов . В результате получаем систему нормальных уравнений

или

Это система  линейных уравнений с  неизвестными  . Ее можно решать или методом подстановки или по правилу Крамера с использованием соответствующих определителей. В векторно-матричной форме эта система имеет вид

где

- матрица значений  объясняющих переменных в  наблюдениях;

-  транспонированная матрица;

         и     

соответственно, вектор-столбец значений объясняемой переменной в  наблюдениях и вектор-столбец оценок  неизвестных коэффициентов. Система нормальных уравнений имеет единственное решение, если выполнено условие

 

(4)  матрица  XTX  невырождена, т.е. ее определитель отличен от нуля:

которое можно заменить условием

(4столбцы матрицы X линейно независимы.

При выполнении этого условия  матрица  (размера   ) имеет обратную к ней матрицу . Умножая в таком случае обе части последнего уравнения слева на матрицу , находим искомое решение системы нормальных уравнений:

Введем дополнительные обозначения

 ,  , ,   .

Тогда модель наблюдений

можно представить в матрично-векторной форме

Вектор подобранных значений имеет вид

и вектор остатков равен

Определяющим для всего последующего является то обстоятельство, что  в нормальной линейной модели с несколькими объясняющими переменными оценки  коэффициентов  как случайные величины имеют  нормальные распределения (хотя эти случайные величины уже не являются независимыми в совокупности).

Действительно, поскольку  , то оценки  являются линейными комбинациями значений  , т.е. имеют вид

где   -  коэффициенты, определяемые значениями объясняющих переменных.  Поскольку же у нас   -  наблюдаемые значения случайных величин   , то    является наблюдаемым значением случайной величины    которую мы также будем обозначать  :

Ранее мы выяснили, что при наших предположениях

 ~

Поэтому случайные величины  также будут нормальными как линейные комбинации независимых нормально распределенных случайных величин.

Можно показать, что математическое ожидание случайной величины равно

( является  несмещенной оценкой  истинного значения коэффициента  ),  а дисперсия этой случайной величины равна -му диагональному элементу матрицы   :

Рассмотренная ранее модель простой линейной регрессии

вкладывается в модель множественной линейной регрессии с  :

,    ,   ,   .

Матрица  имеет вид

Учитывая, что

находим:

 

12