ГоловнаЗворотній зв'язок
Главная->Різні конспекти лекцій->Содержание->3.3. Ортогональная регрессия

Эконометрия

3.3. Ортогональная регрессия

 

В случае, когда ограничения на параметры a состоят в требовании равенства единице длины этого вектора

                                           a/a = 1,

получается ортогональная регрессия, в которой расстояния от точек облака наблюдений до гиперплоскости регрессии измеряются перпендикулярно этой гиперплоскости.

Уравнение ортогональной регрессии имеет вид:

                               .

Теперь применение МНК означает минимизацию  по a при указанном ограничении на длину этого вектора. Из условия равенства нулю производной по a соответствующей функции Лагранжа следует, что

                        причем ,

(l - половина множителя Лагранжа указанного ограничения) т.е. применение МНК сводится к поиску минимального собственного числа l ковариационной матрицы M и соответствующего ему собственного (правого) вектора a. Благодаря свойствам данной матрицы, искомые величины существуют, они вещественны, а собственное число неотрицательно (предполагается, что оно единственно). Пусть эти оценки получены.

В ортогональной регрессии все переменные x выступают изучаемыми или моделируемыми, их расчетные значения определяются по формуле

                                                    ,

а аналогом коэффициента детерминации выступает величина

                                          ,

где  - суммарная дисперсия переменных x, равная следу матрицы M.

Таким образом, к n оценкам вектора a простой регрессии добавляется оценка этого вектора ортогональной регрессии, и общее количество этих оценок становится равным n+1.

Задачу простой и ортогональной регрессии можно записать в единой, обобщенной форме:

                            ,

где W - диагональная n´n-матрица, на диагонали которой могут стоять 0 или 1.

В случае, если в матрице W имеется единственный ненулевой элемент wjj = 1, это - задача простой регрессии xj по xj; если W является единичной матрицей, то это - задача ортогональной регрессии. Очевидно, что возможны и все промежуточные случаи, и общее количество оценок регрессии - 2n-1.

Задача ортогональной регрессии легко обобщается на случай нескольких уравнений и альтернативного представления расчетных значений изучаемых переменных.

Матрица M, являясь вещественной, симметрической и положительно полуопределенной, имеет n вещественных неотрицательных собственных чисел, сумма которых равна , и n соответствующих им вещественных взаимноортогональных собственных векторов, дающих ортонормированный базис в пространстве наблюдений. Пусть собственные числа, упорядоченные по возрастанию, образуют диагональную матрицу L, а соответствующие им собственные вектора (столбцы) - матрицу A. Тогда

                                    A/A = InMA = AL.

Собственные вектора, если их рассматривать по убыванию соответствующих им собственных чисел,  есть главные компоненты облака наблюдений, которые показывают направления наибольшей “вытянутости” (наибольшей дисперсии) этого облака. Количественную оценку степени этой “вытянутости” (дисперсии) дают соответствующие им собственные числа.

Пусть первые k собственных чисел “малы”.

 - сумма этих собственных чисел;

AE - часть матрицы A, соответствующая им (ее первые k стоблцов); это - коэффициенты по k уравнениям регрессии или k младших главных компонент;

AF - остальная часть матрицы A, это - n-k старших главных компонент или собственно главных компоненет;

A = [AE,AF];

xAE = 0 - гиперплоскость ортогональной регрессии размерности n-k;

 - координаты облака наблюдений в базисе главных компонент;

E - N´k-матрица остатков по уравнениям регрессии;

F - N´(n-k)-матрица, столбцы которой есть так называемые главные факторы.

Поскольку A/ = A-1 и AA/ = In, можно записать

                                    .

Откуда получается два возможных представления расчетных значений переменных:

                  .

Первое из них - по уравнениям ортогональной регрессии, второе (альтернативное) - по главным факторам.

 - аналог коэффициента детерминации, дающий оценку “качества” этих обеих моделей.

 

 

16