🔍 Введение

В этом шаблоне блога реализована поддержка отображения математических формул. Обработка формул обеспечивается пакетами remark-math и rehype-katex. KaTeX и связанные с ним шрифты подключены в _document.js, поэтому вы можете использовать их на любой странице. ¹

Встроенные математические символы можно включать, заключая выражение между символами $.

Блоки математического кода обозначаются $$.

Если вам нужно использовать символ доллара $ как есть, а не для формул, его можно экранировать (\$) или использовать HTML-сущность ($) ²

Также поддерживаются сноски в тексте. Нажмите на ссылки выше, чтобы увидеть их в действии.

📐 Вывод оценок метода наименьших квадратов

Используя матричные обозначения, пусть $n$ обозначает количество наблюдений, а $k$ — количество регрессоров.

Вектор зависимых переменных $\mathbf{Y}$ представляет собой матрицу размерности $n \times 1$:

\mathbf{Y} = \left[\begin{array}
  {c}
  y_1 \\
  . \\
  . \\
  . \\
  y_n
\end{array}\right]

Матрица регрессоров $\mathbf{X}$ имеет размерность $n \times k$ (каждая строка представляет собой вектор $1 \times k$):

\mathbf{X} = \left[\begin{array}
  {ccccc}
  x_{11} & . & . & . & x_{1k} \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  . & . & . & . & .  \\
  x_{n1} & . & . & . & x_{nn}
\end{array}\right] =
\left[\begin{array}
  {c}
  \mathbf{x}'_1 \\
  . \\
  . \\
  . \\
  \mathbf{x}'_n
\end{array}\right]

Вектор ошибок $\mathbf{U}$ также представляет собой матрицу размерности $n \times 1$.

Иногда удобнее использовать векторные обозначения. Для единообразия я буду использовать жирный шрифт для векторов (например, $\mathbf{x}$) и заглавные буквы для матриц. Отдельные наблюдения обозначаются подстрочными индексами.

Метод наименьших квадратов

Исходная модель:
$y_i = \mathbf{x}'_i \beta + u_i$

Предположения:

1. Линейность (указана выше)
2. $E(\mathbf{U}|\mathbf{X}) = 0$ (условная независимость)
3. Ранг($\mathbf{X}$) = $k$ (отсутствие мультиколлинеарности, т.е. полный ранг)
4. $Var(\mathbf{U}|\mathbf{X}) = \sigma^2 I_n$ (гомоскедастичность)

Цель:
Найти $\beta$, минимизирующее сумму квадратов ошибок:

Решение:
Подсказка: $Q$ — это скаляр размерности $1 \times 1$, и по свойству симметрии $\frac{\partial b'Ab}{\partial b} = 2Ab$.

Берём матричную производную по $\beta$:

\begin{aligned}
  \min Q           & = \min_{\beta} \mathbf{Y}'\mathbf{Y} - 2\beta'\mathbf{X}'\mathbf{Y} +
  \beta'\mathbf{X}'\mathbf{X}\beta \\
                   & = \min_{\beta} - 2\beta'\mathbf{X}'\mathbf{Y} + \beta'\mathbf{X}'\mathbf{X}\beta \\
  \text{[Условие первого порядка]}~~~0 & =  - 2\mathbf{X}'\mathbf{Y} + 2\mathbf{X}'\mathbf{X}\hat{\beta} \\
  \hat{\beta}      & = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y} \\
                   & = (\sum^{n} \mathbf{x}_i \mathbf{x}'_i)^{-1} \sum^{n} \mathbf{x}_i y_i
\end{aligned}