§ 12. Задача о линейной регрессии

Предположим, что Х, Y – случайные величины, которые «связаны» какой-то зависимостью.

Наша цель ­– построить такую функцию, которая бы позволяла для любого значения аргумента х «угадывать» значение случайной величины Y, соответствующее ситуации «{X = x}»:

                                     y = а + kx,                                               (1)

где а, k – функции от выборки а = a(X₁Y₁, ..., X_nY_n),

 k = k(X₁Y₁, ..., X_nY_n).

Предположим, что у второго игрока имеется стратегия:

θ = (x₁y₁, …, x_ny_n),

а первый игрок в качестве стратегии δ = (a,k) может использовать любую линейную функцию

δ = a + kх

Рекомендуемые материалы

При рассмотрении этой задачи как задачи о наименьших квадратах, функция платежей задается так:

Тогда решением задачи о наименьших квадратах будет стратегия δ* = (a*,k*), для которой потери будут наименьшими:

Для нахождения экстремума составляется система:

Решая эту систему, находим

где  – выборочное среднее Х;

 – выборочное среднее Y;

 – выборочная дисперсия Х;

 – выборочный центрированный смешанный момент.

Таким образом искомая линейная функция имеет вид:

Рассмотрим другую постановку этой задачи – как задачу о линейной регрессии. Пусть  Х – неслучайная величина, а Y нормально распределенная случайная величина с параметрами

Линейную функцию (1) будем искать в виде

где α*, β* – какие-то оценки для параметров α, β. Поскольку оценки максимального правдоподобия обладают многими хорошими свойствами, остановимся на них.

Для построения оценок максимального правдоподобия рассмотрим функцию правдоподобия:

Логарифмическая функция правдоподобия:

Составляется система:

Решения этой системы и будут искомыми оценками:

Таким образом, искомая линейная функция найдена:

В данном подходе прогнозируется среднее значение случайной величины Y.

Задачи к § 12

12.1. Для исследования зависимости объемов производства (Y) от основных фондов (Х) получены данные по 8 предприятиям (в млн. руб.) за год:

(12, 210), (17, 220), (22, 230), (27,240),

Если Вам понравилась эта лекция, то понравится и эта - Понятие о красоте и вкусе.

(32, 250), (37, 260), (42, 270), (47, 280).

Найти уравнение линейной регрессии Y по X, отражающее зависимость объема производства от основных фондов.

12.2. Рассмотрим данные по совокупному денежному доходу населения (X) и по величине прожиточного минимума (Y) с 1992 по 1998 гг:

(7,1; 1,9), (79,9; 20,6), (360,9; 86,6), (942,3; 264,1),

(1374,5; 369,4), (1643,3; 411,2), (1700,4; 493,3).

Найти уравнение линейной регрессии Y по X, построить линию регрессии.