Методы статистического анализа

4.2. Методы статистического анализа

        При исследовании социально- экономических процессов, как правило, возникает проблема учета и анализа большого числа показателей. Поэтому возникает необходимость применения типичных схем и методов статистического анализа данных, которые целесообразно реализовать на ЭВМ. Рассмотрим наиболее часто используемые из этих методов.

Корреляционный анализ

        Корреляционный анализ — это использование в определенной последовательности совокупности статистических методов обработки информации, позволяющее исследовать взаимосвязи между различными признаками.

        Корреляция является признаком, указывающим на взаимосвязь ряда численных последовательностей. Такая связь может наблюдаться между регулируемой и случайной величиной или между несколькими случайными величинами.

        Рассмотрим пример зависимости между двумя случайными величинами. В таблице 4.3 представлена динамика отдельных видов преступлений за период 1992-1996 годов. Пусть в одном из районов установлена зависимость числа краж от общего количества зарегистрированных преступлений за последовательные отчетные периоды. Данные, измеренные в соответствующих единицах, выглядят следующим образом:

        Таблица 4.3. Динамика отдельных видов преступлений по Российской Федерации за период 1992-1996 годов (в тыс.).

        Очевидно, что имеется тенденция роста как числа преступлений против собственности, так и числа преступлений против личности.

        Главная задача корреляционного анализа решается путем вычисления коэффициентов корреляции и проверки их значимости.

По форме корреляционные связи могут быть линейными и нелинейными, а по направлению- прямыми (положительными) и обратными (отрицательными). Прямая связь свидетельствует о том, что с увеличением значения одного признака увеличивается и значение другого признака. Так с увеличением числа пожаров увеличивается и число людей, пострадавших от них. При обратной связи увеличение значения одного признака ведет к уменьшению значения другого признака. Так, понижение уровня жизни ведет к росту преступности.

Коэффициент корреляции может принимать значения при прямой связи от 0 до +1, а при обратной связи от -1 до 0. При коэффициентах, близких к 0, считается, что статистическая линейная связь между признаками отсутствует. При абсолютных значениях меньше 0,3 -- связь слабая, при значениях от 0,3 до 0,5 – связь умеренная, при 0,5- 0,7 – связь значительная, 0,7- 0,9— связь сильная. Если больше 0,9, то связь очень сильная, если +1 или -1, то говорят о функциональной связи, что практически не встречается в статистических исследованиях.

Проверка значимости полученного коэффициента корреляции состоит в сравнении расчетного значения с критическим. При данном числе измерений и задаваемом уровне значимости находят критическое значение, которое сравнивают с расчетным. Если расчетное больше критического, то связь значима, если меньше, то связь или отсутствует, или выборка мала для ее выявления.

        Парная корреляция характеризует взаимосвязь двух последовательностей x_i и y_i. (В качестве примера можно рассмотреть таблицу 4.3).

        В этом случае коэффициент парной корреляции рассчитывается по формуле:

и характеризует степень отклонения связи между x_i и y_i от линейной. Если |R| близок к 1, то эта связь линейная, т.е.

Рисунок 4.1. Линейная регрессия.

y_i=ax_i+b, причем R определяет знак коэффициента а. Если R>0, то а>0, и напротив, при R<0, то а<0.

Регрессионный анализ

(приближение функций по методу наименьших квадратов)

        Понятия корреляции и регрессии непосредственно связаны между собой. Они используются для выявления причинно- следственных отношений между явлениями и процессами. Однако, если корреляционный анализ позволяет оценить силу и направленность стохастической связи, то регрессионный анализ - еще и форму зависимости.

        Линейный парный регрессионный анализ заключается в определении параметров эмпирической линейной зависимости

описывающей связь между некоторым числом N пар значений x_i и y_i, обеспечивая при этом наименьшую среднеквадратичную погрешность. Другими словами, требуется найти прямую линию, наилучшим образом выражающую связь между регулируемой и случайной величинами. Графически эту задачу можно представить следующим образом- среди точек x_i и y_i плоскости xy (рис. 4.1) требуется провести прямую так, чтобы величина всех отклонений отвечала условию (наименьшее значение суммы квадратов отклонений от линейной зависимости):

где y(x_i)- зависимость (4.14).

        Источниками ошибок при оценке регрессионной прямой являются:

1) Предположение о линейности рассматриваемой зависимости может быть неверным;

2) Даже если эта зависимость и линейна, при небольшом числе наблюдений ее параметры могут быть оценены неточно

3) Даже если эта зависимость является точно оцененной прямой линией, случайные отклонения от этой прямой могут отказаться настолько большими, что от нее будет мало пользы.

        Множественная линейная регрессия.

        Эта зависимость называется “множественной линейной регрессией”.

        Регрессионная зависимость может и не быть прямой линией. В этих случаях вид кривой должен быть описан более сложной, нелинейной функцией.

        Нелинейная парная регрессия сводится к получению заданной нелинейной зависимости y(x) (нелинейной по независимой переменной x, но линейной по параметрам этой зависимости), приближающей совокупность чисел x_i и y_i с наименьшей среднеквадратичной погрешностью.

        Наиболее часто используемыми частными случаями нелинейной регрессии являются гиперболическая, степенная, показательная, экспоненциальная, логарифмическая, параболическая, полиномиальная. Аппроксимирующие формулы, соответствующие различным функциям, приведены в таблице 4.4. Для каждой функции приведен номер рисунка, на котором показан общий вид зависимости, описываемый данной функцией.

Таблица 4.4. Наиболее часто используемые формулы для аппроксимации статистических зависимостей.

Процесс подбора эмпирической формулы для установленной из опыта зависимости распадается на две части: сначала выбирается вид формулы, и уже после этого определяются численные значения параметров, для которых приближение к данной функции оказывается наилучшим. Если нет каких-либо теоретических соображений для подбора вида формулы, обычно подбирают функциональную зависимость из числа наиболее простых, сравнивая их графики с графиком заданной функции[1].

        В деятельности органов внутренних дел при анализе данных о состоянии криминальной обстановки и составлении прогнозов необходимо учитывать множество параметров, влияние каждого из которых может быть различным и описываться той или иной зависимостью, которую можно подобрать эмпирически по правилам, описанным выше.

Факторный анализ

        В настоящее время при исследовании различных проблем в экономике, построения обобщенных показателей, проведения типологии предприятий и агрегирования отраслей, в социологии -- для классификации социальных объектов и изучения общественного мнения используется факторный анализ.

        Основная идея факторного анализа заключается в группировке с помощью специальных процедур множества исходных показателей в ограниченное число скрытых факторов. Здесь под фактором понимается внутренний, скрытый параметр системы, который косвенно характеризуется наблюдаемыми признаками.

Так, в социальных исследованиях при обследовании населения измеряемыми параметрами являются ответы на вопросы анкеты, а факторами, определяющими ответы анкетируемого, такие неизменные характеристики, как социальный статус, культурный уровень, общественная активность и т.д. Для формализации постановки задачи факторного анализа, как правило, делается допущение о линейной связи между измеренными параметрами и факторами. Таким образом, предполагается, что каждый из анализируемых признаков, характеризующих тот или иной объект, может быть представлен линейной формой:

где a, k_j — коэффициенты, которые необходимо определить; f^k — обозначения факторов; u^j — “характерный фактор”, изменение которого влияет на значение соответствующего параметра x^j.

Рис.4.2. Вид наиболее часто используемых зависимостей для описания регрессии.

        Для определения общих факторов и соответствующих факторных нагрузок используется ряд методов, среди которых более известны метод главных компонент и центроидный метод. Их задачей является определение общих факторов таким образом, чтобы поведение вычисленных параметров было близко к поведению измеренных параметров[2].

        Результаты, полученные методом факторного анализа, могут быть использованы не только для описания роли действующих факторов в настоящий момент, но и для классификации различных объектов. В социальных исследованиях часто возникает проблема разбиения исследуемых объектов на однородные группы. Такое разбиение значительно упрощает построение различных математических моделей и проведение дальнейших исследований. В этом случае предварительно выявленные факторы с учетом их весов могут использоваться для различных групп объектов.

[1] Более детально по этому вопросу см. Ивахненко А.Г.,Юрачковский Ю.П. Моделирование сложных систем по экспериментальным данным. - М.: Радио и связь, 1987.

[2] Информатика и вычислительная техника в деятельности органов внутренних дел. Часть 5. Аналитическая деятельность и компьютерные технологии: Учебное пособие. / Под ред. Минаева В.А. - М.: ГУК МВД РФ, 1996.