6. Обработка и обобщение результатов исследования

6.1. Использова­ние статистических оценок достоверности результатов. Регрессионный и кореляционный анализ. Графическое и табличное представление результатов эксперимен­та

Обработка статистических данных уже давно применяется в самых разнообразных видах человеческой деятельности. Вообще говоря, трудно назвать ту сферу, в которой она бы не использовалась. Всесторонний и глубокий анализ информации, так называемых статистических данных, предполагает использование различных специальных методов, важное место среди которых занимает корреляционный и регрессионный анализы обработки статистических данных.

В научных исследованиях часто решают задачу выявления факторов, определяющих уровень и динамику какого-либо процесса. Такая задача чаще всего решается методами корреляционного и регрессионного анализа. Для достоверного отображения объективно существующих в процессов необходимо выявить существенные взаимосвязи и не только выявить, но и дать им количественную оценку. Этот подход требует вскрытия причинных зависимостей. Под причинной зависимостью понимается такая связь между процессами, когда изменение одного из них является следствием изменения другого.

Основными задачами корреляционного анализа являются оценка силы связи и проверка статистических гипотез о наличии и силе корреляционной связи. Не все факторы, влияющие на процессы, являются случайными величинами, поэтому при анализе каких-либо явлений обычно рассматриваются связи между случайными и неслучайными величинами. Такие связи называются регрессионными, а метод математической статистики, их изучающий, называется регрессионным анализом.

Использование возможностей современной вычислительной техники, оснащенной пакетами программ машинной обработки статистической информации на ЭВМ, делает практически осуществимым оперативное решение задач изучения взаимосвязи необходимых показателей методами корреляционно-регрессионного анализа.

При машинной обработке исходной информации на ЭВМ, оснащенных пакетами стандартных программ ведения анализов, вычисление параметров применяемых математических функций является быстро выполняемой счетной операцией.

Роль корреляцонно-регрессионного анализа в обработке данных

Корреляционный анализ и регрессионный анализ являются смежными разделами математической статистики, и предназначаются для изучения по выборочным данным статистической зависимости ряда величин; некоторые из которых являются случайными. При статистической зависимости величины не связаны функционально, но как случайные величины заданы совместным распределением вероятностей. Исследование взаимосвязи случайных величин приводит к теории корреляции, а как разделу теории вероятностей и корреляционному анализу – к разделу математической статистики. Исследование зависимости случайных величин приводит к моделям регрессии и регрессионному анализу на базе выборочных данных. Теория вероятностей и математическая статистика представляют лишь инструмент для изучения статистической зависимости, но не ставят своей целью установление причинной связи. Представления и гипотезы о причинной связи должны быть привнесены из некоторой другой теории, которая позволяет содержательно объяснить изучаемое явление.

Формально корреляционная модель взаимосвязи системы случайных величин может быть представлена в следующем виде: , где Z – набор случайных величин, оказывающих влияние на изучаемые случайные величины.

Экономические данные почти всегда представлены в виде таблиц. Числовые данные, содержащиеся в таблицах, обычно имеют между собой явные (известные) или неявные (скрытые) связи.

Рекомендуемые материалы

Явно связаны показатели которые получены методами прямого счета, т. е. вычислены по заранее известным формулам. Например, проценты выполнения плана, уровни, удельные веса, отклонения в сумме, отклонения в процентах, темпы роста, темпы прироста, индексы и т. д.

Связи же второго типа (неявные) заранее неизвестны. Однако необходимо уметь объяснять и предсказывать (прогнозировать) сложные явления для того, чтобы управлять ими. Поэтому специалисты с помощью наблюдений стремятся выявить скрытые зависимости и выразить их в виде формул, т. е. математически смоделировать явления или процессы. Одну из таких возможностей предоставляет корреляционно-регрессионный анализ.

Математические модели строятся и используются для трех обобщенных целей:

• для объяснения;

• для предсказания;

• для управления.

Представление экономических и других данных в электронных таблицах в наши дни стало простым и естественным. Оснащение же электронных таблиц средствами корреляционно-регрессионного анализа способствует тому, что из группы сложных, глубоко научных и потому редко используемых, почти экзотических методов, корреляционно-регрессионный анализ превращается для специалиста в повседневный, эффективный и оперативный аналитический инструмент. Однако, в силу его сложности, освоение его требует значительно больших знаний и усилий, чем освоение простых электронных таблиц.

Пользуясь методами корреляционно-регрессионного анализа, аналитики измеряют тесноту связей показателей с помощью коэффициента корреляции. При этом обнаруживаются связи, различные по силе (сильные, слабые, умеренные и др.) и различные по направлению (прямые, обратные). Если связи окажутся существенными, то целесообразно будет найти их математическое выражение в виде регрессионной модели и оценить статистическую значимость модели.

Регрессионный анализ называют основным методом современной математической статистики для выявления неявных и завуалированных связей между данными наблюдений. Электронные таблицы делают такой анализ легко доступным. Таким образом, регрессионные вычисления и подбор хороших уравнений – это ценный, универсальный исследовательский инструмент в самых разнообразных отраслях деловой и научной деятельности (маркетинг, торговля, медицина и т. д.). Усвоив технологию использования этого инструмента, можно применять его по мере необходимости, получая знание о скрытых связях, улучшая аналитическую поддержку принятия решений и повышая их обоснованность.

Корреляционно-регрессионный анализ и его возможности

Корреляционный анализ является одним из методов статистического анализа взаимосвязи нескольких признаков.

Он определяется как метод, применяемый тогда, когда данные наблюдения можно считать случайными и выбранными из генеральной совокупности, распределенной по многомерному нормальному закону. Основная задача корреляционного анализа (являющаяся основной и в регрессионном анализе) состоит в оценке уравнения регрессии.

Корреляция – это статистическая зависимость между случайными величинами, не имеющими строго функционального характера, при которой изменение одной из случайных величин приводит к изменению математического ожидания другой.

Парная корреляция – связь между двумя признаками (результативным и факторным или двумя факторными).

Частная корреляция – зависимость между результативным и одним факторным признаками при фиксированном значении других факторных признаков.

Множественная корреляция – зависимость результативного и двух или более факторных признаков, включенных в исследование.

Корреляционный анализ имеет своей задачей количественное определение тесноты связи между двумя признаками (при парной связи) и между результативным признаком и множеством факторных признаков (при многофакторной связи).

Теснота связи количественно выражается величиной коэффициентов корреляции. Коэффициенты корреляции, представляя количественную характеристику тесноты связи между признаками, дают возможность определить “полезность” факторных признаков при построении уравнений множественной регрессии. Величина коэффициентов корреляции служит также оценкой соответствия уравнению регрессии выявленным причинно-следственным связям.

Первоначально исследования корреляции проводились в биологии, а позднее распространились и на другие области, в том числе на социально-экономическую. Одновременно с корреляцией начала использоваться и регрессия. Корреляция и регрессия тесно связаны между собой: первая оценивает силу (тесноту) статистической связи, вторая исследует ее форму. И корреляция, и регрессия служат для установления соотношений между явлениями и для определения наличия или отсутствия связи между ними.

Предпосылки корреляционного и регрессионного анализа

Перед рассмотрением предпосылок корреляционного и регрессионного анализа, следует сказать, что общим условием, позволяющим получить более стабильные результаты при построении корреляционных и регрессионных моделей, является требование однородности исходной информации. Эта информация должна быть обработана на предмет аномальных, т.е. резко выделяющихся из массива данных, наблюдений. Эта процедура выполняется за счет количественной оценки однородности совокупности по какому-либо одномерному или многомерному критерию (в зависимости от исходной информации) и имеет цель тех объектов наблюдения, у которых наилучшее (или наихудшее) условия функционирования по не зависящим или слабо зависящим причинам.

После обработки данных на предмет “аномальности” следует провести проверку, насколько оставшаяся информация удовлетворяет предпосылкам для использования статического аппарата при построении моделей, так как даже незначительные отступления от этих предпосылок часто сводят к нулю получаемый эффект. Следует иметь ввиду, что вероятностное или статистическое решение любой экономической задачи должно основываться на подробном осмыслении исходных математических понятий и предпосылок, корректности и объективности сбора исходной информации, в постоянном сочетании с теснотой связи математико-статистического анализа.

Для применения корреляционного анализа необходимо, чтобы все рассматриваемые переменные были случайными и имели нормальный закон распределения. Причем выполнение этих условий необходимо только при вероятностной оценке выявленной тесноты связи.

Рассмотрим простейшие случай выявления тесноты связи – двумерную модель корреляционного анализа.

Для характеристики тесноты связи между двумя переменными обычно пользуются парным коэффициентом корреляции , если рассматривать генеральную совокупность, или его оценкой – выборочным парным коэффициентом , если изучается выборочная совокупность. Парный коэффициент корреляции в случае линейной формы связи вычисляют по формуле

,

а его выборочное значение – по формуле

При малом числе наблюдений выборочный коэффициент корреляции удобно вычислять по следующей формуле:

Величина коэффициента корреляции изменяется в интервале .

При  между двумя переменными существует функциональная связь, при  – прямая функциональная связь. Если , то значение Х и У в выборке некоррелированы; в случае, если система случайных величин  имеет двумерное нормальное распределение, то величины Х и У будут и независимыми.

Если коэффициент корреляции находится в интервале , то между величинами Х и У существует обратная корреляционная связь. Это находит подтверждение и при визуальном анализе исходной информации. В этом случае отклонение величины У от среднего значения взяты с обратным знаком.

Если каждая пара значений величин Х и У чаще всего одновременно оказывается выше (ниже) соответствующих средних значений, то между величинами существует прямая корреляционная связь и коэффициент корреляции находится в интервале .

Если же отклонение величины Х от среднего значения одинаково часто вызывают отклонения величины У вниз от среднего значения и при этом отклонения оказываются все время различными, то можно предполагать, что значение коэффициента корреляции стремится к нулю.

Следует отметить, что значение коэффициента корреляции не зависит от единиц измерения и выбора начала отсчета. Это означает, что если переменные Х и У уменьшить (увеличить) в К раз либо на одно и то же число С, то коэффициент корреляции не изменится.

Пакет анализа Microsoft Excel

В состав Microsoft Excel входит набор средств анализа данных (так называемый пакет анализа), предназначенный для решения сложных статистических и инженерных задач. Для проведения анализа данных с помощью этих инструментов следует указать входные данные и выбрать параметры; анализ будет проведен с помощью подходящей статистической или инженерной макрофункции, а результат будет помещен в выходной диапазон. Другие средства позволяют представить результаты анализа в графическом виде.

Графические изображения используются прежде всего для наглядного представления статистических данных, благодаря им существенно облегчается их восприятие и понимание. Существенна их роль и тогда, когда речь идет о контроле полноты и достоверности исходного статистического материала, используемого для обработки и анализа.

Статистические данные приводятся в виде длинных и сложных статистических таблиц (см., например, табл.1), поэтому бывает весьма трудно обнаружить в них имеющиеся неточности и ошибки.

Графическое же представление статистических данных помогает легко и быстро выявить ничем не оправданные пики и впадины, явно не соответствующие изображаемым статистическим данным, аномалии и отклонения. На графике, построенном по данным таблицы 1 (рис.1), наглядно показано распределение курса биржевых ставок в зависимости от времени совершения сделки и цены сделки в рублях.

Графическое представление статистических данных является не только средством иллюстрации статистических данных и контроля их правильности и достоверности. Благодаря своим свойствам оно является важным средством толкования и анализа статистических данных, а в некоторых случаях – единственным и незаменимым способом их обобщения и познания. В частности, оно незаменимо при одновременном изучении нескольких взаимосвязанных экономических явлений, так как позволяет с первого взгляда установить существующие между ними соотношения и связи, различие и подобие, а также выявить особенности их изменений во времени.

Однако, чтобы эффективнее использовать графические изображения статистических данных, необходимо овладеть методикой и техникой их построения. К этому следует добавить, что построенное графическое изображение статистических данных в наибольшей степени соответствует характеру и содержанию изображаемых данных и поставленной задаче их анализа.

Корреляция – один из инструментов пакета анализа Microsoft Excel. Используется для количественной оценки взаимосвязи двух наборов данных, представленных в безразмерном виде. Коэффициент корреляции выборки представляет собой ковариацию двух наборов данных, деленную на произведение их стандартных отклонений.

Корреляционный анализ дает возможность установить ассоциированы ли наборы данных по величине, то есть: большие значения из одного набора данных связаны с большими значениями другого набора (положительная корреляция); или, наоборот, малые значения одного набора связаны с большими значениями другого (отрицательная корреляция); или данные двух диапазонов никак не связаны (корреляция близка к нулю).

Рис. 6.1. Распределение курса биржевых ставок в зависимости от времени совершения сделки и цены сделки в рублях

Регрессия также является инструментом пакета анализа данных Microsoft Excel. Линейный регрессионный анализ заключается в подборе графика для набора наблюдений с помощью метода наименьших квадратов. Регрессия используется для анализа воздействия на отдельную зависимую переменную значений одной или более независимых переменных. Например, на курс биржевых ставок влияют несколько факторов, включая такие, как время совершения сделки и ее цена. Регрессия пропорционально распределяет меру качества по этим двум факторам на основе данных функционирования курса биржевых ставок. Результаты регрессии могут быть использованы для предсказания качеств новых, не совершенных еще биржевых сделок. Например, используя результаты таблицы 1, можно с помощью регрессии предсказать цены следующих сделок (Табл. 2).

6.2. Теория и методология статистического наблюдения

Статистическое наблюдение выступает как один из главных методов статистики и как одна из важнейших стадий статистического исследования. Важность этого этапа исследования определяется тем, что использование только объективной и достаточно полной информации, полученной в результате статистического наблюдения, на последующих этапах исследования в состоянии обеспечить научно обоснованные выводы о характере и закономерностях развития изучаемого объекта. Статистическое наблюдение от начальной до завершающей стадии-получения итоговых материалов должно быть тщательно продуманным и четко организованным.

Понятие статистического наблюдения, этапы проведения

Для исследования явлений и процессов общественной жизни следует прежде всего собрать о них необходимые сведения – статистические данные. Под статистическими данными (информацией) понимают совокупность количественных характеристик явлений и процессов, полученных в результате статистического наблюдения, их обработки или соответствующих расчетов.

Основными свойствами статистической информации являются ее массовость и стабильность. Первая черта связана с особенностями предмета исследования статистики как науки, а вторая – говорит о том, что однажды собранная информация остается неизменной и, следовательно, имеет способность устаревать. Поэтому и выводы о состоянии и развитии явления, сделанные на основе анализа информации, полученной несколько лет назад, могут быть неполными и даже неверными.

Важной частью любого статистического исследования является статистическое наблюдение.

Статистическое наблюдение – это массовое, планомерное, научно-организованное наблюдение за явлениями социальной и экономической жизни, которое заключается в регистрации отобранных признаков у каждой единицы совокупности.

Примером статистического наблюдения являются опросы общественного мнения, которые особенно популярны стали в России в последние годы. Такое наблюдение предпринимается с целью выявления отношения людей к некоторым представляющим интерес вопросам или спорным событиям.

Процесс проведения статистического наблюдения включает следующие этапы:

°   подготовка наблюдения;

°   проведение массового сбора данных;

°   подготовка данных к автоматизированной обработке;

°   разработка предложений по совершенствованию статистического наблюдения.

Любое статистическое наблюдение требует тщательной, продуманной подготовки. От нее во многом будут зависеть надежность и достоверность информации, своевременность ее получения.

Подготовка статистического наблюдения – процесс, включающий разные виды работ. Сначала необходимо решить методологические вопросы, важнейшими из которых являются определение цели и обьекта наблюдения, состава признаков, подлежащих регистрации; разработка документов для сбора данных; выбор отчетной единицы и единицы, относительно которой будет проводиться наблюдение, а также методов и средств получения данных.

Кроме методологических вопросов необходимо решить проблемы организационного характера, например, определить состав органов, проводящих наблюдение; подобрать и подготовить кадры для проведения наблюдения; составить календарный план работ по подготовке, проведению и обработке материалов наблюдения; провести тиражирование документов для сбора данных.

Цель статистического наблюдения

Статистические наблюдения чаще всего преследуют практическую цель – получение достоверной информации для выявления закономерностей развития явлений и процессов. Например, целью микропереписи населения России 1994 г. было получение данных о численности,составе населения, условиях его проживания.

Задача наблюдения предопределяет его программу и формы организации. Неясно поставленная цель может привести к тому, что в процессе, наблюдения будут собраны ненужные данные или, наоборот, не будут получены сведения, необходимые для анализа.

Объект и единица наблюдения. Отчетная единица. При подготовке наблюдения кроме цели следует точно определить, что именно подлежит обследованию, т. е. установить объект наблюдения.

Под объектом наблюдения понимается некоторая статистическая совокупность, в которой проистекают исследуемые явления и процессы. Чтобы определить объект статистического наблюдения, необходимо установить границы изучаемой совокупности. Для этого следует указать важнейшие признаки, отличающие его от других сходных объектов. Например, прежде чем проводить обследование рентабельности промышленных предприятий, следует определить формы собственности, организационно-правовые формы предприятий, отрасли промышленности и регионы, подлежащие наблюдению.

Всякий объект статистического наблюдения состоит из отдельных элементов – единиц наблюдения.

В статистике единицей наблюдения (в зарубежной литературе используется термин "элементарная единица") называют составной элемент объекта, являющийся носителем признаков, подлежащих регистрации. Например, при демографических обследованиях единицей наблюдения может быть человек, но может быть и семья; при бюджетных обследованиях – семья или домашнее хозяйство.

Единицу наблюдения следует отличать от отчетной единицы. Отчетной единицей выступает субъект, от которого поступают данные об единице наблюдения. Единица наблюдения и отчетная единица могут совпадать.

Программа статистического наблюдения. Всякое явление обладает множеством различных признаков. Собирать информацию по всем признакам нецелесообразно, а часто и невозможно. Поэтому необходимо отобрать те признаки, которые являются существенными, основными для характеристики объекта, исходя из цели исследования. Для определения состава регистрируемых признаков разрабатывают программу наблюдения.

Программа наблюдения – это перечень признаков (или вопросов), подлежащих регистрации в процессе наблюдения. От того, насколько хорошо разработана программа статистического наблюдения, во многом зависит качество собранной информации.

Чтобы составить правильно программу наблюдения, исследователь должен ясно представлять задачи обследования конкретного явления или процесса, определить состав используемых в анализе методов, необходимые группировки и уже на основе этого выявить те признаки, которые можно определить при проведении работы. Обычно программа выражается в форме вопросов переписного -опросного) листа.

К программе статистического наблюдения предъявляются следующие требования.

Программа должна содержать существенные признаки, непосредственно характеризующие изучаемое явление, его тип, основные черты, свойства. Не следует включать в программу признаки, имеющие второстепенное значение по отношению к цели обследования или значения которых заведомо будут недостоверны или отсутствовать, например, в первичном учете или при незаинтересованности отчетных единиц в представлении такой информации, так как она является предметом коммерческой тайны.

Вопросы программы должны быть точными и не двусмысленными, иначе полученный ответ может содержать не верную информацию, а также легкими для понимания во избежание лишних трудностей при получении ответов.

При разработке программы следует не только определить состав вопросов, но и их последовательность. Логичный порядок в последовательности вопросов (признаков) поможет получить достоверные сведения об явлениях и процессах.

Выбор времени наблюдения заключается в решении двух вопросов:

°   установление критического момента (даты) или интервала времени;

°   определение срока (периода) наблюдения.

Под критическим моментом (датой) понимаются конкретный день года, час дня, по состоянию на который должна быть проведена регистрация признаков по каждой единице исследуемой совокупности. Так, например, критическим моментом микропереписи населения РФ в 1994 г. был 0 часов в ночь с 13 на 14 февраля 1994 г. Критический момент устанавливается с целью получения сопоставимых статистических данных.

Выбор критического момента или интервала времени определяется прежде всего целью исследования.

Срок (период) наблюдения – это время, в течение которого происходит заполнение статистических формуляров, т. е. время, необходимое для проведения массового сбора данных. Этот срок определяется исходя из обьема работы (числа регистрируемых признаков и единиц в обследуемой совокупности), численности персонала, занятого сбором информации.

Ошибки наблюдения

Точностью статистического наблюдения называют степень соответствия величины какого-либо показателя (значение какого-либо признака), определенной по материалам статистического наблюдения, действительной его величине.

Расхождение между расчетным и действительным значением изучаемых величин называется ошибкой наблюдения.

Точность данных – это основное требование, предъявляемое к статистическому наблюдению. Чтобы избежать ошибок наблюдения, предупредить, выявить и исправить их возникновение, необходимо:

· обеспечить качественное обучение персонала, который будет проводить наблюдение;

· организовагь специальные частичные или сплошные контрольные проверки правильности заполнения статистических формуляров;

· провести логический и арифметический контроль полученных данных после окончания сбора информации.

В зависимости от причин возникновения различают ошибки регистрации и ошибки репрезентативности.

Ошибки регистрации – это отклонения между значением показателя, полученного в ходе статистического наблюдения, и фактическим, действительным его значением. Этот вид ошибок может быть и при сплошном, и при несплошном наблюдениях.

В отличие от ошибок регистрации ошибки репрезентативности характерны только для несплошного наблюдения. Они возникают потому, что отобранная и обследованная совокупность недостаточно точно воспроизводит (репрезентирует) всю исходную совокупность в целом.

"50 Теория прямой демократии" - тут тоже много полезного для Вас.

Отклонение значения показателя обследованной совокупности от его величины по исходной совокупности называется ошибкой репрезентативности.

Ошибки репрезентативности также бывают случайные и систематические. Случайные ошибки возникают, если отобранная совокупность неполно воспроизводит всю совокупность в целом. Ее величина может быть оценена.

Систематические ошибки репрезентативности появляются вследствие нарушения принципов отбора единиц из исходной совокупности, которые должны быть подвергнуты наблюдению. Для выявления и устранения допущенных при регистрации ошибок может применяться счетный и логический контроль собранного материала.репрезентативности (так же, как и ошибки регистрации) могут быть случайиымв и систематическими.

Счетный контроль заключается в проверке точности арифметических расчетов, применявшихся  при составлении отчетности или заполнении формуляров обследования.

Логический контроль заключается в проверке ответов на вопросы программы наблюдения путем их логического осмысления или путем сравнения полученных данных с другими источниками по этому же вопросу.

Обычно для исправления ошибок, выявленных в ходе логического контроля, требуется повторно обратиться к источнику сведений.