7

Прикладной статистический анализ

СОДЕРЖАНИЕ

ВВЕДЕНИЕ 4

Глава 1 ТЕОРИЯ ВЕРОЯТНОСТЕЙ

1.1. Случайные величины

1.1.1. Статистический подход к описанию случайных величин

1.1.2. Аксиоматическое построение теории вероятностей

1.1.3. Условная вероятность

1.1.4. Функция распределения

1.1.5. Плотность распределения

1.1.6. Случайные вектора

1.2. Числовые характеристики случайных величин

1.3. Гауссовские системы

1.3.1. Плотность нормального распределения

1.3.2. Оптимальное линейное оценивание в гильбертовом пространстве

1.3.3. Оптимальное оценивание нормально-распределенных случайных величин

1.4. Основные статистические распределения

1.4.1. ² распределение

1.4.2. Распределение Стьюдента

1.4.3. F-распределение

Глава 2. Описательные методы статистики

2.1. Точечные оценки и доверительные интервалы

2.1.1. Оценки среднего, дисперсии и ковариации

2.1.2. Точные выборочные распределения

2.1.3. Доверительные интервалы

2.2. Предварительный анализ данных

2.2.1. Непараметрическое оценивание распределения

2.2.2. Оценка близости распределения к нормальному

2.3. Общая схема проверки гипотез

2.3.1. Критерий Колмогорова-Смирнова

2.3.2. Критерий ² Пирсона

2.4. Корреляционный анализ

2.4.1. Оценка корреляции

2.4.2. Канонические корреляции

Глава

3. РЕГРЕССИОННЫЙ АНАЛИЗ

3.1. Модели регрессионного анализа

3.2.Простая регрессия

3.2.1. МНК-оценки параметров

3.2.2. Анализ качества модели

3.2.3. Преобразование линейной модели

3.3. Множественная регрессия

3.3.1. МНК-оценки параметров регрессии

3.3.2. Анализ качества модели

3.3.3. Линейные оценки

3.3.4. Гребневая регрессия

3.3.5. Анализ выбросов

3.4. Нелинейный регрессионный анализ

3.5. Пошаговая регрессия

Глава

4. Дисперсионный анализ

4.1. Основные задачи дисперсионного анализа

4.1.1. Модели дисперсионного анализа

4.1.2. Критерий, построенный по отношению правдоподобия

4.1.3. Простая группировка величин

4.2. Однофакторный дисперсионный анализ

4.3. Двухфакторный дисперсионный анализ

4.4. Множественные сравнения

4.4.1. Уровни ошибок

4.4.2. Метод Тьюки

4.4.3. Метод Шеффе

4.5. Ранговые методы

4.5.1. Критерий Краскела-Уолисса

4.5.2. Критерий Фридмана.

Глава

5. ФАКТОРНЫЕ ПЛАНЫ

5.1. Классификация параметров эксперимента

5.2. Оптимальность планов

5.2.1. Оценивание при ортогональном планировании

5.2.2. Сравнение планов

5.2.3. Сравнение линейных и квадратичных моделей на отрезке

5.2.4. Критерии оптимальности планов

5.3. Полные факторные планы

5.3.1. Полный факторный эксперимент 2²

5.3.2. Полный факторный эксперимент 2³

5.3.3. Полный факторный эксперимент 2^k

5.4. Дробный факторный эксперимент Ошибка! Закладка не определена.

5.4.1. Дробные реплики

5.4.2. Построение полуреплик

Глава 6. Случайные процессы

1. Классификация случайных процессов

2. Общая теория случайных процессов Ошибка! Закладка не определена.

2.1. Аналитические свойства выборочных функций

2.2. Процессы с конечными моментами второго порядка

2.3. Процессы с ортогональными приращениями

2.4. Стационарные процессы

3. Стационарные последовательности

4. Спектральное представление

4.1. Спектральное представление ковариационной функции.

4.2. Линейные операции над стационарными процессами

4.3. Эргодические теоремы для стационарных процессов.

4.4. Статистическое оценивание спектральной плотности спектральной функции

5. Прогнозирование временных рядов

6. Анализ трендов и сглаживание

Глава

7. Многомерный анализ

7.1. Математическая теория выбора

7.2. Графические формы представления многомерных данных

7.3. Факторный анализ

7.3.1. Главные компоненты

7.3.2. Факторная модель

7.3.3. Вращение факторов

7.4. Кластерный анализ

7.4.1. Меры сходства и различия

7.4.2. Процедуры кластерного анализа

7.5. Методы классификации

7.5.1. Дискриминантный анализ в задачах классификации

7.5.2. Байесовская процедура классификации

7.5.3. Процедуры дискриминантного анализа

Приложение

А. Методы генерации случайных величин

Б. Пример реализации процедуры прогноза

В. Цепи Маркова

Г. Моделирование процесса с заданной ковариацей.

Д. Формулы и графики распределении

Дискретные распределения

Непрерывные распределения

Е. Статистический анализ показателей функционирования транспортных предприятий

Показатели функционирования

Объем перевозок

Средняя длина перевозки

Коэффициент технической готовности

Простой под погрузкой

Факторный анализ взаимосвязи показателей

Заключение

ВВЕДЕНИЕ

В предлагаемой читателю книге представлены основные прикладные методы статистического анализа.

Теоретические аспекты статистического анализа – это только одна сторона дел. Математические методы – это всего лишь инструмент для решения поставленных задач в рамках некоторой предметной области. Поэтому в книге большое внимание уделяется интерпретации получаемых результатов с точки зрения прикладных задач.

В качестве предметной области читателю предлагаются, весьма понятные на логическом уровне понимания, вопросы связанные с анализом банковской деятельности, где проводится анализ проводок по различным счетам при работе с различными клиентами. Также весьма понятны и проблемы анализа деятельности автокомбината, где необходимо провести сравнительный анализ его колонн, оценить влияние общей грузоподъемности парка на объем перевозок, оценить влияние технической готовности на эффективности работы всего предприятия. Аналогичные по постановке задачи могут возникнуть и в других сферах деятельности. Понимание предлагаемого подхода к решению задач позволит читателю без труда решать проблемы статистического анализа в любой предметной области и грамотной интерпретации результатов, полученных в результате выполнения расчетных процедур.

Все расчеты реализованы в рамках пакета Statistica. Рассмотрение теоретических методов для решения практических задач сопровождается ссылки на соответствующие процедуры пакета. В данной книге не ставится задача описания работы с пакетом. Для ознакомления с возможностями пакета читателю рекомендуется воспользоваться книгой "В.П.Боровиков, И.П.Боровиков Statistica - Статистический анализ и обработка данных в среде Windows. - М.: Информационно-издательский дом "Филинъ", 1997. - 608с.".

Книга содержит семь глав, в которых рассмотрены: основные положения теории вероятностей; методы описательной статистики; регрессионный анализ; дисперсионный анализ; факторные планы; случайные процессы; многомерные статистические методы.

Глава 1 является вводной и содержит основные понятия теории вероятностей, необходимые для понимания последующего материала.

Глава 2 посвящена описательным статистикам. Описательные статистики дают возможность получить в сжатом виде основные характеристики набора данных и представить их в удобной графической форме.

Методы систематизации, обработки и использования статистических данных, выявление статистических закономерностей составляет основное содержание математической статистики. Так как исходной базой для всех построений математической статистики является рассмотрение результатов опыта или наблюдений как выборки из некоторой генеральной совокупности, то математическая теория выборки является центральным разделом математической статистики. Основу ее представляют методы статистической оценки распределения и характеристик генеральной совокупности.

В главе 3 рассматривается регрессионный анализ.

Методы регрессионного анализа ставят задачей поиск влияния между набором независимых переменных и одной зависимой. Связь между переменными представляется с помощью математической модели, задаваемой некоторым уравнением. Модели регрессионного анализа строятся по пути от простых к сложным.

Простая регрессия рассматривает влияние одной независимой переменной. Множественная регрессия предполагает анализ множества независимых переменных и их влияния на некоторую зависимую. Если простая и множественная используют линейную модель функционала, то нелинейный регрессионный анализ предполагает задание произвольной гипотетической зависимости между анализируемыми переменными. Задачи выделения значимых переменных (факторов) решаются в процедурах пошаговой регрессии.

В главе 4 рассматривается дисперсионный анализ.

Модели дисперсионного анализа, в отличие от регрессионных, имеют дело с качественным характером независимых переменных. Ставится задача оценки влияния и различия показателя для различного набора факторов, а не поиск количественной зависимости как в регрессионном.

Дисперсионный анализ объединяет группу статистических приемов, предложенных Фишером в связи с некоторыми экспериментальными задачами. Область применения этих методов весьма широка, и они с успехом применяются в самых разнообразных экспериментах.

Основная идея дисперсионного анализа заключается в разбиении этой суммы квадратов отклонений на несколько компонент, каждая из которых соответствует действительной или предполагаемой причине изменчивости средних значений. Эти компоненты располагаются так, чтобы вычислять значение критерия для различных гипотез о поведении средних значений или оценки для различных интересующих нас функций от средних значений.

В главе 5 рассмотрены факторные планы.

Приводятся методы сравнительного анализа планов экспериментов, позволяющие определить более рациональны для практического использования в конкретной ситуации. Рассмотрены критериии оптимальности планов методы построения для планов с факторами на двух уровняю.

В главе 6 рассмотрены случайные процессы.

Теория случайных процессов занимает важное место при моделировании различных динамических систем. Всегда, когда есть временной фактор и случайное воздействие внешней среды на систему - тогда есть модель в виде случайного процесса (случайной последовательности).

В главе приводится классификация случайных процессов с точки зрения временного фактора и свойств пространства состояний, даются основные положения теории случайных процессов и последовательностей.

Основное внимание уделено прикладным аспектам использования моделей оценивания ковариационной функции, которая используется для анализа внутренней взаимосвязи динамики некоторого показателя и кросскорреляционной функции, которая анализирует взаимозависимость динамических свойств различных показателей. В качестве классических прикладных проблем случайных процессов рассматриваются процедуры прогнозирование и сглаживание временного ряда.

Глава 7 посвящена многомерным статистическим методам.

Как правило, статистический анализ более чем одной переменной сводится к рассмотрению каждой переменной в отдельности. Такой подход обладает ограниченными возможностями, поскольку выводы относительно совокупности переменных, как правило, не могут быть получены из выводов по каждой переменной в отдельности. Многомерный анализ дает возможность получать более общие выводы относительно всей совокупности.

Следует заметить, что большинство многомерных статистик вычисляются сложнее, чем их одномерные аналоги. В связи с этим некоторые виды анализа невозможны без использования компьютеров.

Теоретические разделы не претендуют на полноту университетского изложения. В них приведен материал, необходимый для понимания методов пакета и интерпретации результатов.

Вместе с тем, авторы надеются, что приведенные в книге примеры использования теории статистической обработки данных в сочетании с компьютерными методами расчетов и графического представления результатов окажутся полезными для широкого круга специалистов в различных отраслях их деятельности.

Авторы выражают глубокую признательность Строгановой Елене Борисовне, Строганову Дмитрию Викторовичу и Бычковой Антонине Ивановне за поддержку и помощь в процессе подготовки книги.