Диссертация (Исследование и разработка методов и алгоритмов обобщения знаний для систем поддержки принятия решений реального времени), страница 24

. . 119Б.1 «Noise study–Изучение шума» . . . . . . . . . . . . . . . . . . . . . 148Б.2 «Time Series Anomally Detection (TiSAD)» – «Обнаружениеаномалий в наборах временных рядов» . . . . . . . . . . . . . . . . 149Б.3 «Temporal Decision Trees (TDT)» – «Темпоральные деревьярешений» . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . 150В.1 Акт о внедрении . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151Г.1 Акт об использовании в учебно-научном процессе НИУ «МЭИ» . . 152140Список таблиц1.1 Динамический объект обобщения . . . . . . . . . . . . . . . . . . . 241.2 Динамический объект обобщения (эквивалентное представление) .

252.12.22.32.42.52.62.72.82.92.102.11Пример временного ряда . . . . . . . . . . . . . . . . . . . . . . . .Алфавит из 10 символов: значения , = 0, ..,10 . . . . . . . . . . .Различные представления временного ряда . . . . . . . . . . . . . .Таблица расстояний между символами для алфавита из 10 символовНабор динамических объектов (ситуаций) для случая 1 параметра .Классы . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . .Описание ситуаций на объекте для случая 1 датчика . . . . . . . .Псевдокод алгоритма TS-ADEEP . . . . . . . . . . . . . . . . . . . .Результаты вычисления фактора сглаживания для подмножеств I .Псевдокод алгоритма TS-ADEEP-Multi . . . . . . . . . . . . . . . .Описание ситуаций на объекте для случая 1 датчика символьное представление . . . .

. . . . . . . . . . . . . . . . . . .3.1 Пример динамического объекта обобщения для случая получениянаблюдений от трёх датчиков . . . . . . . . . . . . . . . . . . . . . .3.2 Набор ситуаций на объекте для случая 3 датчиков . . . . . . .

. . .3.3 Пример трёх классов динамических объектов с двумя параметрами3.4 Пример шести классов динамических объектов с пятьюпараметрами . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3.5 Пример шести классов динамических объектов с пятьюпараметрами. «Параметр 5» – наиболее информативный. . . . . . .3.6 Описание ситуаций на объекте для случая 3 датчиков.

Время дляпринятия решения меньше t* . . . . . . . . . . . . . . . . . . . . . .3.7 Набор ситуаций на объекте . . . . . . . . . . . . . . . . . . . . . . .3.8 Набор ситуаций на объекте - символьное представление . . . . . .3.9 Псевдокод алгоритма – построение темпорального дерева решений3.10 Ожидаемая стоимость темпорального дерева решений . . .

. . . .3.11 Ситуации для построения темпорального дерева решений . . . . .3.12 Псевдокод алгоритма «Темпоральный ID3» . . . . . . . . . . . . . .29323334375466697072767879838687888990939494961413.13 Псевдокод алгоритма – выбор наблюдения для Темпорального ID34.1 Точность обнаружения аномалий для различных наборов данных.Символьное представление. Алгоритм − .

. . . . . .4.2 Точность классификации временных рядов классическимиалгоритмами [118] и точность обнаружения аномалий в наборахвременных рядов с одним классом алгоритмом «TS-ADEEP» . . .4.3 Точность обнаружения аномалий для различных наборов данных.Символьное представление. Алгоритм − − .4.4 Точность классификации временных рядов классическимиалгоритмами [118] и точность обнаружения аномалий в наборахвременных рядов с несколькими классами алгоритмом«TS-ADEEP-Multi» . . .

. . . . . . . . . . . . . . . . . . . . . . . .4.5 Точность классификации динамических объектов (%). Частныйслучай, динамический объект обобщения – временной ряд.Сравнение со специализированными алгоритмами. . . . . . . . .4.6 Точность классификации динамических объектов (%). Частныйслучай, динамический объект обобщения – временной ряд.Сравнение с классическими алгоритмами. . . .

. . . . . . . . . .4.7 Точность классификации (%), набор данных Activities of dailyliving. Классификация по одному и нескольким признакам. CPD –алгоритм «CPD» [112]; TID3 – алгоритм «Темпоральный ID3» . .4.8 Точность классификации (%) - набор данных ECG.Классификация по одному и нескольким признакам. CPD –алгоритм «CPD» [112]; TID3 – алгоритм «Темпоральный ID3» . .4.9 Точность классификации (%) - набор данных wafer.Классификация по одному и нескольким признакам.

CPD –алгоритм «CPD» [112]; TID3 – алгоритм «Темпоральный ID3» . .4.10 Точность классификации динамических объектов (%). Наборыданных «цилиндр-коколол-воронка» (CBF) и «контрольныекарты» (CC). Общий случай. Несколько признаков. CPD –алгоритм «CPD» [112]; TID3 – алгоритм «Темпоральный ID3» . .97.

106. 109. 110. 113. 115. 116. 117. 118. 119. 120142Приложение АПример работы с программным комплексомРассмотрим работу с программным комплексом на примере. Допустим,что требуется провести моделирование для набора данных «цилиндр-колоколворонка». Утилита syntheticdata.py генерирует необходимое число временныхрядов, относящихся к классам «цилиндр», «колокол», «воронка». Будем считать,что данная утилита сгенерировала файлы _0., _1., .. для класса «цилиндр», _0., _1., .. для класса «колокол», _0., _1., .. длякласса «воронка».Далее необходимо преобразовать исходные данные в нормализованный исимвольный (SAX) вид. Для этого нужно сформировать bat-файл следующеговида:process_wparams & (for %%i in (cyl_, bel_, fun_) do for /l %%j in (0,1,9) doprocess_serie_total cbf/%%i%%j.txt) & (5 %FULLPATH%%MERGEFILEPATH% -d %FULLPATH%scripts/" -m "Sax_" -o "OUT")В этом файле сначала задаются настройки среды - bat-файл_..

Далее проводится преобразование 10 рядов каждого класса в нормализованное и символьное (SAX) представление, котороевыполняется с помощью bat-файла __..Файл _. может иметь следующий вид (все пути должныбыть корректно указаны пользователем):chcp 1251rem ТУТ ВСЕ НАСТРОЙКИrem Путь к корневой директории проекта5 set FULLPATH="e:/dev/asp/timeseries/rem Путь к исполняемому файлу - преобразование из исходной в PAA иSAXset TSEXEPATH=release/time_series.exe"rem Папка с даннымиrem Кто вызывает это, должен указыват путь относительно этой папки10 set DATAPATH=tsdata_git/rem Утилита для объединения данных143setremset15 remsetMERGEFILEPATH=python/dist/mergefiles.exe"Утилита для рисования графиковDRAWGRAPHPATH=python/dist/drawgraph.exe"рисовать/нет графикиWITHGRAPH=1Файл __.

имеет следующий вид:51015202530chcp 1251rem Получение данных для одного файлаrem для поддержки связывания времени выполненияSetLocal EnableExtensions EnableDelayedExpansionrem Имя вызываемого файлаset FILENAME=%1echo %FILENAME%rem Имя нормализованного файлаset NORM_FILENAME=%FILENAME%set NORM_FILENAME=%NORM_FILENAME:.txt=_normal.txt%"rem Полный путь к time_series.exeset TSEXE=%FULLPATH%%TSEXEPATH%echo %TSEXE%rem Полный путь к исполняемому файлуset FULLDATAPATH=%FULLPATH%%DATAPATH%%FILENAME%"set NORMDATAPATH=%FULLPATH%%DATAPATH%%NORM_FILENAME%echo %DATAPATH%rem Рисуем график исходной последовательностиif %WITHGRAPH% == 1 (%FULLPATH%%DRAWGRAPHPATH% -d %FULLDATAPATH%)set SAVEPAA=1rem внешний цикл по размеру алфавитаrem (для первого значения построим все варианты PAA, потом PAA можно не сохранять)rem внутренний цикл по размеру PAA (во сколько раз уменьшаем размерность)for %%k in (5, 10, 15, 20, 25, 30, 40, 50) do (for %%j in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (%TSEXE% --pointsinpaa %%j --alphabetsize %%k --timeseriespath %FULLDATAPATH% --savepaa !SAVEPAA!if %WITHGRAPH% == 1 (%FULLPATH%%DRAWGRAPHPATH% -d %NORMDATAPATH% -p "PAA_%%j_points.txtgraph")144)set SAVEPAA=035 )На выходе получаем:– набор файлов вида PAA_<k>_points_all.txt, где <k>=1, 5, 10, 15, 20, 23,25, 30, 40, 50, содержащих временные ряды в нормализованном представлении, сжатые в раз; для удобства переименуем их в файлы видаPAA_<k>_points_all_study.txt – это будут обучающие множества для нормализованного представления временных рядов;– набор файлов вида SAX_<k>_points_<j>_letters.txt, где <k>=1, 5, 10,15, 20, 23, 25, 30, 40, 50, содержащих временные ряды в символьном (SAX) представлении, сжатые в раз и с размером алфавита, равным ; для удобства переименуем их в файлы видаSAX_<k>_points_<j>_letters_study.txt – это будут обучающие множествадля символьного (SAX) представления временных рядов;– набор графиков для каждого вещественного представления (если установлена опция строить графики).Таким образом, можно считать, что были сформированы обучающие множества, состоящие из 30 временных рядов, относящихся к классам «цилиндр»,«колокол», «воронка» (по 10 представителей каждого класса) в нормализованноми символьном представлениях с различными параметрами (размер ряда, размералфавита).Аналогично можно получить экзаменационные множества: пусть, например, экзаменационные множества будут состоять из 300 элементов (по 100 представителей каждого класса «цилиндр», «колокол», «воронка»).

Для этого нужнозапустить bat-файл следующего вида:process_wparams & (for %%i in (cyl_, bel_, fun_) do for /l %%j in (0,1,99) doprocess_serie_total cbf/%%i%%j.txt) & (5 %FULLPATH%%MERGEFILEPATH% -d %FULLPATH%scripts/" -m "Sax_" -o "OUT")На выходе получаем:145– набор файлов вида PAA_<k>_points_all.txt, где <k>=1, 5, 10, 15, 20, 23,25, 30, 40, 50, содержащих временные ряды в нормализованном представлении, сжатые в раз; для удобства переименуем их в файлы видаPAA_<k>_points_all_test.txt – это будут экзаменационные множества длянормализованного представления временных рядов;– набор файлов вида SAX_<k>_points_<j>_letters.txt, где <k>=1, 5, 10,15, 20, 23, 25, 30, 40, 50, содержащих временные ряды в символьном (SAX) представлении, сжатые в раз и с размером алфавита, равным ; для удобства переименуем их в файлы видаSAX_<k>_points_<j>_letters_test.txt – это будут экзаменационные множества для символьного (SAX) представления временных рядов;– набор графиков для каждого вещественного представления (если установлена опция строить графики).Теперь, когда имеются в наличии обучающие и экзаменационные множества, можно проводить моделирование рассмотренных в работе алгоритмов.

Например, для проверки алгоритма − − для нормализованногопредставления временных рядов нужно запустить bat-файл следующего вида:SET MYPROGDIR="../../../Release/tsclassifier.exe"for %%k in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (%MYPROGDIR% --classifier eepmulti --mode d --studyset "PAA_%%k_points_all_study.txt" --testset "PAA_%%k_points_all_test.txt" --lettdist "dist_10" --alphabetsize 105 )Для проверки алгоритма − − для символьного (SAX)представления временных рядов нужно запустить bat-файл следующего вида:SET MYPROGDIR="../../../Release/tsclassifier.exe"for %%j in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (for %%s in (5, 10, 15, 20, 25, 30, 40, 50) do (5%MYPROGDIR% --classifier eepmulti --mode s --studyset "sax_%%j_points_%%s_letters_study.txt" --testset "sax_%%j_points_%%s_letters_test.txt" --lettdist "dist_%%s" -alphabetsize %%s))В результате получим файл с результатами моделирования, в котором содержится информация об использованном алгоритме, названиях обучающего и146экзаменационного множества, параметрах временных рядов, результатах (точности) обнаружения аномалий.С помощью TSClassifier.exe также можно получить данные в формате,необходимом для алгоритмов построения деревьев решенийSET MYPROGDIR="../../../Release/tsclassifier.exe"for %%j in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (for %%s in (5, 10, 15, 20, 25, 30, 40, 50) do (5%MYPROGDIR% --classifier eepmulti --mode s --studyset "sax_%%j_points_%%s_letters_study.txt" --testset "sax_%%j_points_%%s_letters_test.txt" --lettdist "dist_%%s" -alphabetsize %%s --dumpid3 --dumpclasses "#class:CYLINDER,#class:BELL,#class:FUNNEL."))и темпоральных деревьев решенийSET MYPROGDIR="../../../Release/tsclassifier.exe"for %%j in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (for %%s in (5, 10, 15, 20, 25, 30, 40, 50) do (5%MYPROGDIR% --classifier eepmulti --mode s --studyset "sax_%%j_points_%%s_letters_study.txt" --testset "sax_%%j_points_%%s_letters_test.txt" --lettdist "dist_%%s" -alphabetsize %%s --dumptdt --dumpclasses "#class:CYLINDER,#class:BELL,#class:FUNNEL."))Для проверки алгоритма построения деревьев решений нужно запуститьbat-файл следующего вида:SET MYPROGDIR="noisestudy.exe"for %%j in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (for %%s in (5, 10, 15, 20, 25, 30, 40, 50) do (5%MYPROGDIR% --classifier eepmulti --mode s --studyset "sax_%%j_points_%%s_letters_id3.data" --testset "sax_%%j_points_%%s_letters_id3.test" --lettdist "dist_%%s" -alphabetsize %%s))Для проверки алгоритма построения темпоральных деревьев решенийнужно запустить bat-файл следующего вида:147SET MYPROGDIR="../../../../TDT/tdt/bin/Release/tdt.exe"for %%j in (1, 5, 10, 15, 20, 23, 25, 30, 40, 50) do (for %%s in (5, 10, 15, 20, 25, 30, 40, 50) do (5%MYPROGDIR% --classifier eepmulti --mode s --studyset "sax_%%j_points_%%s_letters_tdt.dat" --testset "sax_%%j_points_%%s_letters_tdt.test" --metadata "sax_%%j_points_%%s_letters_tdtmeta.xml" --lettdist "dist_%%s"--alphabetsize %%s --dumpclasses "#class:CYLINDER,#class:BELL,#class:FUNNEL"))В результате получим файл с результатами моделирования, в котором содержится информация об использованном алгоритме, названиях обучающего иэкзаменационного множества, параметрах временных рядов, результатах (точности) обнаружения аномалий (классификации).148Приложение БСвидетельства о государственной регистрации программ для ЭВМБ.1«Noise study–Изучение шума»Рисунок Б.1 — «Noise study–Изучение шума»149Б.2«Time Series Anomally Detection (TiSAD)» – «Обнаружение аномалий внаборах временных рядов»Рисунок Б.2 — «Time Series Anomally Detection (TiSAD)» –«Обнаружение аномалий в наборах временных рядов»150Б.3«Temporal Decision Trees (TDT)» – «Темпоральные деревья решений»Рисунок Б.3 — «Temporal Decision Trees (TDT)» – «Темпоральныедеревья решений»151Приложение ВАкт о внедренииРисунок В.1 — Акт о внедрении152Приложение ГАкт об использовании в учебно-научном процессеРисунок Г.1 — Акт об использовании в учебно-научном процессе НИУ«МЭИ».