Диссертация (1141573), страница 17

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 17)

Затем производится усреднение полученных весовых коэффициентовw данных моделей и расчет общей MSEtest на выборке Ltest . Динамика уменьшенияMSEtest от количества циклов обучения ИНСP-1 на бутстрэп-выборках представленана Рисунке 3.7. На 26-м цикле достигнута MSEtest  0,042 , что соответствует ошибке100  0, 205 , дальнейшее обучение показывает, что уменьшение MSEtest практическине происходит, так на 42-м цикле установлена MSEtest  0,038 .Рисунок 3.7 - Сходимость ИНСP-1Дляпроверкиполученныхрезультатоввыполним10-тикратнуюперекрестную проверку согласно технологии, описанной в разделе 2.6.4. При 10-тикратной перекрестной проверке процесс обучения ИНС, приведенный выше,повторяется еще 9 раз, при этом каждый раз обучение и расчет MSEtest выполняетсяпо новым выборкам Ltrain _ k и Ltest _ k , соответственно.

Результаты проверки,представленные на Рисунке 3.8, подтверждают достижение сходимости ИНС приполученной ошибке MSEtest  0,038 .101Рисунок 3.8 - Проверка сходимости ИНСP-1 с помощью метода 10-ти кратнойперекрестной проверкиАналогично было проведено обучение ИНСP-2 на выборке L2. Здесьсходимость достигнута на 22-м цикле, на котором получена MSEtest  0,034 , чтосоответствует   0,184 . Процесс сходимости ИНСP-2 отражен на Рисунке 3.9.По результатам 10-ти кратной перекрестной проверки, приведенным наРисунке 3.10, установлено, что проверка MSEtest 9-тиконтрольныхвыборкахдаласреднийрезультатсвидетельствует об успешном обучении ИНСP-2.Рисунок 3.9 - Сходимость ИНСP-2моделей на разныхMSEcross  0,0418 ,что102Рисунок 3.10 - Проверка сходимости ИНСP-2 с помощью метода 10-ти кратнойперекрестной проверки3.3.4.

Достоверность прогнозирования ИНСP-1 и ИНСP-2По достижению сходимости ИНС ошибка практически перестаетуменьшаться, начинает совершать колебания вокруг некоторого значения и,рассматривая ее как случайную величину, можно утверждать, что закон еераспределения очень близок к нормальному. Тогда в соответствии с разделом 2.6.5определимверхнююграницуматематическогоожиданияошибкиидоверительный интервал прогнозирования для ИНСP-1 и ИНСP-2, соответственно.Для ИНСP-1 контрольная выборка содержит N1  48 прецедентов, средняяарифметическая ошибка, определенная по формуле (2.39), равна   0,12 ,исправленное среднеквадратическое отклонение в соответствии с (2.38) s  0, 086 .Тогда по (2.41) математическое ожидание ошибкиM ( )0.145 с надежностью   0,95 ( tВсоответствиис(2.43)не превышает по модулю 2.01 ).доверительныйинтервалрезультатовпрогнозирования ИНСP-1, в котором с надежностью 0,95 находится истинноезначение относительной сменной производительности труда одного рабочего,равенyP1  0,145 YP1yP1  0,145 .(3.14)103Проводим аналогичный ряд вычислений для ИНСP-2, сходимость которойоценена на контрольной выборке длиной N 2  37 , и получаем доверительныйинтервал результатов прогнозирования ИНСP-2 с надежностью 0,95yP 2  0,135 YP 2yP 2  0,135 .(3.15)3.4.

Математическая модель ИНСQ «Качество строительной продукции»Как показано в разделе 3.2 выход модели ИНСQ - это вектор значенийсоответствующий вероятностям выбора классовK1 , K2 , K3yQ ,лингвистическойпеременной Q - качество строительной продукции. Данный параметр классическийпример качественной переменной.

В связи с этим математическая формализациямодели ИНСQ - это задача классификации, которая в данной работе решается спомощью искусственной нейронной сети.3.4.1. Принцип работы ИНСQВ задачах классификации на несколько классов в последние годы активноприменяется подход, основанный на использовании softmax-функции в качествефункции активации нейронов последнего (выходного) слоя сетиexp(v i )i 3 exp(v )i 1,(3.16)iгде i - индекс класса.Подход заключается в разбиении выходного слоя на количество нейронов,соответствующее количеству классов, которыми оценивается выход сети.

В ИНСQдля оценки выхода модели (качества строительной продукции) используется 3класса. Принципиальная схема работы ИНСQ представлена на Рисунке 3.11.В результате применения softmax-функции каждый нейрон генерируетвыходной сигнал, при этом сумма сигналов нейронов выходного слоя остаетсянеизменной и равной 1, что сохраняет выходы модели в рамках принятойвероятностной концепции их оценки.В остальном функционирование ИНСQ повторяет работу ИНСP.1043.4.2.

Алгоритм обучения ИНСQПрименим алгоритм обучения сети методом обратного распространенияошибки, рассмотренный в разделе 2.6.1, применительно к ИНСQ. Обучающаявыборка согласно разделу 2.4.4 и с учетом (2.6) представляет собойL  {( xg ), (YQ )}nN1 ,(3.17)Алгоритм обратного распространения ошибки в данном случае будетотличаться от ИНСP, так как некорректно применять функцию потерь (3.8) в видузамены функции активации выходного слоя нейронов на softmax-функцию.Сенсоры g(входной слой)Нейроны j(скрытый слой)Нейроны k(softmax-слой) = max( ) =exp( )= =3∑=1 exp( )Функцияактивациинейрона kРисунок 3.11 - Принципиальная схема работы ИНСQДля ИНСQ функцией потерь выступает кросс-энтропия, полученная израсхождения Кульбака-Лейблера105D( p || q) NpX NXlog(pX)qX(3.18)где X - событие (объект) из выборки длиной N;p X - фактическая вероятность события X (полученная из эксперимента);qX- ожидаемая вероятность события X (полученная с помощью созданноймодели).Выражение (3.15) можно представить в следующем видеD( p || q) NpX NNXlog pX   pX log qX  H ( p)  H ( p, q)(3.19)X Nгде H ( p) - энтропия, H ( p, q) - перекрестная энтропия.Расхождение Кульбака-Лейблера представляет собой разницу междуфактическим(истинным)распределениемвероятностейpиожидаемымраспределением q, которое выдает созданная модель.

Так как первое слагаемоеH ( p)выражения (3.19) постоянно и не зависит от построенной модели, тооптимизациямодели,ошибкакоторойописываетсявыражением(3.19),заключается в минимизации второго слагаемого H ( p, q) .Тогда для ИНСQ функция потерь предстанет в следующем виде с учетом(3.16)NNE  H ( p, q)   pk log qk   pk log(n 1n 1exp(v k )),K3 exp(vk(3.20))K1где n - номер объекта выборки, соответствующий событию X в (3.19).Применим алгоритм обратного распространения ошибки при заданныхусловиях.

На вход сети подается вектор сигналов ( xg ) n n-го примера обучающейвыборки (3.17) и фиксируется отклик модели - выходной вектор сигналов третьегослоя сетиyQ  ( qk ) n .Продифференцировав функцию потерь (3.20) поw jk  E  k y jw jkw jk ,получим(3.21)106где  k - локальный градиент нейрона k, который с помощью цепного правиладифференцирования запишем в виде3EE qivk i 1 qi vkk (3.22)где выражения под знаком суммы равны соответственноpE k ,qkqk(3.23)(3.24)qiq (1q ),i k kq q ,ikk .i kvkТогда локальный градиент нейрона k с учетом (3.23) и (3.24) равен3EE qi qk  pkvk i 1 qi vkk Корректировка весов связейwgj(3.25)между I и II слоями сети согласно алгоритмуобратного распространения ошибки находится по выражению (2.18), гделокальный градиент нейрона j определяем по аналогии с формулой (2.17) и сучетом (3.10) получаем j   (v j ) k w jk  8 y j (1  y j ) k w jkk(3.26)k3.4.3. Обучение ИНСQОбучение ИНСQ производится по всей выборке (3.17) с целью определениявероятности брака или значительных дефектов строительной продукции на любомэтапе строительства.

Выполним обучение согласно технологии, описанной вразделах 2.6.3 и 3.3.3. Достижение стабильной ошибки MSEtest  0,013 за несколькопоследних эпох обучения произошло на 32 цикле, как показано на Рисунке 3.12,что соответствует ошибке   0,11.107Рисунок 3.12 - Сходимость ИНСQНа Рисунке 3.13 показаны результаты 10-ти кратной перекрестной проверки,которые свидетельствуют, что средняя MSEcross 10-ти разных моделей, посчитаннаяна 10 разных контрольных выборках составили MSEcross  0,0134 , что сопоставимос полученной MSEtest на обученной модели.Рисунок 3.13 - Проверка сходимости ИНСQ с помощью метода 10-ти кратнойперекрестной проверки1083.4.4.

Достоверность прогнозирования ИНСQДля ИНСQ контрольная выборка содержит N  85 прецедентов, средняяарифметическая ошибка, определенная по формуле (2.39), равна   0, 04 ,исправленное среднеквадратическое отклонение в соответствии с (2.38) s  0, 05 .Тогда по (2.41) математическое ожидание ошибкиM ( )0.07 с надежностью   0,95 ( tВсоответствиис(2.43)не превышает по модулю 1.99 ).доверительныйинтервалрезультатовпрогнозирования ИНСQ, в котором находится истинное значение вероятности piполучения строительной продукции класса Ki с надежностью 0,95 равенqi  0,07piqi  0,07 .(3.27)3.5. Состояние устойчивости строительного процесса. Сбой или отказсистемыУстойчивое равновесие как состояние некоторой функционирующейсистемы (машины) было исследовано в трудах У.Кеннона [70] и У.Р.

Характеристики

Список файлов диссертации