Вопросы/задания к контрольной работе: Аккаунт гугл

Содержание

Введение...................................................................................................................3

Задание на выполнение расчетно-графической работы …………….......4 Пошаговый порядок выполнения расчетно-графической работы.......................6 Заключение.............................................................................................................14

Введение

Задачей работы является изучение и оценка показателей (метрик) эффективности алгоритма многоклассового классификатора в режиме псевдобинарной классификации, а также исследование возможных применений интеллектуальных систем-помощников в профессиональной деятельности согласно профилю обучающихся. Бинарный классификатор относит изображения к одному из двух классов - целевому классу ‘+1’ и нецелевому классу ‘-1’. Изображения, принадлежащие целевому классу, называются положительными, а не целевому - отрицательными. Принадлежность целевому классу может определяться как ответом классификатора, так и ответом учителя (действительностью, реальным положением вещей). Ответы классификатора и учителя могут не совпадать.

Классификация изображения состоит из следующих этапов:

-загрузка изображения;

-масштабирование изображения до 224х224 пикселей;

-ввод масштабированного изображения в предварительно обученную модель и получение в качестве начального ответа первой пары из упорядоченного списка пар классов и их вероятностей;

-интерпретация начального ответа классификатора и последующее его преобразование сначала в один из двух возможных предварительных ответов в виде пары значений: {класс = «+1», вероятность класса «+1»} или {класс = «- 1», вероятность класса «+1» = 0}, а затем в окончательный ответ в виде класс = «+1», если вероятность класса «+1» больше или равна порогу, или «-1» - в других случаях.

Задание на выполнение расчетно-графической работы

Для выполнения расчетно-графической работы необходимо выполнить следующий порядок действий:

-создать аккаунт Google, если ранее он не создавался;

-войти в аккаунт Google;

-открыть блокнот Google Colab, (далее блокнот) с классификатором изображений по ссылке: https://colab.research.go...Whn_VIdXleM3y62Plvj3

-сохранить копию блокнота себе на Google Disk (Файл - Сохранить копию на Диске);

-открыть копию блокнота;

-разобрать построчно код программы Python, запуская его в выбранных ячейках или во всех сразу;

-выбрать целевой класс изображений (например, изображения с горой);

-определить практическую задачу и связанное с ней соотношение возможных положительных и отрицательных изображений;

-создать тестовую выборку, состоящую из 30 положительных и отрицательных изображений в соотношении, определенном на предыдущем этапе, указав URL ссылки на эти изображения в блокноте;

-поочередно подать на вход классификатора каждое изображение тестовой выборки и записать его ответы в таблицу, состоящую из четырех столбцов: «Id изображения» (порядковый номер ссылки в блокноте), «Истинный класс (по учителю)» (‘+1’ или ‘-1’), «Класс по классификатору (+1 или -1)» и «Вероятность класса ‘+1’»;

-задать три разных порога - для каждого заданного порога определить окончательные ответы классификатора, построить псевдо-матрицу ошибок (confusion matrix) и вычислить связанные с ней метрики эффективности: неправильность (non accuracy) или доля неправильных ответов, правильность (accuracy) или доля правильных ответов, точность (precision), полнота (recall), арифметическое среднее (A), минимум (M), гармоническое взвешенное среднее (F-мера), геометрическое среднее (G), специфичность, уровень ложно-положительных классификаций (FPR, False Positive Rate) - координата абсцисс точки ROCкривой, уровень истинно-положительных классификаций (TPR, True Positive Rate) - координата ордината точки ROC-кривой;

-построить псевдо-ROC-кривую.

ROC-кривую строят на координатной плоскости, где на оси абсцисс отложен уровень FPR, на оси ординат - TPR, двумя способами:

Способ 1: Постройте три точки P1, P2 и P3 (по одной для каждого порога), а также точки с координатами (0,0), (0,1), (1,1) и (1,0), затем проведите вспомогательные линии, соединив отрезками точки (0;0) и (1,1), (0,1) и (1,1), (1,0) и (1,1), и затем постройте ROC-кривую в виде ломанной, соединив отрезками точки (0,0), P1, P2, P3 и (1;1).

Способ 2: Создайте таблицу с двумя столбцами, записав в первом столбце истинные классы изображений по учителю (‘+1’ или ‘-1’), а во втором - вероятности для класса ‘+1’. Отсортируйте таблицу по убыванию вероятности класса ‘+1’ во втором столбце. Разбейте прямоугольник с вершинами (0,0), (0,1), (1,1) и (1,0) на k равных частей горизонтальными линиями и m равных частей - вертикальными, где k - число истинных классов ‘+1’ и m - число истинных классов ‘-1’ в первом столбце, чтобы получилась сетка из k х m ячеек.

Далее постройте ROCкривую, перебирая строки отсортированной таблицы сверху вниз и прорисовывая ребра сетки из узла (0,0) на ребро вверх, если в текущей строке окажется класс ‘+1’, и на ребро вправо, если класс ‘-1’, остановившись в конце в узле (1,1), т.к. всего можно перебрать k+m строк и прорисовать k ребер вверх и m ребер вправо.