Ответы к заданиям: Karpov Cources Hard ML

Что из перечисленного является минусом SwitchBack

Почему SwitchBack может быть предпочтительнее A/B-тестов для динамического ценообразования

Вы ML инженер Arabia Express. Вы получили результаты АБ теста и хотите понять, какой алгоритм выводить в прод. При каких условиях новый алгоритм будет внедрен в production по результатам АБ-теста? Цель - найти алгоритм максимизации выручки

Что делать, если минимальный детектируемый эффект (МДЕ) метрики выше ожидаемого эффекта от ML-модели

Что такое минимально детектируемый эффект (МДЕ)?

Что такое АБ-тестирование в контексте динамического ценообразования

Представьте, что вы ML-Engineer ArabiaExpress. Перед вами стоит задача имплементировать многорукого бандита. Ваша компания не внедряла еще до этого алгоритмов динамического ценообразования. Какие задачи мог бы выполнять многорукий бандит в вашем случае:

Вам дана аналогия многорукого бандита в виде нечестных монет.
Пусть у нас имеются N монеток. Каждая монетка имеет две стороны — орел (обозначает выигрыш) и решка (обозначает проигрыш). Вероятность выпадения каждой из сторон не равна 50% — такие монетки называют “нечестными”.
Выберите верные утверждения

Расположите имплементации бандитов в порядке лучшей оптимизации метрики Cumulative Regret. Напишите в порядке возрастания

Какие метрики стоит отслеживать при обучении многорукого бандита, чтобы убедиться, что обучение идет правильно

Каких видов бывают многорукие бандиты? Выберите верные ответы

Выберите верные утверждения

Отметьте верные утверждения

Выберите верные утверждения

Представьте, что вы ML-инженер E-com компании ArabiaExpress и занимаетесь ценообразованием. Понимаете, что эластичности очень плохо считаются для потоварного ценообразования.
Как эту ситуацию можно исправить? Отметьте верные варианты

Представьте, что вы ML-инженер E-com компании ArabiaExpress и занимаетесь ценообразованием. Понимаете, что эластичности очень плохо считаются для потоварного ценообразования. Эластичности для товара на разных временных промежутках могут резко менять свой характер, быть и эластичными, и неэластичными.
В чем причины такого поведения? Отметьте верные варианты

В чем разница между дуговой эластичностью и точечной? Выберите верные утверждения:

Какими свойствами обладает эластичность, отметьте верные утверждения

Сопоставьте верные пары

1. Неэластичный товар
2. Товар с единичной эластичностью
3. Эластичный товар

Представьте, что вы ML инженер E-com компании Arabia Express. Вы успешно имплементировали алгоритм оптимизации. Запустили офлайн оптимизацию одного параметра и наблюдаете следующую ситуацию: у вас есть несколько решений на выходе алгоритма оптимизации с одинаковым значением целевого критерия. Что в данном случае стоит сделать

Представьте, что вы ML инженер E-com компании Arabia Express. Вы хотите реализовать алгоритм оптимизации с помощью метода Лагранжа. Что алгоритм оптимизации позволяет сделать

Выберите верные утверждения относительно коэффициента Лямбда в контексте алгоритма оптимизации

В качестве одного из возможных способов решения задачи оптимизации целевого критерия мы разобрали алгоритм с использованием метода коэффициентов Лагранжа. Отметьте верные утверждения про этот метод

Представьте, что вы ML инженер E-com компании Arabia Express. К вам приходит бизнес и ставит задачу по нахождению оптимальных параметров для хорошего запуска динамического ценообразования. Вы это услышали и, пока бизнес не убежал по своим делам дальше, решили на берегу договориться о каких-то вещах. О чём необходимо договориться с бизнесом перед решением задачи динамического ценообразования

Что такое целевой критерий

Вам дана таблица после использования модели спроса на ценовой сетке на трех товарах. Выберите такие маркапы, которые приводят к максимизации выручки

Что необходимо сделать для предсказания спроса

Какие виды аугментаций признаков и таргетов существуют

Какие виды взаимодействий товаров существуют

Сопоставьте название фичи (признака) и его тип

1. Эмбеддинг товара, категория товара
   
2. Промо, город производства товара
   
3. Цена, спрос вчера
   

Какие ml-модели лучше всего использовать для модели спроса

Какими свойствами обладает хорошая модель спроса?

Что является таргетом модели спроса

Какими свойствами должен обладать хороший базовый подход в рамках создания пайплайна динамического ценообразования

Отсортируйте алгоритмы по сумме предсказанного количества заказов за период теста от самого большого к самому маленькому

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы реализовали алгоритм BackTest’a. У вас есть несколько готовых моделей, вы их прогнали через алгоритм BackTest’a. И вдруг вы обнаружили малое пересечение маркапов, которые дали ваши модели и реальных, пусть, около 50%. Что стоит сделать, чтобы повысить этот процент

Вы являетесь ML инженером Е-com компании ArabiaExpress и хотите перед запуском A/B теста убедиться, имеет ли смысл выкатывать текущую модель динамического ценообразования. Вы понимаете, что вам нужно реализовать какой-то офлайн способ проверки модели. Что из нижеперечисленного обязательно для этого сделать

Вы являетесь ML инженером Е-com компании ArabiaExpress и хотите выбрать офлайн метрики для использования в вашем BackTest’e. Вы выбрали MSE метрику в предсказании спроса. К вам приходит коллега и спрашивает, а как этой метрикой пользоваться? Почему у него мог возникнуть этот вопрос

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы поняли, что выручка в категории телефонов не подойдет и теперь используете выручку в целом на всем вашем маркетплейсе. Нужно превратить выручку в DS метрику. Расположите в правильном порядке этапы “перехода” от онлайн метрики к офлайн метрике

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы хотите выбрать онлайн метрики для использования в вашем BackTest’e. Вы выбрали выручку в категории телефонов вашей онлайн метрикой. НО! Вы делаете алгоритм динамического ценообразования на всем вашем маркетплейсе. Какое из необходимых свойств онлайн метрики не обеспечивается таким выбором метрики

Вы являетесь ML инженером Е-com компании ArabiaExpress, у вас есть необходимость выбрать хорошие метрики для оценки результатов алгоритма динамического ценообразования, основной бизнес-целью которого является максимизация оборота. При этом вы понимаете, что нужно подобрать не только одну основную метрику, но и вспомогательные метрики. Какие из нижеперечисленных метрик лучше подойдут вашему бизнесу

Прежде чем перейти к вопросам, давайте вспомним основные понятия и их синонимы из предыдущего урока, которые по совместительству являются онлайн метриками в задачах динамического ценообразования.

Какие элементы включает в себя рабочий пайплайн динамического ценообразования

Расставьте маркапы в соответствии с коэффициентами эластичности, как если бы вы были идеальным алгоритмом динамического ценообразования. Все товары имеют одинаковую цену - 100 рублей

1. -2
2. -5
3. 0
4. -4

Что такое эластичность спроса?

Что такое маркап?

Ситуация 3. В вашем государстве сменилось правительство. Железный банк не жалует новое правительство. Валюта вашего государства начинает проседать в цене относительно мировой валюты. Выберите верные утверждения:

Ситуация 2. В ваше государство начали импортировать новые виды кормов для крупного рогатого скота из южных земель. Его там проще производить, стоит дешевле чем ваше производство даже с учетом логистических затрат. Выберите верные утверждения:

Контекст ситуации: Вы проживаете в Вестеросе, ваша страна импортирует множество товаров из-за рубежа. У вас есть внешнее государство - Железный банк, которое управляет оборотом общей валюты в вашем мире. Оно обеспечивает обмен мировой валюты на локальные валюты, в частности на валюту вашего государства.
Далее мы рассмотрим несколько ситуаций, для каждой из которых нужно выбрать верные утверждения. Контекст остаётся неизменным.
Ситуация 1. В вашем государстве случился голод в силу засухи на континенте. Цены на продукты питания возросли. Выберите верные утверждения:

Какие из этих графиков отражают кривые спроса:

Вы являетесь ML инженером компании “ДоставимВсе!”. У вас есть задача построить ML модель, которая использует уникальные пользовательские признаки (фичи), для увеличения эффективности процесса динамического ценообразования.
Каким образом вы будете изменять цены в таком случае?

Вы являетесь ML инженером компании “Гироскутер”. У вас есть команда аналитиков, которые мониторят цены ваших конкурентов “Ковер-самолет” и “Вертолетик”. Вдруг вы наблюдаете, что у одной из компаний начались изменения цен на товары. Причем вы видите, что часть товаров стала дешевле, а часть дороже, если сравнивать с вашими ценами.
Из-за чего может меняться цена на товар?

Вы являетесь ML инженером компании AladdinExpress. Основная сфера деятельности компании — E-com. Доставка товаров из средней Азии по всему миру. Компания очень давно на рынке, расширение не планируется, рынок находится в относительном балансе.
Какие цели могут быть у вашей компании, где оправдано использование алгоритмов динамического ценообразования?

Что такое динамическое ценообразование

Рассмотрим следующую структуру:
<lesson> <start-message>Привет! На связи Karpov.Courses.</start-message> <title> Это урок по парсингу в блоке Ранжирование и Матчинг на курсе HardML. </title> <task> <subject> Попробуем достать текст ниже с помощью XPath запроса. </subject> <subject> XPath — язык запросов к элементам XML или XHTML документа, представленным в виде древовидной структуры. </subject> </task> </lesson>
Выберите корректные варианты того, как можно достать из такой структуры определение XPath:

С XPath удобнее всего работать как с

Чтобы вставить ссылку в HTML будет использоваться тег

Какие из следующих тегов HTML являются строчными элементами (inline elements)?

В HTML странице всегда есть следующий тег

Соотнесите название методов библиотеки requests и то, что они делают

1. put
2. post
3. get

Какой тип парсинга является наиболее безопасным с точки зрения законности и этики

Для чего может использоваться парсинг

В механизме Self-Attention скалярное произведение между векторами Query и Key используется для определения сходства между каждым токенов в последовательности.
Укажите, верно ли утверждение

Архитектура BERT использует двунаправленный подход к обучению, при котором для токена рассматривается левый и правый контекст каждого слова во входной последовательности.
Укажите, верно ли утверждение

В BERT используется одно и то же позиционное кодирование для всех позиций во входной последовательности, независимо от их фактической позиции.
Укажите верно ли утверждение

Модель BERT можно точно настроить для нескольких задач, добавив линейный слой для конкретной задачи поверх предварительно обученных слоев.
Укажите, верно ли утверждение

Модель BERT использует контекстное окно фиксированного размера для каждого токена во время предварительного обучения, где она рассматривает только токены, присутствующие в окне, для прогнозирования замаскированных токенов.
Укажите верно ли утверждение

Расставьте в правильном порядке (сверху-вниз) этапы работы механизма Self-Attention внутри энкодера архитектуры BERT.
Для каждого входного вектора

Какой основной прием используется в механизме Self-Attention

Как в токенизации BERT называется специальный токен, используемый для представления слов, не входящих в словарь

Укажите размер эмбеддинга, который используется в BERT

Как в BERT называется процесс разбиения предложения на отдельные наборы символов?

Для ответа на вопрос рекомендуется ознакомиться состатьей.
Укажите максимальную длину n-grams при обучении Conv-KNRM:

В матрице взаимодействия слов из запроса и документа в архитектуре DeepRank рассчитываются следующие значения

Укажите недостатки архитектуры DSSM

Архитектура DSSM основана на:

Авторы FastText.zip используют некоторые некоторые подходы в своей технологии.
Для ответа на вопрос рекомендуется ознакомиться состатьей.
Укажите подходящие подходы:

Укажите минусы подхода word2vec

Рассмотрим предложение: Задача машинного обучения в случае CBoW состоит в том, чтобы получить такую модель, которая выдаёт для входных признаков в виде указанных слов выходные значения, характеризующие ожидаемое слово.
Укажите слова, которые будут входить в контекст для слова модель при значении окна равного 7.

Предположим, вы обучаете эмбеддинги слов для словаря из 100000 слов. Это означает, что итоговые векторы должны быть 100000-мерными, чтобы захватить все вариации слов из словаря.

Какие эвристики можно применить для отсечения больших частей базы документов при решении задачи матчинга товаров на маркетплейсе?

Укажите, каким может быть тип связи модели и SKU в реальной жизни

Выберите, какие пары запросов-документов указаны верно

Выберите, что подходит под определение SKU

Выберите проблемы, присущие задаче матчинга

Примерами мультимодальных моделей являются

Мультимодальные модели это

Выберите корректное и полное определение матчинга

Отличие матчинга от ранжирования

Отметьте все варианты, в которых используется матчинг

Глобальная ранжирующая модель отличается от ранжирующей модели тем, что

Можно ли решать задачу ранжирования с точки зрения классификации

С точки зрения обучения модели задача (Learning To Rank) является

Дан некоторый объект A и набор объектов x=B,C,D,E. Объект B похож на A на 3 условных единицы. Объект C похож на A на 0.1 условную единицу. Объекты D и E не похожи на объект A. Можно ли назвать x частично упорядоченным множеством?

Дан некоторый объект A и набор объектов x=B,C,D,E. Объект B похож на A на 3 условных единицы. Объект C похож на A на 0.1 условную единицу. Объекты D и E не похожи на объект A. Можно ли назвать x упорядоченным множеством?

Ранжирование — это