Ответы на вопросы из коллекции "Karpov Cources Hard ML" на СтудИзбе

Ранжирование — это

• Процесс задания упорядоченного множества
• Процесс определения границ схожести двух объектов
• Процесс определения схожести текстов документов к запросу
• Процесс задания частично упорядоченного множества

Дан некоторый объект A и набор объектов x=B,C,D,E. Объект B похож на A на 3 условных единицы. Объект C похож на A на 0.1 условную единицу. Объекты D и E не похожи на объект A. Можно ли назвать x упорядоченным множеством?

• Да
• Нет
• Наверное

Дан некоторый объект A и набор объектов x=B,C,D,E. Объект B похож на A на 3 условных единицы. Объект C похож на A на 0.1 условную единицу. Объекты D и E не похожи на объект A. Можно ли назвать x частично упорядоченным множеством?

• Да
• Нет
• Наверное

С точки зрения обучения модели задача (Learning To Rank) является

• Reinforcement Learning задачей
• Unsupervised задачей
• Multiderivative задачей
• Supervised задачей
• Semi-supervised задачей

Можно ли решать задачу ранжирования с точки зрения классификации

• Да
• Нет
• Наверное

Глобальная ранжирующая модель отличается от ранжирующей модели тем, что

• Глобальная модель способна работать на новых данных
• Они не отличаются, это одно и то же
• Глобальная модель работает хуже, но быстрее
• Глобальная модель ранжирует сразу набор документов

Отметьте все варианты, в которых используется матчинг

• Поиск всех вершин в графе с заданным свойством
• Поиск пары кроссовок в интернете (Google/Яндекс)
• Поиск телефона для подруги на день рождения
• Нахождение товаров из вашего магазина "Трубы-и-сантехника" на Яндекс. Маркете
• Нахождение одинаковых картинок в базе изображений (например, ImageNet)

Отличие матчинга от ранжирования

• Матчинг это ручная задача, а ранжирование — автоматизация того же процесса
• В качестве выходного модуля в матчинге, как правило, стоит классификатор
• Матчинг применим к товарам, а ранжирование — к текстовым документам
• Возможность ничего не выдавать в качестве вердикта

Выберите корректное и полное определение матчинга

• Матчинг - это процесс сбора данных о конкурентах с целью изменения стратегии ведения бизнеса
• Матчинг - это процесс сопоставления товаров в разных онлайн-магазинах с целью сравнения цен
• Матчинг - это процесс сопоставления объектов путём сравнения и расчёта некоторой меры схожести
• Матчинг - это поиск текста документа, ближайшего по смыслу к запросу пользователя

Мультимодальные модели это

• Модели, входные данные для которых распределены согласно Бимодальному (или Мультимодальному в общем случае) распределению
• Модели, предсказания которых распределены согласно Бимодальному (или Мультимодальному в общем случае) распределению
• Модели, умеющие за раз обрабатывать несколько объектов (например, классифицировать целое предложение, состоящее из десятка слов)
• Модели, принимающие на вход данные разной природы и создающие внутри себя совместное скрытое представление

Примерами мультимодальных моделей являются

• Система ответа на вопрос по картинке
• Встроенный поиск Википедии
• Языковая модель для предсказания оценки по отзыву на IMDB
• Система оценки токсичности мемов и шуток в комментариях
• Система распознавания лиц для отлова преступников

Выберите проблемы, присущие задаче матчинга

• Ничего из указанного
• Опечатки
• Сокращения в названиях
• Отсутствие стандарта формирования названия товара
• Большая схожесть между разными товарами

Выберите, что подходит под определение SKU

• 34759205759
• Бананы 1 кг
• iPhone 8S (2017)
• iPhone 7S 64GB красный (FG283Х)

Выберите, какие пары запросов-документов указаны верно

• Запросы: модели автомобилей 2020-го года выпуска, документы: автомобильный каталог
• Ничего из вышеперечисленного
• Запросы: ассортимент магазина "Шестёрочка", документы: ассортимент магазина "Всё на дачу"
• Запросы: поисковые запросы пользователей в Google, документы: страницы из интернета

Укажите, каким может быть тип связи модели и SKU в реальной жизни

• Ничего из вышеперечисленного
• Многие к одному
• Один к одному
• Один ко многим

Какие эвристики можно применить для отсечения больших частей базы документов при решении задачи матчинга товаров на маркетплейсе?

• Запускать глобальную ранжирующую модель на всех данных, а затем часть запросов подавать на вход ранжирующей модели
• Определять категорию товара и работать только с ней
• Выделять производителя товара и работать только в рамках него
• Случайным образом выбрать по 20 товаров каждого цвета и ранжировать только их
• Проверять, что запрос является товаром, а не запросом в обычный поисковик

Предположим, вы обучаете эмбеддинги слов для словаря из 100000 слов. Это означает, что итоговые векторы должны быть 100000-мерными, чтобы захватить все вариации слов из словаря.

• верно
• неверно

Рассмотрим предложение: Задача машинного обучения в случае CBoW состоит в том, чтобы получить такую модель, которая выдаёт для входных признаков в виде указанных слов выходные значения, характеризующие ожидаемое слово.
Укажите слова, которые будут входить в контекст для слова модель при значении окна равного 7.

• CBoW
• которая
• выдает
• получить
• Слово
• признаков
• значения

Укажите минусы подхода word2vec

• не обрабатываются слова вне словаря для обучения
• считаются только частоты вхождения слов
• не учитывается морфология слов
• не учитываются соседние слова

Авторы FastText.zip используют некоторые некоторые подходы в своей технологии.
Для ответа на вопрос рекомендуется ознакомиться состатьей.
Укажите подходящие подходы:

• softmax
• self-attention
• n-grams
• hash function

Архитектура DSSM основана на:

• энкодерах и декодерах
• полносвязных слоях
• рекуррентных слоях
• сверточных слоях

Укажите недостатки архитектуры DSSM

• потеря информации о порядке слов
• потеря информации о частоте употребления слова
• не используется хэширование для сжатия
• не используются п-граммы для сжатия

В матрице взаимодействия слов из запроса и документа в архитектуре DeepRank рассчитываются следующие значения

• косинусное расстояние
• разница частот появления слов
• TF
• IDF
• TF-IDF

Для ответа на вопрос рекомендуется ознакомиться состатьей.
Укажите максимальную длину n-grams при обучении Conv-KNRM:

• 2
• 3
• 4
• 5

Как в BERT называется процесс разбиения предложения на отдельные наборы символов?

• токенизация
• лемматизация
• стемминг
• сегментация
• нормализация

Укажите размер эмбеддинга, который используется в BERT

• 50000
• 768
• 30000
• 64

Как в токенизации BERT называется специальный токен, используемый для представления слов, не входящих в словарь

• [OOV]
• [UNK]
• [OV]
• [UMK]

Какой основной прием используется в механизме Self-Attention

• GRU блоки
• LSTM блоки
• масштабированное скалярное произведение
• hash-функции
• TF-IDF

Расставьте в правильном порядке (сверху-вниз) этапы работы механизма Self-Attention внутри энкодера архитектуры BERT.
Для каждого входного вектора

Модель BERT использует контекстное окно фиксированного размера для каждого токена во время предварительного обучения, где она рассматривает только токены, присутствующие в окне, для прогнозирования замаскированных токенов.
Укажите верно ли утверждение

Модель BERT можно точно настроить для нескольких задач, добавив линейный слой для конкретной задачи поверх предварительно обученных слоев.
Укажите, верно ли утверждение

В BERT используется одно и то же позиционное кодирование для всех позиций во входной последовательности, независимо от их фактической позиции.
Укажите верно ли утверждение

Архитектура BERT использует двунаправленный подход к обучению, при котором для токена рассматривается левый и правый контекст каждого слова во входной последовательности.
Укажите, верно ли утверждение

В механизме Self-Attention скалярное произведение между векторами Query и Key используется для определения сходства между каждым токенов в последовательности.
Укажите, верно ли утверждение

Для чего может использоваться парсинг

• получение дополнительных данных
• анализ поведения конкурентов
• сбор датасетов

Какой тип парсинга является наиболее безопасным с точки зрения законности и этики

• когда вы не уверены, разрешено ли использование вашего парсера на веб-сайте
• когда вы занимаетесь несанкционированным сбором данных на веб-сайте
• когда вы получили разрешение от владельцев сайта на сбор и использование данных
• когда у веб-сайта есть открытое АРІ

Соотнесите название методов библиотеки requests и то, что они делают

1. put
2. post
3. get

В HTML странице всегда есть следующий тег

• <head>
• <html>
• <text>
• ‹body>

Какие из следующих тегов HTML являются строчными элементами (inline elements)?

• <p>
• <div>
• <ul»
• <img>
• <a>
• ‹span>
• <h1>
• <table>
• <form>

Чтобы вставить ссылку в HTML будет использоваться тег

• <p>
• <a1>
• ‹body>
• <a>

С XPath удобнее всего работать как с

• древовидной структурой
• направленным графом
• множеством значений

Рассмотрим следующую структуру:
<lesson> <start-message>Привет! На связи Karpov.Courses.</start-message> <title> Это урок по парсингу в блоке Ранжирование и Матчинг на курсе HardML. </title> <task> <subject> Попробуем достать текст ниже с помощью XPath запроса. </subject> <subject> XPath — язык запросов к элементам XML или XHTML документа, представленным в виде древовидной структуры. </subject> </task> </lesson>
Выберите корректные варианты того, как можно достать из такой структуры определение XPath:

• //subject [2)/text0(1]
• //subject/
• /lesson/task/subject/text
• /lesson/task/subject[2]/text0[1]

Что такое динамическое ценообразование

• Процесс формирования цен на товары и услуги в реальном времени под воздействием множества факторов
• Процесс вычисления эластичностей для всех товаров представленных компанией на рынке
• Предсказание подходящей цены на товар в различных рыночных условиях
• Предсказание спроса на товар в различных рыночных условиях

Вы являетесь ML инженером компании AladdinExpress. Основная сфера деятельности компании — E-com. Доставка товаров из средней Азии по всему миру. Компания очень давно на рынке, расширение не планируется, рынок находится в относительном балансе.
Какие цели могут быть у вашей компании, где оправдано использование алгоритмов динамического ценообразования?

• Увеличение числа уникальных покупателей
• Наращивание относительной прибыли. Относительная прибыль - доля прибыли от оборота компании.
• Наращивание оборота компании при сохранении прибыли
• Поднять прибыль, оборот, привлечь клиентов, в общем сделать лучше все, что есть возможность сделать лучше и стать лучшим предложением на фоне конкурентов

Вы являетесь ML инженером компании “Гироскутер”. У вас есть команда аналитиков, которые мониторят цены ваших конкурентов “Ковер-самолет” и “Вертолетик”. Вдруг вы наблюдаете, что у одной из компаний начались изменения цен на товары. Причем вы видите, что часть товаров стала дешевле, а часть дороже, если сравнивать с вашими ценами.
Из-за чего может меняться цена на товар?

• У компании конкурента изменились цепочки поставок товаров и соответственно товары необходимо продавать по другим ценам, чтобы они хотя бы окупались
• Компания конкурент провела какое-то маркетинговое исследование и в соответствии с этим начала менять цены
• Компания конкурент достигла каких-либо целей и переключилась на новую стратегию и изменения цен связаны с этим

Вы являетесь ML инженером компании “ДоставимВсе!”. У вас есть задача построить ML модель, которая использует уникальные пользовательские признаки (фичи), для увеличения эффективности процесса динамического ценообразования.
Каким образом вы будете изменять цены в таком случае?

• Буду считать на основе этих фичей какие-то статистические распределения и менять цены на товар в целом по всему магазину:
• Буду расставлять уникальные цены для каждого человека
• Буду считать необходимую скидку для каждого человека относительно цены товара, чтобы достичь нужной цели

Какие из этих графиков отражают кривые спроса:

Контекст ситуации: Вы проживаете в Вестеросе, ваша страна импортирует множество товаров из-за рубежа. У вас есть внешнее государство - Железный банк, которое управляет оборотом общей валюты в вашем мире. Оно обеспечивает обмен мировой валюты на локальные валюты, в частности на валюту вашего государства.
Далее мы рассмотрим несколько ситуаций, для каждой из которых нужно выбрать верные утверждения. Контекст остаётся неизменным.
Ситуация 1. В вашем государстве случился голод в силу засухи на континенте. Цены на продукты питания возросли. Выберите верные утверждения:

• Продукты питания начали расти в цене из-за возросшего спроса
• Продукты питания начали расти в цене из-за дефицита товаров используемых при производстве конечных продуктов.
• Продукты питания начали расти в цене из-за того, что упал спрос.

Ситуация 2. В ваше государство начали импортировать новые виды кормов для крупного рогатого скота из южных земель. Его там проще производить, стоит дешевле чем ваше производство даже с учетом логистических затрат. Выберите верные утверждения:

• Величина спроса на импортный товар выросла в силу его дешевизны
• Спрос на корма для животных не поменялся
• Величина спроса на товары местного производства осталась прежней

Ситуация 3. В вашем государстве сменилось правительство. Железный банк не жалует новое правительство. Валюта вашего государства начинает проседать в цене относительно мировой валюты. Выберите верные утверждения:

• Спрос на товары зарубежного производства вырастет, а на товары местного производства упадет.
• Цены останутся на том же уровне.
• Спрос на категории товаров в целом не поменяется.

Что такое маркап?

• Маркап - поправка в модели спроса для учета повышенного спроса на товар.
• Маркап - разница между ценой и себестоимостью, выраженной в процентах.
• Маркап - это наценка на цену товара.

Что такое эластичность спроса?

• Эластичность спроса - это количество товаров, которое производители готовы предложить на рынке в связи с изменением рыночной ситуации
• Эластичность спроса - это количество товаров, которое производители готовы произвести в ответ на повышение спроса в связи с изменением рыночной ситуации
• Эластичность спроса - это мера чувствительности количества товаров или услуг, которые покупатели готовы приобрести, к изменению цены.
• Эластичность спроса - это изменение потребительских предпочтений в ответ на изменение цен на товары и услуги

Расставьте маркапы в соответствии с коэффициентами эластичности, как если бы вы были идеальным алгоритмом динамического ценообразования. Все товары имеют одинаковую цену - 100 рублей

1. -2
2. -5
3. 0
4. -4

Какие элементы включает в себя рабочий пайплайн динамического ценообразования

• Определение целевой аудитории
• Определение целевых, контрольных и вспомогательных метрик
• Разработка модели принятия решений на основе метрик
• Создание единой интегрированной модели спроса и предложения
• Проведение онлайн и оффлайн тестирования

Прежде чем перейти к вопросам, давайте вспомним основные понятия и их синонимы из предыдущего урока, которые по совместительству являются онлайн метриками в задачах динамического ценообразования.

• Маржа
• Прибыль
• Выручка
• Оборот

Вы являетесь ML инженером Е-com компании ArabiaExpress, у вас есть необходимость выбрать хорошие метрики для оценки результатов алгоритма динамического ценообразования, основной бизнес-целью которого является максимизация оборота. При этом вы понимаете, что нужно подобрать не только одну основную метрику, но и вспомогательные метрики. Какие из нижеперечисленных метрик лучше подойдут вашему бизнесу

• Оборот (Price * Quantity = Revenue)
• Число уникальных покупателей
• Количество кликов до покупки в среднем на пользователя
• Относительная прибыль (Margin/Revenue = Relative Margin)
• Число кликов на карточку товара в среднем на пользователя

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы хотите выбрать онлайн метрики для использования в вашем BackTest’e. Вы выбрали выручку в категории телефонов вашей онлайн метрикой. НО! Вы делаете алгоритм динамического ценообразования на всем вашем маркетплейсе. Какое из необходимых свойств онлайн метрики не обеспечивается таким выбором метрики

• Чувствительность
• Надежность
• Помогает понимать причины неудач
• Интерпретируемость
• Инклюзивность
• Эффективность

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы поняли, что выручка в категории телефонов не подойдет и теперь используете выручку в целом на всем вашем маркетплейсе. Нужно превратить выручку в DS метрику. Расположите в правильном порядке этапы “перехода” от онлайн метрики к офлайн метрике

Вы являетесь ML инженером Е-com компании ArabiaExpress и хотите выбрать офлайн метрики для использования в вашем BackTest’e. Вы выбрали MSE метрику в предсказании спроса. К вам приходит коллега и спрашивает, а как этой метрикой пользоваться? Почему у него мог возникнуть этот вопрос

• Метрика плохо учитывает разные веса
• Метрика плохо интерпретируется
• Метрика плохо скоррелирована с онлайн метрикой

Вы являетесь ML инженером Е-com компании ArabiaExpress и хотите перед запуском A/B теста убедиться, имеет ли смысл выкатывать текущую модель динамического ценообразования. Вы понимаете, что вам нужно реализовать какой-то офлайн способ проверки модели. Что из нижеперечисленного обязательно для этого сделать

• Реализовать контрольный алгоритм, относительно которого мы будем измерять аплифт метрик
• Составить иерархию метрик
• Нужно получить данные о том, как цены менялись с течением времени. Идеально, если в один и тот же день были разные скидки разным пользователям на одни и те же товары
• Выбрать онлайн метрики
• Выбрать DS метрики

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы реализовали алгоритм BackTest’a. У вас есть несколько готовых моделей, вы их прогнали через алгоритм BackTest’a. И вдруг вы обнаружили малое пересечение маркапов, которые дали ваши модели и реальных, пусть, около 50%. Что стоит сделать, чтобы повысить этот процент

• Провести А/В тест с целью повысить разнообразие маркапов
• Посчитать BackTest на тренировочной выборке
• Повысить eps (степень допустимой ошибки) алгоритма BackTest'a

Отсортируйте алгоритмы по сумме предсказанного количества заказов за период теста от самого большого к самому маленькому

Какими свойствами должен обладать хороший базовый подход в рамках создания пайплайна динамического ценообразования

• Обеспечивать легкий переход от офлайн метрик в онлайн метрики для объяснения бизнесу принципа
• Использовать сложные модели, способные учитывать все экономические факторы
• Легко масштабироваться
• Иметь простую архитектуру

Что является таргетом модели спроса

• Маркап
• Цена
• Момент единичной эластичности
• Cпрос

Какими свойствами обладает хорошая модель спроса?

• Реагирует на каждое уникальное состояние рынка
• Способна интерполировать данные о споре
• Кривые, которые строит модель спроса, в большинстве своем соответствуют каноническому закону спроса
• Умеет реагировать и на наценку, и на изменение валютных курсов и ситуаций на рынке

Какие ml-модели лучше всего использовать для модели спроса

• Аналитические функции
• Нейронные сети
• Модели прогнозов по типу ARIMA, SARIMA, SARIMAX
• Градиентные бустинги
• Регрессии

Сопоставьте название фичи (признака) и его тип

1. Эмбеддинг товара, категория товара
   
2. Промо, город производства товара
   
3. Цена, спрос вчера
   

Какие виды взаимодействий товаров существуют

• Товары-субституты
• Товары-консументы
• Комплементарные товары
• Товары-конкуренты
• Товары-каннибалы

Какие виды аугментаций признаков и таргетов существуют

• Взятие значений с какой-то залеожкой
• Нормировка на признак
• добавление таргета в признак
• Нормировка на таргет
• Взятие плавающего окна над каким-либо признаком
• Биннинг признаков

Что необходимо сделать для предсказания спроса

• Учесть ценовые политики компании
• Собрать все необходимые фичи для модели спроса
• Для каждого товара создать наценки с нужной сеткой, чтобы предсказать спрос
• Предсказать подходящие цены на товар, чтобы предсказать спрос

Вам дана таблица после использования модели спроса на ценовой сетке на трех товарах. Выберите такие маркапы, которые приводят к максимизации выручки

Что такое целевой критерий

• Целевая функция, с помощью которой мы решаем задачу оптимизации
• Целевые ограничения от бизнеса
• Онлайн метрики бизнес процесса

Представьте, что вы ML инженер E-com компании Arabia Express. К вам приходит бизнес и ставит задачу по нахождению оптимальных параметров для хорошего запуска динамического ценообразования. Вы это услышали и, пока бизнес не убежал по своим делам дальше, решили на берегу договориться о каких-то вещах. О чём необходимо договориться с бизнесом перед решением задачи динамического ценообразования

• Какую метрику будем оптимизировать
• Какие ограничения есть у бизнеса
• Какой алгоритм оптимизации использовать

В качестве одного из возможных способов решения задачи оптимизации целевого критерия мы разобрали алгоритм с использованием метода коэффициентов Лагранжа. Отметьте верные утверждения про этот метод

• Метод Лагранжа позволяет аналитически вычислить оптимум целевой функции
• Метод Лагранжа позволяет численно вычислить ВСЕ оптимумы целевой функции
• Метод Лагранжа позволяет численно вычислить несколько оптимумов целевой функции
• Метод Лагранжа позволяет численно вычислить один из оптимумов целевой функции

Выберите верные утверждения относительно коэффициента Лямбда в контексте алгоритма оптимизации

• Коэффициент Лямбда показывает допустимый размен целевого критерия на параметр в ограничении
• Коэффициентов Лямбда может быть несколько
• Коэффициент Лямбда может принимать отрицательные значения

Представьте, что вы ML инженер E-com компании Arabia Express. Вы хотите реализовать алгоритм оптимизации с помощью метода Лагранжа. Что алгоритм оптимизации позволяет сделать

• Метод Лагранжа позволяет решать задачу оптимизации одного параметра
• Метод Лагранжа позволяет вам заранее определить диапазон размена, в котором вы готовы работать в рамках задачи оптимизации
• Метод Лагранжа позволяет решать задачу оптимизации многих параметров
• Метод Лагранжа позволяет решать задачу оптимизации одного параметра с множеством ограничений

Представьте, что вы ML инженер E-com компании Arabia Express. Вы успешно имплементировали алгоритм оптимизации. Запустили офлайн оптимизацию одного параметра и наблюдаете следующую ситуацию: у вас есть несколько решений на выходе алгоритма оптимизации с одинаковым значением целевого критерия. Что в данном случае стоит сделать

• Добавить дополнительных ограничений в задачу оптимизации
• Изучить эти случаи, возможно, в них можно увидеть неправильное поведение модели спроса или модели оптимизации
• Изучить в чем конкретное различие этих случаев между собой. И сходить к бизнесу с вопросом, какой из кейсов выбрать

Сопоставьте верные пары

1. Неэластичный товар
2. Товар с единичной эластичностью
3. Эластичный товар

Какими свойствами обладает эластичность, отметьте верные утверждения

• Чем больше значение по модулю, тем меньше влияет изменение цены на изменение спроса
• Товары всегда постоянны в своем статусе эластичности, эластичный всегда остается эластичным, а неэластичный - неэластичным
• Принимает отрицательные значения

В чем разница между дуговой эластичностью и точечной? Выберите верные утверждения:

• Эластичности посчитанные разными способами нужно по разному использовать в формуле спроса
• Для точечной эластичности требуется только знание об одном состоянии товара, для дуговой - набор точек
• Расчет точечной эластичности зависит от выбора точки расчёта, для дуговой - нет

Представьте, что вы ML-инженер E-com компании ArabiaExpress и занимаетесь ценообразованием. Понимаете, что эластичности очень плохо считаются для потоварного ценообразования. Эластичности для товара на разных временных промежутках могут резко менять свой характер, быть и эластичными, и неэластичными.
В чем причины такого поведения? Отметьте верные варианты

• Товары продаются очень редко, раз в месяц
• У вас недавно было промо
• Товары часто продаются, но цена не меняется совсем
• Товар только что появился в вашем ассортименте

Представьте, что вы ML-инженер E-com компании ArabiaExpress и занимаетесь ценообразованием. Понимаете, что эластичности очень плохо считаются для потоварного ценообразования.
Как эту ситуацию можно исправить? Отметьте верные варианты

• Для новых товаров брать эластичность из верхнеуровневых категорий
• Добавить в данные праздники, промоакции, таким образом обогатить ваши данные
• Спросить у отдела по анализу данных, может быть у них уже посчитаны эти эластичности
• Уйти от потоварного расчета эластичностей к покатегорийному, для уменьшения дисперсии эластичности и увеличения заполненности ваших данных

Выберите верные утверждения

• На маленьких товарных группах выше заполненность данных
• Модель расчёта эластичности позволяет обойтись без использования модели спроса
• В модели для расчета эластичности обязательно должны присутствовать данные о цене и наценке на товар в фичах
• На более крупных товарных группах меньше дисперсия онлайн метрик

Отметьте верные утверждения

• Exploitation - процесс использования накопленных знаний бандитом
• Exploration - процесс установки цен бандитом
• Exploitation - процесс накопления знаний бандитом
• Exploration - процесс исследования окружения многоруким бандитом

Выберите верные утверждения

• Бандит позволяет адаптировать подход к динамическому ценообразованию к постоянно меняющимся условиям рынка
• Бандит позволяет решить проблему недостатка информации о ценах
• Бандит позволяет экономить деньги на запусках АБ тестов
• Бандит позволяет лучше интерпретировать данные АБ теста

Каких видов бывают многорукие бандиты? Выберите верные ответы

• Кластеризованные бандиты - умеют кластеризовать свое окружение, определять, как лучше работать в том или ином кластере товаров в соответствии с полученными знаниями
• Контекстуальные - умеют работать с контекстом в виде окружения, реагируют на изменение окружающей среды, учатся и адаптируются
• Классический - ничего не знают об окружающем мире, имеют возможность только работать с "черными ящиками" в виде ручек бандита и учатся находить лучшую ручку за оптимальное время

Какие метрики стоит отслеживать при обучении многорукого бандита, чтобы убедиться, что обучение идет правильно

• RMSE
• Cumulative Regret
• MAE
• Cumulative Reward

Расположите имплементации бандитов в порядке лучшей оптимизации метрики Cumulative Regret. Напишите в порядке возрастания

Вам дана аналогия многорукого бандита в виде нечестных монет.
Пусть у нас имеются N монеток. Каждая монетка имеет две стороны — орел (обозначает выигрыш) и решка (обозначает проигрыш). Вероятность выпадения каждой из сторон не равна 50% — такие монетки называют “нечестными”.
Выберите верные утверждения

• На старте работы многорукого бандита вероятность выбора каждой монеты различна
• Теоретически, бандит может сойтись на "невыгодной" монете
• Распределение для каждой ручки - распределение Бернулли
• Каждая монетка - ручка бандита

Представьте, что вы ML-Engineer ArabiaExpress. Перед вами стоит задача имплементировать многорукого бандита. Ваша компания не внедряла еще до этого алгоритмов динамического ценообразования. Какие задачи мог бы выполнять многорукий бандит в вашем случае:

• Оптимизировать метрики
• Экономить на запуске АБ тестов
• Набирать данные для кривых эластичностей
• Изучать реакцию пользователей на различные цены
• Заменять АБ тесты

Что такое АБ-тестирование в контексте динамического ценообразования

• Способ сравнения двух алгоритмов и их влияния на конверсию в покупку.
• Метод сравнения алгоритмов без учета их влияния на конверсию
• Метод оценки эффективности работы только одного алгоритма.
• Способ деления пользователей на две, три и более групп в зависимости от задачи.

Что такое минимально детектируемый эффект (МДЕ)?

• Минимальный размер групп в АБ-тесте
• Минимальная вероятность ошибок первого и второго рода
• Минимальная продолжительность АБ-теста
• Размер эффекта, который можно обнаружить с заданными параметрами теста

Что делать, если минимальный детектируемый эффект (МДЕ) метрики выше ожидаемого эффекта от ML-модели

• Увеличить выборку
• Повысить вероятности ошибок
• Уменьшить дисперсию метрик
• Изменить целевую метрику

Вы ML инженер Arabia Express. Вы получили результаты АБ теста и хотите понять, какой алгоритм выводить в прод. При каких условиях новый алгоритм будет внедрен в production по результатам АБ-теста? Цель - найти алгоритм максимизации выручки

• Если средняя абсолютная маржа в тестовой группе падает статистически значимо
• Если средняя выручка в тестовой группе больше, чем в контрольной, и средняя абсолютная маржа не падает статистически значимо.
• Если средняя выручка в тестовой группе меньше, чем в контрольной.
• Если суммарная выручка в тестовой группе упала в 2 раза по сравнению с контрольной.

Почему SwitchBack может быть предпочтительнее A/B-тестов для динамического ценообразования

• Легче запустить на бэкенде
• Из-за полного отсутствия сетевого эффекта
• Из-за отсутствия ценовой дискриминации

Что из перечисленного является минусом SwitchBack

• Эффект обучения пользователей
• Отрицательная реакция пользователей на переключение модулей
• Увеличение сетевого эффекта