Ответы к заданиям: Karpov Cources Hard ML

Ранжирование — это

Дан некоторый объект A и набор объектов x=B,C,D,E. Объект B похож на A на 3 условных единицы. Объект C похож на A на 0.1 условную единицу. Объекты D и E не похожи на объект A. Можно ли назвать x упорядоченным множеством?

Дан некоторый объект A и набор объектов x=B,C,D,E. Объект B похож на A на 3 условных единицы. Объект C похож на A на 0.1 условную единицу. Объекты D и E не похожи на объект A. Можно ли назвать x частично упорядоченным множеством?

С точки зрения обучения модели задача (Learning To Rank) является

Можно ли решать задачу ранжирования с точки зрения классификации

Глобальная ранжирующая модель отличается от ранжирующей модели тем, что

Отметьте все варианты, в которых используется матчинг

Отличие матчинга от ранжирования

Выберите корректное и полное определение матчинга

Мультимодальные модели это

Примерами мультимодальных моделей являются

Выберите проблемы, присущие задаче матчинга

Выберите, что подходит под определение SKU

Выберите, какие пары запросов-документов указаны верно

Укажите, каким может быть тип связи модели и SKU в реальной жизни

Какие эвристики можно применить для отсечения больших частей базы документов при решении задачи матчинга товаров на маркетплейсе?

Предположим, вы обучаете эмбеддинги слов для словаря из 100000 слов. Это означает, что итоговые векторы должны быть 100000-мерными, чтобы захватить все вариации слов из словаря.

Рассмотрим предложение: Задача машинного обучения в случае CBoW состоит в том, чтобы получить такую модель, которая выдаёт для входных признаков в виде указанных слов выходные значения, характеризующие ожидаемое слово.
Укажите слова, которые будут входить в контекст для слова модель при значении окна равного 7.

Укажите минусы подхода word2vec

Авторы FastText.zip используют некоторые некоторые подходы в своей технологии.
Для ответа на вопрос рекомендуется ознакомиться состатьей.
Укажите подходящие подходы:

Архитектура DSSM основана на:

Укажите недостатки архитектуры DSSM

В матрице взаимодействия слов из запроса и документа в архитектуре DeepRank рассчитываются следующие значения

Для ответа на вопрос рекомендуется ознакомиться состатьей.
Укажите максимальную длину n-grams при обучении Conv-KNRM:

Как в BERT называется процесс разбиения предложения на отдельные наборы символов?

Укажите размер эмбеддинга, который используется в BERT

Как в токенизации BERT называется специальный токен, используемый для представления слов, не входящих в словарь

Какой основной прием используется в механизме Self-Attention

Расставьте в правильном порядке (сверху-вниз) этапы работы механизма Self-Attention внутри энкодера архитектуры BERT.
Для каждого входного вектора

Модель BERT использует контекстное окно фиксированного размера для каждого токена во время предварительного обучения, где она рассматривает только токены, присутствующие в окне, для прогнозирования замаскированных токенов.
Укажите верно ли утверждение

Модель BERT можно точно настроить для нескольких задач, добавив линейный слой для конкретной задачи поверх предварительно обученных слоев.
Укажите, верно ли утверждение

В BERT используется одно и то же позиционное кодирование для всех позиций во входной последовательности, независимо от их фактической позиции.
Укажите верно ли утверждение

Архитектура BERT использует двунаправленный подход к обучению, при котором для токена рассматривается левый и правый контекст каждого слова во входной последовательности.
Укажите, верно ли утверждение

В механизме Self-Attention скалярное произведение между векторами Query и Key используется для определения сходства между каждым токенов в последовательности.
Укажите, верно ли утверждение

Для чего может использоваться парсинг

Какой тип парсинга является наиболее безопасным с точки зрения законности и этики

Соотнесите название методов библиотеки requests и то, что они делают

1. put
2. post
3. get

В HTML странице всегда есть следующий тег

Какие из следующих тегов HTML являются строчными элементами (inline elements)?

Чтобы вставить ссылку в HTML будет использоваться тег

С XPath удобнее всего работать как с

Рассмотрим следующую структуру:
<lesson> <start-message>Привет! На связи Karpov.Courses.</start-message> <title> Это урок по парсингу в блоке Ранжирование и Матчинг на курсе HardML. </title> <task> <subject> Попробуем достать текст ниже с помощью XPath запроса. </subject> <subject> XPath — язык запросов к элементам XML или XHTML документа, представленным в виде древовидной структуры. </subject> </task> </lesson>
Выберите корректные варианты того, как можно достать из такой структуры определение XPath:

Что такое динамическое ценообразование

Вы являетесь ML инженером компании AladdinExpress. Основная сфера деятельности компании — E-com. Доставка товаров из средней Азии по всему миру. Компания очень давно на рынке, расширение не планируется, рынок находится в относительном балансе.
Какие цели могут быть у вашей компании, где оправдано использование алгоритмов динамического ценообразования?

Вы являетесь ML инженером компании “Гироскутер”. У вас есть команда аналитиков, которые мониторят цены ваших конкурентов “Ковер-самолет” и “Вертолетик”. Вдруг вы наблюдаете, что у одной из компаний начались изменения цен на товары. Причем вы видите, что часть товаров стала дешевле, а часть дороже, если сравнивать с вашими ценами.
Из-за чего может меняться цена на товар?

Вы являетесь ML инженером компании “ДоставимВсе!”. У вас есть задача построить ML модель, которая использует уникальные пользовательские признаки (фичи), для увеличения эффективности процесса динамического ценообразования.
Каким образом вы будете изменять цены в таком случае?

Какие из этих графиков отражают кривые спроса:

Контекст ситуации: Вы проживаете в Вестеросе, ваша страна импортирует множество товаров из-за рубежа. У вас есть внешнее государство - Железный банк, которое управляет оборотом общей валюты в вашем мире. Оно обеспечивает обмен мировой валюты на локальные валюты, в частности на валюту вашего государства.
Далее мы рассмотрим несколько ситуаций, для каждой из которых нужно выбрать верные утверждения. Контекст остаётся неизменным.
Ситуация 1. В вашем государстве случился голод в силу засухи на континенте. Цены на продукты питания возросли. Выберите верные утверждения:

Ситуация 2. В ваше государство начали импортировать новые виды кормов для крупного рогатого скота из южных земель. Его там проще производить, стоит дешевле чем ваше производство даже с учетом логистических затрат. Выберите верные утверждения:

Ситуация 3. В вашем государстве сменилось правительство. Железный банк не жалует новое правительство. Валюта вашего государства начинает проседать в цене относительно мировой валюты. Выберите верные утверждения:

Что такое маркап?

Что такое эластичность спроса?

Расставьте маркапы в соответствии с коэффициентами эластичности, как если бы вы были идеальным алгоритмом динамического ценообразования. Все товары имеют одинаковую цену - 100 рублей

1. -2
2. -5
3. 0
4. -4

Какие элементы включает в себя рабочий пайплайн динамического ценообразования

Прежде чем перейти к вопросам, давайте вспомним основные понятия и их синонимы из предыдущего урока, которые по совместительству являются онлайн метриками в задачах динамического ценообразования.

Вы являетесь ML инженером Е-com компании ArabiaExpress, у вас есть необходимость выбрать хорошие метрики для оценки результатов алгоритма динамического ценообразования, основной бизнес-целью которого является максимизация оборота. При этом вы понимаете, что нужно подобрать не только одну основную метрику, но и вспомогательные метрики. Какие из нижеперечисленных метрик лучше подойдут вашему бизнесу

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы хотите выбрать онлайн метрики для использования в вашем BackTest’e. Вы выбрали выручку в категории телефонов вашей онлайн метрикой. НО! Вы делаете алгоритм динамического ценообразования на всем вашем маркетплейсе. Какое из необходимых свойств онлайн метрики не обеспечивается таким выбором метрики

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы поняли, что выручка в категории телефонов не подойдет и теперь используете выручку в целом на всем вашем маркетплейсе. Нужно превратить выручку в DS метрику. Расположите в правильном порядке этапы “перехода” от онлайн метрики к офлайн метрике

Вы являетесь ML инженером Е-com компании ArabiaExpress и хотите выбрать офлайн метрики для использования в вашем BackTest’e. Вы выбрали MSE метрику в предсказании спроса. К вам приходит коллега и спрашивает, а как этой метрикой пользоваться? Почему у него мог возникнуть этот вопрос

Вы являетесь ML инженером Е-com компании ArabiaExpress и хотите перед запуском A/B теста убедиться, имеет ли смысл выкатывать текущую модель динамического ценообразования. Вы понимаете, что вам нужно реализовать какой-то офлайн способ проверки модели. Что из нижеперечисленного обязательно для этого сделать

Вы являетесь ML инженером Е-com компании ArabiaExpress, и вы реализовали алгоритм BackTest’a. У вас есть несколько готовых моделей, вы их прогнали через алгоритм BackTest’a. И вдруг вы обнаружили малое пересечение маркапов, которые дали ваши модели и реальных, пусть, около 50%. Что стоит сделать, чтобы повысить этот процент

Отсортируйте алгоритмы по сумме предсказанного количества заказов за период теста от самого большого к самому маленькому

Какими свойствами должен обладать хороший базовый подход в рамках создания пайплайна динамического ценообразования

Что является таргетом модели спроса

Какими свойствами обладает хорошая модель спроса?

Какие ml-модели лучше всего использовать для модели спроса

Сопоставьте название фичи (признака) и его тип

1. Эмбеддинг товара, категория товара
   
2. Промо, город производства товара
   
3. Цена, спрос вчера
   

Какие виды взаимодействий товаров существуют

Какие виды аугментаций признаков и таргетов существуют

Что необходимо сделать для предсказания спроса

Вам дана таблица после использования модели спроса на ценовой сетке на трех товарах. Выберите такие маркапы, которые приводят к максимизации выручки

Что такое целевой критерий

Представьте, что вы ML инженер E-com компании Arabia Express. К вам приходит бизнес и ставит задачу по нахождению оптимальных параметров для хорошего запуска динамического ценообразования. Вы это услышали и, пока бизнес не убежал по своим делам дальше, решили на берегу договориться о каких-то вещах. О чём необходимо договориться с бизнесом перед решением задачи динамического ценообразования

В качестве одного из возможных способов решения задачи оптимизации целевого критерия мы разобрали алгоритм с использованием метода коэффициентов Лагранжа. Отметьте верные утверждения про этот метод

Выберите верные утверждения относительно коэффициента Лямбда в контексте алгоритма оптимизации

Представьте, что вы ML инженер E-com компании Arabia Express. Вы хотите реализовать алгоритм оптимизации с помощью метода Лагранжа. Что алгоритм оптимизации позволяет сделать

Представьте, что вы ML инженер E-com компании Arabia Express. Вы успешно имплементировали алгоритм оптимизации. Запустили офлайн оптимизацию одного параметра и наблюдаете следующую ситуацию: у вас есть несколько решений на выходе алгоритма оптимизации с одинаковым значением целевого критерия. Что в данном случае стоит сделать

Сопоставьте верные пары

1. Неэластичный товар
2. Товар с единичной эластичностью
3. Эластичный товар

Какими свойствами обладает эластичность, отметьте верные утверждения

В чем разница между дуговой эластичностью и точечной? Выберите верные утверждения:

Представьте, что вы ML-инженер E-com компании ArabiaExpress и занимаетесь ценообразованием. Понимаете, что эластичности очень плохо считаются для потоварного ценообразования. Эластичности для товара на разных временных промежутках могут резко менять свой характер, быть и эластичными, и неэластичными.
В чем причины такого поведения? Отметьте верные варианты

Представьте, что вы ML-инженер E-com компании ArabiaExpress и занимаетесь ценообразованием. Понимаете, что эластичности очень плохо считаются для потоварного ценообразования.
Как эту ситуацию можно исправить? Отметьте верные варианты

Выберите верные утверждения

Отметьте верные утверждения

Выберите верные утверждения

Каких видов бывают многорукие бандиты? Выберите верные ответы

Какие метрики стоит отслеживать при обучении многорукого бандита, чтобы убедиться, что обучение идет правильно

Расположите имплементации бандитов в порядке лучшей оптимизации метрики Cumulative Regret. Напишите в порядке возрастания

Вам дана аналогия многорукого бандита в виде нечестных монет.
Пусть у нас имеются N монеток. Каждая монетка имеет две стороны — орел (обозначает выигрыш) и решка (обозначает проигрыш). Вероятность выпадения каждой из сторон не равна 50% — такие монетки называют “нечестными”.
Выберите верные утверждения

Представьте, что вы ML-Engineer ArabiaExpress. Перед вами стоит задача имплементировать многорукого бандита. Ваша компания не внедряла еще до этого алгоритмов динамического ценообразования. Какие задачи мог бы выполнять многорукий бандит в вашем случае:

Что такое АБ-тестирование в контексте динамического ценообразования

Что такое минимально детектируемый эффект (МДЕ)?

Что делать, если минимальный детектируемый эффект (МДЕ) метрики выше ожидаемого эффекта от ML-модели

Вы ML инженер Arabia Express. Вы получили результаты АБ теста и хотите понять, какой алгоритм выводить в прод. При каких условиях новый алгоритм будет внедрен в production по результатам АБ-теста? Цель - найти алгоритм максимизации выручки

Почему SwitchBack может быть предпочтительнее A/B-тестов для динамического ценообразования

Что из перечисленного является минусом SwitchBack