Ответ на вопрос №15035: Чем поможет уменьшение дисперсии в начальных весах? Веса не будут сильно отличаться в начале, а значит не будут сильно отличаться и градиенты, что поможет модели равномернее обучиться Меньше разброс весов - меньше вариантов, куда двигаться градиентному спуску Ничем, в нашем эксперименте разницы почти не было Важнее угадать хороший random seed, влияние дисперсии не так велико Чем поможет уменьшение дисперсии в начальных весах? Веса не будут - Ответ на вопрос №15035Чем поможет уменьшение дисперсии в начальных весах? Веса не будут - Ответ на вопрос №15035
2024-01-222024-01-22СтудИзба
Чем поможет уменьшение дисперсии в начальных весах? Веса не будут - Ответ на вопрос №15035
Вопрос
Чем поможет уменьшение дисперсии в начальных весах?Веса не будут сильно отличаться в начале, а значит не будут сильно отличаться и градиенты, что поможет модели равномернее обучиться
Меньше разброс весов - меньше вариантов, куда двигаться градиентному спуску
Ничем, в нашем эксперименте разницы почти не было
Важнее угадать хороший random seed, влияние дисперсии не так велико
Ответ
Все деньги, вырученные с продажи, идут исключительно на шаурму