Чем поможет уменьшение дисперсии в начальных весах? Веса не - Ответ на вопрос по АД №15035
Вопрос
Чем поможет уменьшение дисперсии в начальных весах?Веса не будут сильно отличаться в начале, а значит не будут сильно отличаться и градиенты, что поможет модели равномернее обучиться
Меньше разброс весов - меньше вариантов, куда двигаться градиентному спуску
Ничем, в нашем эксперименте разницы почти не было
Важнее угадать хороший random seed, влияние дисперсии не так велико
Ответ
Если нужен другой вариант работы или отдельная задача из любой работы, пишите в комментарии
tddd
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
