Найдём дисперсию веса

Мы используем линейный слой с симметричной функцией активации. Мы можем сгенеировать веса так, чтобы они были независимы друг от друга и от наблюдений. Наблюдения считаем независимыми друг от друга. Тогда

Мы воспользовались тут формулой для дисперсии произведения независимых случайных величин.

Наша функции активации симметрична, значит $\mathbb{E}(x_i)=0$. Будем инициализировать веса из распределения с нулевым средним, тогда $\mathbb{E}(w_i)=0.$ Воспользуемся тем, что все слагаемые распределены одинаково, а их у нас $n_{in}$ штук

Получается, что

Дисперсия будет падать при переходе от выхода предыдущего слоя к выходу нового слоя в три раза.

Нам надо, чтобы $Var(h_i)=Var(x_i).$ Значит надо взять распределение с дисперсией $\frac{1}{n_{in}}$.

Если речь идёт про нормальное распределение, нам подойдёт

По аналогии с предыдущим пунктом, нам нужна инициализация

При прямом шаге надо поддерживать дисперсию $\frac{1}{n_{in}}$. При обратном надо поддерживать дисперсию $\frac{1}{n_{out}}$.

Можно инициализировать веса из распределения с дисперсией $\frac{2}{n_{in}+n_{out}}$. Такая инициализация назвывается инициализацией Ксавие (или Глорота).[1]