Листочек 6: нейросети – конструктор LEGO

Тут, кстати хорошей аналогией будет констуктор LEGO. Хотя … LEGO почти везде будет отличной аналогией.

—Дима Трушин на каком-то подкасте

В этом листочке мы разберём несколько новых слоёв, которые можно использовать при создании нейросетей. Мы поговорим про регуляризацию, Dropout, нормализацию по батчам и инициализацию весов в нейросетях.