Листочек 3: алгоритм обратного распространения ошибки

К толковому выбору приводит опыт,а к нему приводит выбор бестолковый.

—JSON Стэтхэм

В этом листочке мы наконец займёмся алгоритмом обратного распространения ошибки. В тексте иногда будут встречаться отсылки к матричному дифференцированию. При первом чтении вы можете их игнорировать. Если захочется разобраться подробнее, посмотрите листочек про матричные производные. Он в этой книге находится в самом конце.