Листочек 10: матричное дифФфФфФференцирование

It’s going down, I’m yelling timber, You better move, you better dance.

—Джек и бобовый стебель (1890)

Эта часть виньетки необязательна для изучения. В ней мы подробно поговорим про матричные производные. С их помощью удобно заниматься оптимизацией, в том числе алгоритмом обратного распространения ошибки.

Зачем нам нужно научиться искать матричные производные? Машинное обучение – это сплошная оптимизация. В нём мы постоянно вынуждены искать минимум какой-нибудь функции потерь. Матричные производные довольно сильно в этом помогают.

Часть задач я взял из задачинка Бориса Демешева. Часть задач я взял из теоретического дз ФКН. Часть задач я взял из семинара ШАД. Часть задач я придумал и добавил в книгу и в конспекты ФКН. Можете почитать его. Там всё то же самое и даже больше.

Также можно почитать книгу The Matrix Cookbook и воспользоваться матричным калькулятором.