6. Замочные скважины#
В 2000 году Шмидхубер и Герс предложили модификацию LSTM с замочными скважинами. Она описывается следующей системой из уравнений
\[\begin{equation*}
\begin{aligned}
c'_t &= \phi_c(W_c x_t + V_c h_{t-1} + b_c) \\
i_t &= \phi_i(W_i x_t + V_i h_{t-1} + U_i c_{t-1} + b_i) \\
f_t &= \phi_f(W_f x_t + V_f h_{t-1} + U_f c_{t-1} + b_f) \\
o_t &= \phi_o(W_o x_t + V_o h_{t-1} + U_o c_{t-1} + b_o) \\
c_t &= f_t \odot c_{t-1} + i_t \odot c'_t \\
h_t &= o_t \odot \phi_h(c_t) \\
\end{aligned}
\end{equation*}\]
Изобразите эту ячейку в виде вычислительного графа. Объясните, чем именно она отличается от базовой модификации LSTM. Какой в этом смысл?
Решение
Решение будет позже