4. Число параметров#
У Маши есть очень длинный временной ряд. Она хочет обучить несколько нейросетей предсказывать его дальнейшее значение. В своих моделях Маша нигде не использует константы.
а) Маша выделяет окно длины \(100\). Оно движется по последовательности. Для каждого окна Маша предсказывает следующее значение в ряду. В сетку подаются наблюдения с \(1\)-го по \(100\)-е. Прогнозируется \(101\)-ое наблюдение. Затем на вход подаются наблюдения со \(2-\)го по \(100\)-е. Прогнозируется \(102\)-ое наблюдение. И так далее до конца последовательности.
На первом слое используется \(20\) нейронов. На втором слое используется один нейрон. Сколько параметров нужно оценить?
Решение
Это способ обучить обычную полносвязную сетку для работы с последовательностями. Нам нужно будет довольно много параметров.
\(100 \cdot 20 + 20 \cdot 1 = 2020\)
б) Маша использует одну простую RNN-ячейку. Сколько параметров ей необходимо оценить?
Решение
\(3\)
в) Маша хочет предсказывать значение \(y_t\) по трём последовательностям \(y_{t-1},\) \(y_{t-2}\) и \(y_{t-3}.\) На первом слое сети Маша использует два рекуррентных нейрона. На втором слое она использует один рекуррентный нейрон. Матрица какого размера идёт на вход в первый слой? Матрица какого размера передаётся во второй слой? Какое число параметров необходимо оценить Маше?
Решение
Решение будет позже
г) Мы находимся в условиях прошлого пункта, но используетм LSTM-ячейки с забыванием. Сколько параметров надо оценить?
Решение
Решение будет позже
д) Мы находимся в условиях прошлого пугкта, но используем GRU-ячейки. Сколько параметров надо оценить?
Решение
Решение будет позже