RNN, LSTM, GRU模型的作用, 构建, 优劣势比较,attention机制_gru的优势_吃一口桃酥的博客-CSDN博客

6839b-2019-07-03-lstm-gru.png.webp

forwardpass3.png

backwardpass21.png

RNN

bafdb1468df3a8d0903f1328fcb16be0.png

5cd3e7a1f7bb5e2e655b3feb586a4f79.png

内部结构以及数据流动

1ecbbcc725a1a0ba1147b43d40c7769a.gif

$$ h_t = \tanh (W_t \left[ X_t, h_{t-1}\right] + b_t) $$

LSTM

ac7c96a4132cf980dd045286a1bb6eec.png

5cd3e7a1f7bb5e2e655b3feb586a4f79.png

遗忘门结构

a198827215d7e57f3b4a1463119f5815.png

遗忘门数据流动

badfd6301903c9af3e5bb6315a2622e4.gif

输入门结构

0c46a9a8932765234ad9a4aae99d32dd.png

输入门数据流动

f1ce99d761b704be0b8d8c76387186bf.gif