4.7.1 循环神经网络基本模型

4.7.1.1 单向循环神经网络

上次输出权重矩阵：隐藏层的值$At$不仅仅取决于当前这次的输入$X_t$，还取决于上一次隐藏层的值$A{t-1}$。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。 $A_t=f(U*X_t+W*A_{t-1})\ \ \ \ \ \ \ （f为激活函数）$
输出层：$o$向量表示输出层的值。 $h_t=g(V*A_t )\ \ \ \ \ \ \ \ （ g为激活函数）$

$A_t=f(U*X_t+W*A_{t-1}) \\ A_t'=f(U'*X_t+W'*A_{t-1}') \\ y_t=g(V*A_t+V'*A_t')$

沿时间反向传播算法—Backpropgattion Through Time

长短时间记忆循环神经网络可以解决在时间上梯度消失的问题，通过门的开关实现记住长期信息的功能，从而可以学习长期依赖信息。广泛应用于语音识别、图片描述、自然语言处理等领域中。

信息被存放在循环网络正常信息流之外的门控单元中，通过门控制单元存储、写入或读取信息。通过门的开关判定存储哪些信息，以及何时允许读取、写入或清除信息。
门依据接收到的信号并用自有的权重集对信息进行筛选，根据其强度和导入内容决定是否允许信息通过。这些权重会通过循环网络的学习过程进行调整。
门是一种让信息选择式通过的方法，包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作，Sigmoid 层输出 0 到 1 之间的数值，描述每个部分有多少量可以通过。

正向传播：遗忘门的权重矩阵$w_f$和偏置项$b_f$；输入门的权重矩阵$w_i$和偏置项$b_i$；输出门的权重矩阵$w_o$和偏置项$b_o$；以及计算单元状态的权重矩阵$w_C$和偏置项$b_C$。
反向传播：遗忘门的权重矩阵$w_f’$和偏置项$b_f’$；输入门的权重矩阵$w_i’$和偏置项$b_i’$；输出门的权重矩阵$w_o’$和偏置项$b_o’$；以及计算单元状态的权重矩阵$w_C’$和偏置项$b_C’$。

第一步：通过一个忘记门决定从上一个长期单元状态中丢弃什么信息。该门会读取 $h{t-1}$和$x_t$，输出一个在 0 到 1之间的数值，给长期单元状态 $C{t-1}$，1 表示“完全保留”，0 表示“完全舍弃”。 $f_t=σ(w_f [h_{t-1},x_t ]+ b_f)$
第二步：确定什么样的新信息被存放在当前的即刻长期单元状态中 sigmoid 层称 “输入门层” 决定将要更新什么值：$it=σ(w_i [h{t-1},xt]+ b_i)$ tanh 层创建一个新的候选值向量$C_t’$，会被加入到状态中：$$C_t’=tanh(w_C [h{t-1},x_t ]+ b_C)$$
第三步：更新长期单元状态信息。将$C{t-1}$更新为 $C_t$，把旧状态$C{t-1}$与 $ft $ 相乘，丢弃掉确定需要丢弃的信息，接着加上$i_tC_t’$这就是新的候选值，决定更新每个状态的程度进行变化。 $$C_t=f_tC{t-1}+i_t*C_t’$$
最后一步：基于长期单元状态信息确定输出值。首先运行 sigmoid 层确定单元状态的哪个部分将输出出去，接着把单元状态通过 tanh进行处理（得到一在-1到1之间的值）并将它和 sigmoid 门的输出相乘，最终仅仅会输出确定要输出的那部分。 $o_t=σ(w_o [h_{t-1},x_t ]+ b_o) \\h_t=o_t*tanh(C_t)$

存在的问题：只能记住10-20个时间状态。