28. 深度学习进阶 - LSTM

LSTM（长短期记忆网络）是一种特殊的循环神经网络（RNN），旨在解决标准RNN在处理长序列数据时遇到的梯度消失和梯度爆炸问题。以下是LSTM的核心要点：门控机制：LSTM通过门控机制控制信息的流动和更新，包括输入门、遗忘门和输出门。这些门由Sigmoid函数控制，决定信息的保留或丢弃。细胞状态：LSTM的核心是细胞状态（Cell State），它像一条传送带贯穿整个链式结构，允许信息在长时间间隔内保持不变。输入门：决定有多少新信息被添加到细胞状态中。遗忘门：决定有多少上一时刻的细胞状态信息被保留。输出门：基于当前细胞状态决定输出什么信息。LSTM通过这些机制有效地解决了长序列依赖问题，使得网络能够学习到更长时间的依赖关系。