ANN, CNN和RNN的区别

ANN, CNN和RNN的区别

人工神经网络 (ANN)

人工神经网络(ANN)，是一组在每一层的多个感知器或神经元。ANN 也称为前馈神经网络，因为输入仅在前向方向上处理。这种类型的神经网络是神经网络最简单的变体之一。它们通过各种输入节点沿一个方向传递信息，直到它到达输出节点。网络可能有也可能没有隐藏节点层，这使得它们的功能更易于解释。
优点：

• 在整个网络上存储信息。
• 能够处理不完整的知识。
• 具有容错性。
• 具有分布式内存。

缺点：

• 硬件依赖。
• 无法解释的网络行为。
• 确定适当的网络结构。

卷积神经网络 (CNN)

卷积神经网络 (CNN) 是当今最流行的模型之一。这种神经网络计算模型使用多层感知器的变体，并包含一个或多个可以完全连接或池化的卷积层。这些卷积层创建了记录图像区域的特征图，该区域最终被分成矩形并发送出去进行非线性处理。
优点：

• 图像识别问题的非常高的准确性。
• 自动检测重要特征，无需任何人工监督。
• 权重共享。

缺点：

• CNN 不对物体的位置和方向进行编码。
• 缺乏对输入数据空间不变的能力。
• 需要大量的训练数据。

递归神经网络(RNN)

循环神经网络 (RNN) 更复杂。他们保存处理节点的输出并将结果反馈到模型中(他们并没有只在一个方向上传递信息)。这就是模型学习预测层结果的方式。RNN 模型中的每个节点都充当存储单元，继续计算和执行操作。如果网络的预测不正确，那么系统会自我学习并在反向传播期间继续朝着正确的预测方向努力。

优点：

• RNN 会随着时间的推移记住每一个信息。它在时间序列预测中很有用，只是因为它还可以记住以前的输入。这称为长期短期记忆。
• 循环神经网络甚至与卷积层一起使用以扩展有效像素邻域。

缺点：

• 梯度消失和爆炸问题。
• 训练 RNN 是一项非常艰巨的任务。
• 如果使用 tanh 或 relu 作为激活函数，它不能处理很长的序列。

ANN、CNN和RNN三个网络的对比：

ANN	CNN	RNN
数据类型	表格数据、文本数据	图像数据 序列数据
参数共享	否	是	是
固定长度输入	是	是	否
经常性连接	否	否	是
梯度消失和爆炸	是	是	是
空间关系	否	是	否
性能	ANN 被认为不如 CNN、RNN 强大。	CNN被认为比ANN、RNN更强大。	与 CNN 相比，RNN 包含较少的功能兼容性。
应用	面部识别和计算机视觉。	面部识别、文本数字化和自然语言处理。	文本到语音的转换。
主要优点	具有容错能力，能够处理不完整的知识。	图像识别问题的高精度，权重共享。	记住每一个信息，时间序列预测。
缺点	硬件依赖，无法解释的网络行为。	需要大量训练数据，不要编码对象的位置和方向。	梯度消失，梯度爆炸。