长兴资讯网
国内新闻
当前位置: 首页 >> 国内新闻 >> 正文

CNN vs RNN vs ANN——3种神经网络分析模型,你pick谁?


文章作者:www.clickbmx.com 发布时间:2020-03-10 点击:619



点击阅读原文并快速注册!

Author Aravindipai

Compile | Fire Paste,Editor,Carol

Source |?大数据和人工智能(ID: ai-大数据)

为什么选择深度学习?

这个问题很有意义。机器学习算法没有缺点,那么为什么数据科学家选择深度学习算法呢?神经网络能为我们提供哪些传统机器学习无法提供的功能?

我经常看到另一个问题神经网络需要强大的计算能力,所以当问题中只有一些细微的差别时,使用神经网络真的值得吗?这个问题的答案很简单——值得!深度学习中的不同神经网络(如卷积神经网络、RNN循环神经网络、人工神经网络)正在改变我们与世界互动的方式。这些不同类型的神经网络是深度学习革命的核心,并为诸如无人驾驶飞行器、自主车辆和语音识别等应用提供动力。

人们自然会想机器学习算法不能做到吗?以下是研究人员和专家更喜欢深度学习而不是机器学习的两个主要原因:

让我解释一下!

让我解释一下!

让我解释一下!

机器学习与深度学习:决策边界

每种机器学习算法都学习从输入到输出的映射。换句话说,算法将学习一个只有几组权重的函数:

input-f (w1,w2.wn)-output

在分类问题中,算法将学习一个分离两个类别的函数-这被称为决策边界。决策边界可以帮助我们确定给定的数据点属于正类还是负类。

例如,在逻辑回归的情况下,学习函数是一个试图将两个类别分开的Sigmoid函数。

如上图所示,逻辑回归算法需要学习线性决策边界。它不能像下面这样学习非线性数据的决策边界:

如上图所示,逻辑回归算法需要学习线性决策边界。它不能像下面这样学习非线性数据的决策边界:

同样,机器学习算法不能学习所有函数。这限制了算法能够解决的复杂关系问题。

同样,机器学习算法不能学习所有函数。这限制了算法能够解决的复杂关系问题。

机器学习与深度学习:特征工程

特征工程是模型构建过程中的关键一步。这个过程分为两个步骤:

1。特征提取)

2。特征选择)

在特征提取中,我们提取问题陈述中需要的所有特征。在特征选择中,我们选择能够提高机器学习或深度学习模型性能的重要特征。

考虑图像分类。为了从图像中手动提取特征,有必要对主题和领域有深入的理解。这是一个非常耗时的过程。通过深入学习,我们可以实现特征工程的自动化!

机器学习和深度学习之间的比较

既然我们已经理解了深度学习的重要性以及为什么它可以超越传统的机器学习算法,让我们继续本文的关键部分。我们将讨论用于解决深度学习问题的不同类型的神经网络。

深度学习中的不同类型的神经网络

本文将重点讨论三种重要类型的神经网络。它们构成了深度学习中大多数预训练模型的基础:

多层感知器(MLP)/人工神经网络(人工神经网络)

卷积神经网络(美国有线电视新闻网)

递归神经网络(RNN)

让我们仔细看看这些神经网络。

MLP)

1,什么是MLP?为什么是MLP?

一个单一的感知器(或神经元)可以想象成一个逻辑回归。多层感知器(MLP)是一组多层感知器在每一层。由于输入只在一个方向上向前处理,MLP也被称为前馈神经网络:

multiplayer感知器

如图所示。MLP由三层组成-输入层、隐藏层和输出层。输入层只接收输入,隐藏层处理输入,输出层生成结果。基本上,每一层都要训练重量。

MLP可以用来解决以下问题:

表格数据列表数据

图像数据图像数据

文本数据文本数据

2,多层感知器的优点

多层感知器可以学习任何非线性函数。因此,这些网络通常被称为通用函数逼近器。MLP可以学习将任何输入映射到输出的权重。

普遍近似背后的主要原因之一是激活函数。激活函数将非线性特征引入网络,有助于网络学习输入和输出之间的复杂关系。

感知器(点击查看运动图)

如图所示,每个神经元的输出由输入加权和激活。然而,如果没有激活功能会发生什么?这个网络只学习线性函数,但不学习复杂的关系,因为激活函数是多层感知器的核心!

3。多层感知器面临的挑战

当MLP被用于解决图像分类问题时,二维图像应该首先被转换成一维向量,然后模型应该被训练。这有两个缺点:

(1)随着图像尺寸的增加,可训练参数的数量将急剧增加。

MLP:图像分类

在上面的例子中,如果图像的大小是224*224,在只有4个神经元的第一个隐藏层中的可训练参数是,这不是一个小数字!

(2)MLP将失去图像的空间特征。空间特征指的是图像中像素的排列。我将在下面的章节中详细讨论这个问题。

在所有这些神经网络中,有一个共同的问题:梯度消失和爆炸。这个问题与反向传播算法有关。反向传播算法通过寻找梯度来更新神经网络的权重。

反向传播

因此,在非常深的神经网络(具有大量隐藏层的网络)中,梯度将随着反向传播而消失或爆炸,从而导致梯度消失和爆炸。

MLP无法在处理序列数据所需的输入数据中捕获序列信息。

现在,让我们来看看如何通过两种不同的架构来克服MLP的局限性循环神经网络(RNN)和卷积神经网络(美国有线电视新闻网)。

递归神经网络(RNN)

1,什么是RNN?为什么使用RNN?

让我们先从建筑的角度来看RNN和MLP的区别:

MLP隐藏层的圆形约束变成了RNN

如上图所示。RNN在隐藏状态下有一个循环连接。这种循环约束可以确保在输入数据中捕获序列信息。

循环神经网络可以帮助我们解决以下相关问题:

时间序列数据

文本数据

音频数据

2,循环神经网络的优势(RNN)

RNN可以捕捉数据中出现的序列信息,例如,预测时文本中单词之间的依赖关系:

Many2Many Seq2Seq模型

如图所示,每个时间步长的输出(o1,o2,o3,o4)不仅取决于当前单词,还取决于前一个单词。

RNN分享不同时间步长的参数。这通常称为参数共享。这将减少培训参数和计算成本。上图中显示了RNN

扩展。三个权重矩阵U、W和V是在所有时间步长中共享的权重矩阵。

3。递归神经网络面临的挑战(RNN)

深度RNN (RNN有大量时间步长)也有梯度消失和爆炸问题,这是所有不同类型神经网络的常见问题。

渐变消失(RNN)

如图所示,当到达初始时间步长时,在最后时间步长计算的渐变消失。

卷积神经网络(美国有线电视新闻网)

1。美国有线电视新闻网是什么?为什么使用美国有线电视新闻网?

卷积神经网络目前在深度学习领域非常流行。这些有线电视新闻网模型适用于不同的应用和领域,特别是在图像和视频处理项目。

CNN的构建模块是过滤器,它是核心。核的作用是通过卷积运算从输入中提取相关特征。我们可以试着理解使用图像作为输入数据过滤器的重要性。图像与滤波器的卷积将产生一个特征映射):

卷积输出

虽然引入卷积神经网络的初衷是为了解决与图像数据相关的问题,但它们在顺序输入中的性能也非常出色。

2。卷积神经网络的优势

美国有线电视新闻网可以自动学习过滤器。这些过滤器有助于从输入数据中提取正确的相关特征。

美国有线电视新闻网从图像中捕捉空间特征。空间特征是指图像中像素的排列以及它们之间的关系。它们可以帮助我们准确地识别物体、它们的位置以及它们与图像中其他物体的关系。

在上面的图像中,我们可以通过观察特定的特征(如眼睛、鼻子、嘴巴等)很容易地识别出图像是一张脸。)。我们也可以在图像中看到这些特征的排列。这正是美国有线电视新闻网所能捕捉到的。

3。比较不同类型的神经网络

下面,我总结了一些不同神经网络之间的差异:

在本文中,我们讨论了深入学习的重要性,并了解了不同类型神经网络之间的差异。我一直认为知识共享是学习的最终形式,所以我也期待听到更多来自你们的不同声音!欢迎来到评论区与我们分享您的观点!

Original:

. analyticsvidhya . com/blog/2020/02/CNN-VS-RNN-VS-MLP-analysis-3-type-neutral-networks-in-deep-learning

(*本文由人工智能技术基础编译。转载请联系微信)

【结束】

精彩推荐

今晚7点,现场直播联麦加杨青,告诉我们人工智能算法近年来的演变过程和相应系统,并从技术角度解释产品形式和用户场景。还有机会在公开课上问贾的问题~提交课堂讲稿,可能还会得到阿里马克杯和天猫精神的聪明演讲者~

点击阅读原文并快速注册!

推荐阅读

福利指南!CSDN技术公开课评选在进行中

微软开源网络连接存储算法Petridish提高神经网络迁移能力

远程办公,游戏快速增长,旅游,汽车行业遭受严重破坏!解读流行期间的移动互联网行业报告

再见NoSQL!“连锁旅游”真的能赚钱吗?经过3轮连锁游戏,我终于找到了答案“停止使用那些过时的技术!2020年发布的9大春季Java!

下一条: 镇平县贾宋镇闵河村驻村第一书记渠阳:重压之下勇担当