安利一则深度学习新手神器:不用部署深度学习环境了!也不用上传数据集了!

2017-11-02 16:54:38 收藏 评论

 深度学习的浪潮在五年前开始兴起。随着计算能力的爆炸型增长和几个成功的案例,深度学习引起了大肆宣传。深度学习技术可以用来驾驶车辆,在Atari游戏中进行人机对抗,以及诊断癌症。

开始学习神经网络时,我花了两周的时间进行探索,选择合适的工具,对比不同的云服务以及检索在线课程。但回想起来,我还是希望我可以从第一天就能创建神经网络,这也是这篇文章的目的。

你不需要有任何预备知识。当然如果你对Python,命令行和Jupyter notebook有基础的了解会对你有所帮助。

深度学习是机器学习的一个分支,它被证明是一种可以在原始数据(如一幅图、或者一段声音)中找到固定模型的有效方法。 如果你想对猫和狗的图像进行分类。不需要具体的编程,它首先会找到图片中的边,然后从不同的边中构建模式。接下来,它会检测到鼻子,尾巴和爪子。通过这样的方式,神经网络最终可以实现对猫和狗进行分类。

但是,结构化的数据可以使用更好的机器学习算法。举个例子,如果你的excel表中记录了有序的客户数据,你希望可以预测他们的下一张订单,那么你可以使用传统的方法,使用一个更简单的机器学习算法。

 

 

核心逻辑

 

 

想象一个安装了很多随机调整齿轮的机器。这些齿轮堆叠在很多层上,而且会相互影响。最初,这个机器无法正常工作。然后随机地调整齿轮,直到调整到可以给出正确输出。

然后一个工程师会开始检查所有的齿轮,然后标记出来哪些齿轮会造成误差。他会从最后一层的齿轮开始,因为这里是所有误差累计的结果。一旦他找到了最后一层的误差,他就会开始查看前一层。通过这种方法他可以计算出每一个齿轮对于误差的贡献值。我们把这个过程称为反向传播。

然后这个工程师开始根据之前找到的误差对每一个齿轮进行调整,然后重新运行整个机器。运行机器,计算误差,调整齿轮,不断循环这个过程直到机器给出正确输出。

预测 – 计算误差 – 调整预测值 (训练周期)

神经网络的运行方式也是如此,有输入和输出,然后通过调整齿轮来寻找输入和输出之前的关系。给定一个输入,通过调整齿轮来预测输出,然后将预测值和真实值进行对比。

神经网络通过调整齿轮来追求最小误差(预测值与实际值之前的差异),它会不断调整齿轮,直到预测值与真实值之间的差异尽可能小。

最小化误差的一个最佳方法是梯度下降,即通过误差函数、或者说成本函数来进行误差的计算。

 

 

浅层神经网络

 

 

许多人认为人工神经网络是我们大脑新皮质的数字化复制品。 这是一个错误的观念。

我们并不知道大脑如何能够做出这样的声明。这只是神经网络发明人弗兰克·罗森布拉特(Frank Rosenblatt)的一个灵感源泉。

浅层神经网络 输入-权重-加和-判断 –> (预测值-实际值)*学习率

与神经网络模拟器玩一两个小时,你就可以获得对其的直观感受。

我们将从实现一个简单的神经网络开始,以了解TFlearn中的语法。从经典的101问题开始,也就是OR运算符。虽然神经网络更适合于其他类型的数据,但这是了解其工作原理的一个很好的问题。

所有的深度学习程序都遵循同样的核心逻辑:

1.首先加载库,然后加载数据并清洗。不管是照片,音频还是知觉数据,所有的输入都会被转化为数字。这些很长的数字列表就是我们神经网络的输入。
2.现在开始设计神经网络。选择你的神经网络层的类型和数量
3.然后它会进入学习过程。
4.神经网络知晓输入和输出,然后自行寻找二者之间的关系。
最后会用训练好的模型中给到你一个预测值。

下面是这个神经网络的程序:输出第一行 以“#”开头的行表示备注,一般用来解释代码

第二行 加载TFlearn库 通过这个语句我们可以使用谷歌Tensorflow的深度学习函数

第五行和第六行 将上述表中的数据存储在列表中

每个数字末尾的点会将整数映射到浮点数。它存储具有十进制值的数字,使计算更加精确。

第七行 初始化神经网络,并指定输入数据的维度或者说尺寸

所有的OR运算都是在一对数据中进行的,所以维度是2.

空值是默认值,表示批量的大小

第八行 输出层

激活函数将过程中的结果映射到输出层

在这个例子中,我们使用Sigmoid函数将其映射到(0,1)区间范围内

第十一行 应用回归
使用优化器选择合适的算法来最小化成本函数
学习率决定了神经网络的调整速度,而损失变量决定了如何计算误差。

第十二行 选择使用哪个神经网络

一般情况下也可以用来指定存储训练日志的位置

第十三行 训练你的神经网络和模型

选择你的输入数据(OR)以及实际的标签(Y_truth)

Epochs决定了你的神经网络运行数据的循环次数

如果你设置 snapshot=True,那么每次循环后都会进行模型验证

第十四到十八行 使用训练好的模型进行预测

在这个例子中,返回的是结果是1/True的概率

输出层

第一个结果表示[0.]&[0.]组合为真的可能性为4%,以此类推。“Training step”显示了你训练了多少批。

在每一批中所有数据都将训练一次,类似于Epoch。如果数据相对内存较大,你需要停止分段训练。损失函数会计算每一次迭代的错误数量。

SGD指随机梯度下降法及最小化代价函数方法。

Iter指当前数据索引以及输入项的总和。

你可以在大多数TFlearn神经网络中找到上述逻辑和语法。学习这段代码最好的方法就是修改代码并产生一些错误。

损失曲线显示了每一次训练的错误量

你可以通过Tensorboard来可视化每一次实验,并了解每一个参数是如何影响训练的。

这里有一些你可以运行的例子的建议。我推荐你花费几小时练习这些例子,以更好地适应运行环境以及TFlearn中的参数。

 

 

实验

 

 

  • 增加训练与迭代次数

  • 尝试添加或改变文档中提到的每一个函数的参数

例如g = tflearn.fullyconnected(g, 1, activation=’sigmoid’)改成tflearn.fullyconnected(g, 1, activation=’sigmoid’, bias=False)在输入项增加整数

  • 改变输入层的形状

  • 改变输出层的激活函数

  • 使用不同的梯度下降方法

  • 改变神经网络计算代价的方式

  • 用X和Y来替代“AND”和“NOT”逻辑运算

  • 例如将最后一项Y_truth从[1.]改为[0.]。为了使其有效,你需要在网络中增加一层。

  • 使其学得更快

  • 想办法使得每一步学习都超过0.1秒

 

 

新手入门 

 

 

结合Python来使用Tensorflow在深度学习中是最常见的手段。

TFlearn是一个运行在Tensorflow之上的高层次框架。

另一个常见的框架是Keras。这是一个更加健壮的库,但是我发现TFlearn的语法更加简洁易懂。

它们都是运行在Tensorflow之上的高层次框架。

你可以使用你的电脑CPU来运行简单的神经网络。但是大多数实验需要运行数个小时甚至几周。这也是为什么大多数人通过现代GPU云服务来进行深度学习。

最简单的GPU云服务解决方案是FloydHub(https://www.floydhub.com/)。如果你掌握了基础的命令行技能,部署FloydHub将不会超过5分钟。

使用FloyHub文档来安装floyd-cli命令行工具。FloydHub还为遇到问题的客户提供内部客服支持。

让我们在FloyHub中使用TFlearn、Jupyter Notebook以及Tensorboard来运行你的第一个神经网络吧!

安装FloydHub并登陆,下载这份指南中所需的文件。

打开终端,输入以下命令:

进入文件夹并初始化FloydHub:

FloydHub会在你的浏览器打开web面板,提示你创建一个名为101的新项目。完成后回到终端,再次输入初始化命令。

现在你可以在FloydHub上运行你的神经网络任务了。

你可以通过“floyd run”命令进行不同的设置。在我们的案例中,我们希望:

o   在FloydHub中增加一个已上传的公共数据集

o   data emilwallner/datasets/cifar-10/1:data 指定数据目录。你可以在FloydHub上查看该数据集(以及许多其他公共数据集)。

o   gpu 使用GPU云计算

o   tensorboard 激活Tensorboard

o   mode jupyter Jupyter Notebook模式下运行任务

OK,开始运行我们的任务:

在浏览器中初始化Jupyter后,点击“start-here.ipnyb”文件。

start-here.ipnyb 包含了一个简单的神经网络,可以了解TFlearn语法。它学习了“OR”逻辑,随后解释了所有组合。

点击菜单栏的“Kernel ”下的 “Restart & Run All”。如果你能看到信息,说明它工作正常,你就可以去做其他事情了。

前往你的FloydHub项目,找到Tensorboard链接。

 

 

深度神经网络

 

 

深度神经网络指的是包含一层以上隐藏层的神经网络。目前有非常多的关于CNN(卷积神经网络)工作原理的详细教程。

因此,我们将关注适用于更多神经网络的高层次概念。

注:该图不是一个深度神经网络。它需要一层以上隐藏层。

你想训练神经网络来预测未经训练的数据。它需要能泛化的能力。这是一种介于学习与遗忘之间的平衡。

你想它能学习如何将信号从噪声中分离,但是同时遗忘只在训练数据中出现的信号。

如果神经网络未经充分学习,它会出现欠拟合现象。与之相反是过拟合现象。它指的是从训练数据学习过多。

Regularization (正则化)是一种通过遗忘训练中的特定信号来减少过拟合的方法。

为了进一步理解这些概念,我们在CIFAR-10数据集上开展实验。该数据集包含了10种类别6万张的图片,例如汽车、卡车和鸟。目标是预测一张新的图片属于哪种类别。

CIFAR中的示例图片

通常我们需要挖掘数据、清理数据以及过滤图片。但是为了简化过程,我们只关注神经网络。你可以在Jupyter notebook中运行安装的所有例子(https://github.com/emilwallner/Deep-Learning-101)。

输入层输出层将图片分为10类。隐藏层混合了卷积层、 pooling以及连接层。

 

 

选择层数

 

 

让我们来对比下只有一层的神经网络和有三层之间的区别。每一层包含卷积层,池层,和关联层。

你可以通过点击在菜单栏中的Kernel > Restart & Run All 来运行这些脚本。接着再瞥一眼Tensorboard中的训练记录。你会发现有很多层的多准确了15%。较少层的拟合度低 — 证明它学的还不够。

你可以运行你先前下载的文件夹中相同例子,同样包括接下来的试验。

让我们看一眼准确度和验证集的准确度。深度学习中最好的实践是将数据集一分为二,一部分用作训练这个神经网络,剩下的则用作验证它。通过这种方法可以告诉我们神经网络在预测新数据中表现如何,或是类推的能力。

就如你所见,训练数据的准确度高于验证数据集。这个神经网络包含了背景噪声和其他阻碍预测新图像的细节。

为解决过拟合问题,你可以惩罚复杂方程并在神经网络中增加噪声。普遍解决这个的正则化技术有丢弃层和惩戒复杂方程。

 

 

丢弃层

 

 

我们可以对比一下丢弃正则化这样理解:一些强大的神经元并不决定最终结果,而是由他们分配权力。

神经网络被迫使去学习一些独立的表现。当做最终的预测时,它则有一些不同的模型去学习。

下面是一个有丢弃层的神经网络的例子。

在这项对比中,两个神经网络是一样的除了其中一个有丢弃层,另一个没有。

在神经网络中的每一层中,神经元变得更依赖于彼此。某些神经元比其他的更有影响力。丢弃层随机的丢弃部分神经元。这样,每一个神经元需要为最终输出提供不同的贡献。

另一个流行的预防过拟合的方式是在每一层中运用L1 或L2 正则方程。

 

 

L1  & L2 正则方程

 

 

比方你想描述一匹马,如果这个描述太仔细,你则会排除掉太多不同形态的马。但是如果太笼统则可能包括进来很多别的动物。L1 和L2 正则化帮助我们的网络去做这种区分。

如果我们与之前试验类似的对比,我们会得到相似的结果。

有正则化方程的神经网络表现的比没有的要好。

正则化方程L2 惩戒方程太过复杂。它测量每一个方程对于最终输出的贡献量,接着惩罚系数大的方程。

 

 

批量大小

 

 

另一个重要参数是批量大小,在每一步训练中的数据量。下面是一组大批量数据与小批量数据的对比。

就如你所见,大批量所需的周期更少但在训练中更精确。对比之下,小批量更随机但需要消耗更多步来补偿。

大批量不需要很多学习步骤。但是,你需要更多存储空间和时间去计算每一步。

 

 

学习率

 

 

最后一个试验是对比大,中,小不同学习率的网络。

学习率因其影响力被视为最重要的一个参数。它规范了如何在每一步学习过程中调节预测中的变化。如果这个学习率太高或者太低都无法收敛,就如上图的大学习率一般。

设计神经网络没有特定的方式。很多是要通过试验来决定。看看别人如何增加层数和如何调节高阶参数的。

如果你有强大的计算能力,你可以设计一个程序和调节高阶参数。

当你完成了运行工作,你应当为你的GPU云降低运转速度比如通过取消FloydHub网页仪表盘来结束工作。

 

 

后续

 

 

在TFlearn的官方示例中(https://github.com/tflearn/tflearn/tree/master/examples/images),你能感受到一些表现优异的卷积神经网络。试着运用其中一些方式去提高CIFAR-10数据库的验证集准确率。目前最优的结果是96.53%(Graham,2014)。

学习Python的语法和熟悉它的命令语句是非常值得的一件事。这可以有效减少不必要的认知负荷从而全神贯注于深度学习概念上。从Codecademy的Python课开始,接着做一些命令语句练习。如果只做这一件事,你花不到三天就能掌握。

本文转载微信公众号:大数据文摘

作者:Emil Wallnér

编译:高宁、Happen、陈玲、Alieen

 

原文链接:

https://medium.freecodecamp.org/deep-learning-for-developers-tools-you-can-use-to-code-neural-networks-on-day-1-34c4435ae6b

责任编辑:
分享到

参与评论

相关文章