【北京seo营销】如何描述机器学习中的一些综合能力

提高了模型的表达能力；

使模型更易于训练； 

提高了模型的泛化性能。

在这篇博文中， 我们讨论当前的机器学习研究：监督学习， 无监督学习和强化学习在这些方面的表现。谈到模型的泛化性能的时候， 我把它分为两类：「弱泛化」和 「强泛化」。我将会在后面分别讨论它们。 下表总结了我眼中的研究现状：

这篇博文涵盖了相当宽泛的研究领域，仅表达我个人对相关研究的看法，不反映我的同事和公司的观点。欢迎读者进行讨论以及给出修改的建议， 请在评论中提供反馈或发送电子邮件给我。

表达能力 expressivity

模型可以进行什么样的计算， 拟合多么复杂的函数？

模型的表达能力用来衡量参数化模型如神经网络的可以拟合的函数的复杂程度。深度神经网络的表达能力随着它的深度指数上升， 这意味着中等规模的神经网络就拥有表达监督、 半监督、强化学习任务的能力[2]。 深度神经网络可以记住非常大的数据集就是一个很好的佐证。

最近在产生式模型研究上的突破证明了神经网络强大的表达能力：神经网络可以找到几乎与真实数据难以分辨的极为复杂的数据流形（如音频， 图像数据的流形）。下面是NVIDIA研究人员提出的新的基于产生式对抗神经网络的模型的生成结果：

产生的图像仍然不是很完美(注意不自然的背景)，但是已经非常好了。同样的， 在音频合成中，最新的 WaveNet 模型产生的音频也已经非常像人类了。

在强化学习中神经网络看起来也有足够的表达能力。 很小的网络（2个卷积层2个全连接层）就足够解决 Atari 和 MuJoCo 控制问题了（虽然它们的训练还是一个问题，我们将在下一个部分讨论）。

模型的表达能力问题是最容易的（增加一些层即可）， 但同时也是最神秘的：我们无法找到一个很好的方法来度量对于一个给定的任务我们需要多强的（或什么类型的）表达能力。

什么样的问题会需要比我们现在用的神经网络大得多的网络？为什么这些任务需要这么大量的计算？我们现有的神经网络是否有足够的表达能力来表现像人类一样的智能？要解决更加困难的问题的泛化问题会需要表达能力超级强的模型吗？

人的大脑有比我们现在的大网络（Inception-ResNet-V2 有大概 25e6 ReLU结点）多很多数量级的「神经节点」(1e11)。 这个结点数量上的差距已经很巨大了， 更别提 ReLU 单元根本无法比拟生物神经元。

训练难度 trainability

给定一个有足够表达能力的模型结构， 我能够训练出一个好的模型吗（找到好的参数）

任何一个从数据中学习到一定功能的计算机程序都可以被称为机器学习模型。在「学习」过程中， 我们在（可能很大的）模型空间内搜索一个比较好的， 利用数据中的知识学到的模型来做决策。 搜索的过程常常被构造成一个在模型空间上的优化问题。

优化的不同类型

一个具体的例子：最小化平均交叉熵是训练神经网络分类图像的标准方法。我们希望模型在训练集上的交叉熵损失达到最小时， 模型在测试数据上可以以一定精度或召回来正确分类图像。

搜索好的模型（训练）最终会变为一个优化问题——没有别的途径！ 但是有时候我们很难去定义优化目标。 在监督学习中的一个经典的例子就是图像下采样：我们无法定义一个标量可以准确反映出我们人眼感受到的下采样造成的「视觉损失」。

同样地， 超分辨率图像和图像合成也非常困难，因为我们很难把效果的好坏写成一个标量的最大化目标：想象一下， 如何设计一个函数来判断一张图片有多像一张真实的照片？事实上关于如何去评价一个产生式模型的好坏一直争论到现在。

近年来最受欢迎的的方法是 「协同适应」（co-adaptation）方法：它把优化问题构造成求解两个相互作用演化的非平稳分布的平衡点求解问题[3]。这种方法比较「自然」， 我们可以将它类比为捕食者和被捕食者之间的生态进化过程。

捕食者会逐渐变得聪明， 这样它可以更有效地捕获猎物。然后被捕食者也逐渐变得更聪明以避免被捕食。两种物种相互促进进化， 最终它们都会变得更加聪明。