主页> 建站经验> 【北京seo营销】如何描述机器学习中的一些综合能力
提高了模型的表达能力;
使模型更易于训练;
提高了模型的泛化性能。
在这篇博文中, 我们讨论当前的机器学习研究:监督学习, 无监督学习和强化学习在这些方面的表现。谈到模型的泛化性能的时候, 我把它分为两类:「弱泛化」和 「强泛化」。我将会在后面分别讨论它们。 下表总结了我眼中的研究现状:
这篇博文涵盖了相当宽泛的研究领域,仅表达我个人对相关研究的看法,不反映我的同事和公司的观点。欢迎读者进行讨论以及给出修改的建议, 请在评论中提供反馈或发送电子邮件给我。
表达能力 expressivity
模型可以进行什么样的计算, 拟合多么复杂的函数?
模型的表达能力用来衡量参数化模型如神经网络的可以拟合的函数的复杂程度。深度神经网络的表达能力随着它的深度指数上升, 这意味着中等规模的神经网络就拥有表达监督、 半监督、强化学习任务的能力[2]。 深度神经网络可以记住非常大的数据集就是一个很好的佐证。
最近在产生式模型研究上的突破证明了神经网络强大的表达能力:神经网络可以找到几乎与真实数据难以分辨的极为复杂的数据流形(如音频, 图像数据的流形)。下面是NVIDIA研究人员提出的新的基于产生式对抗神经网络的模型的生成结果:
产生的图像仍然不是很完美(注意不自然的背景),但是已经非常好了。同样的, 在音频合成中,最新的 WaveNet 模型产生的音频也已经非常像人类了。
在强化学习中神经网络看起来也有足够的表达能力。 很小的网络(2个卷积层2个全连接层)就足够解决 Atari 和 MuJoCo 控制问题了(虽然它们的训练还是一个问题,我们将在下一个部分讨论)。
模型的表达能力问题是最容易的(增加一些层即可), 但同时也是最神秘的:我们无法找到一个很好的方法来度量对于一个给定的任务我们需要多强的(或什么类型的)表达能力。
什么样的问题会需要比我们现在用的神经网络大得多的网络?为什么这些任务需要这么大量的计算?我们现有的神经网络是否有足够的表达能力来表现像人类一样的智能?要解决更加困难的问题的泛化问题会需要表达能力超级强的模型吗?
人的大脑有比我们现在的大网络(Inception-ResNet-V2 有大概 25e6 ReLU结点)多很多数量级的「神经节点」(1e11)。 这个结点数量上的差距已经很巨大了, 更别提 ReLU 单元根本无法比拟生物神经元。
训练难度 trainability
给定一个有足够表达能力的模型结构, 我能够训练出一个好的模型吗(找到好的参数)
任何一个从数据中学习到一定功能的计算机程序都可以被称为机器学习模型。在「学习」过程中, 我们在(可能很大的)模型空间内搜索一个比较好的, 利用数据中的知识学到的模型来做决策。 搜索的过程常常被构造成一个在模型空间上的优化问题。
优化的不同类型
一个具体的例子:最小化平均交叉熵是训练神经网络分类图像的标准方法。我们希望模型在训练集上的交叉熵损失达到最小时, 模型在测试数据上可以以一定精度或召回来正确分类图像。
搜索好的模型(训练)最终会变为一个优化问题——没有别的途径! 但是有时候我们很难去定义优化目标。 在监督学习中的一个经典的例子就是图像下采样:我们无法定义一个标量可以准确反映出我们人眼感受到的下采样造成的「视觉损失」。
同样地, 超分辨率图像和图像合成也非常困难,因为我们很难把效果的好坏写成一个标量的最大化目标:想象一下, 如何设计一个函数来判断一张图片有多像一张真实的照片?事实上关于如何去评价一个产生式模型的好坏一直争论到现在。
近年来最受欢迎的的方法是 「协同适应」(co-adaptation)方法:它把优化问题构造成求解两个相互作用演化的非平稳分布的平衡点求解问题[3]。这种方法比较「自然」, 我们可以将它类比为捕食者和被捕食者之间的生态进化过程。
捕食者会逐渐变得聪明, 这样它可以更有效地捕获猎物。然后被捕食者也逐渐变得更聪明以避免被捕食。两种物种相互促进进化, 最终它们都会变得更加聪明。
- 2019-12-05 【seo教程】浅析:大型门户站SE
- 2019-11-24 【北京seo网】谁是“中国新闻报纸
- 2019-11-26 【怎么做seo】《守望先锋》服务器
- 2019-11-27 【北京seo】国庆出游想避免“天价
- 2019-11-15 【北京seo网】网络公司浅析什么是
- 2019-12-06 【seo工具】企业搜索引擎营销依旧
- 2019-11-22 【seo是什么】2016互联网科技交流
- 2019-12-02 【怎么做seo】武林风与Krush大战在
- 2019-10-23 【seo教程】明月H5平台竖立了国内
- 2019-10-09 【怎么做seo】铅笔道王方:不说谎
- 2019-10-18 【北京seo平台】中钢网:钢铁行业
- 2019-11-24 【北京seo平台】成都90后“网红”
- 2019-11-25 【seo营销】常州工学院全数字语言
- 2019-11-23 【搜索引擎优化】搜索引擎优化:
- 2019-10-01 【北京seo平台】各地新闻宣传工作
- 2019-12-03 【北京seo平台】2018年如何通过S
- 2019-12-06 【怎么做seo】腾讯众创空间、微信
- 2019-11-25 【北京seo营销】网络推广是如何获
- 2019-11-24 【seo技术】河南周口烂尾公路调查
- 2019-12-03 【北京seo】北京新能源汽车推广预
- 2019-11-25 【怎么做seo】90后美女巧创业 帮懒
- 2019-10-18 【seo培训】是首届鄂尔多斯国际创
- 2019-11-12 【北京seo网】导购卖场人流稀少或
- 2019-07-22 【搜索引擎优化】粮食安全基础夯
- 2019-11-06 【seo工具】90后小伙想当首富想做
- 2019-11-10 【北京网站优化】 滨大科技市场
- 2019-11-10 【北京seo教程】2018最新seo基础教
- 2019-06-22 【北京seo】_上海91获客如何判断关
- 2019-12-10 【seo工具】虽说移动互联网比较火
- 2019-12-05 【搜索引擎优化】被侵权者与网络
- 2019-05-10 怎样给网站更好的建设出高质量的
- 2019-05-18 新网站优化如何快速有排名
- 2019-05-18 做seo如何选择可靠的网站优化公司
- 2019-06-13 网站优化的几点禁忌是什么?
- 2019-06-26 【seo是什么】_中企动力1.18建站节
- 2019-10-03 【北京seo网】做微商怎么推广?网
- 2019-10-10 【北京seo营销】每日经济新闻微博
- 2019-10-11 【seo教程】为轿车动态改装公司供
- 2019-10-15 【seo营销】腾讯开源基于HTML5技术
- 2019-10-19 【北京网站优化】【大华股份独家
- 2019-11-06 【北京seo】【新闻动态】中国紧急
- 2019-11-10 【怎么做seo】也是优化发展环境之
- 2019-11-11 【seo优化】新闻链接:透过数据看
- 2019-11-12 【seo技术】野鸡大学再曝光118所
- 2019-11-14 【搜索引擎优化】推进引擎EmDri
- 2019-11-16 【seo技术】月入7千万的营销案例
- 2019-11-17 【北京seo平台】陕西日报:矩阵式
- 2019-11-25 【北京seo教程】张店交警破解火车
- 2019-11-27 【北京seo实战】EC:企业社交化未
- 2019-11-28 【seo技术】如果你想让自己的业务
- 2019-11-29 【seo技术】网站优化有越来越普遍
- 2019-11-30 【seo优化】一个对用户和搜索引擎
- 2019-12-03 【seo营销】通过匹配后微信就可与
- 2019-12-04 【北京seo平台】“渠首情”王光姣
- 2019-12-05 【北京seo营销】省交通运输厅要求
- 2019-12-06 【seo教程】省国际互联网新闻中心
- 2019-05-28 怎样减少无效URL的爬行和索引
- 2019-05-31 apache设置txt文件直接下载而不是网
- 2019-05-31 网站内存在大量死链接,对百度熊
- 2019-06-01 网站外链优化如何做
- 2019-12-10 【seo优化】高清:2016广西公民楷
- 2019-12-09 【北京网站优化】Seo实战 基础篇
- 2019-12-09 【怎么做seo】中共桂林市委宣传部
- 2019-12-07 【seo营销】网站排名仅仅维持了一
- 2019-12-07 【seo培训】个人博客SEO优化的五个
- 2019-12-07 【怎么做seo】【坚定文化自信 实
- 2019-12-07 【seo优化】已经本网授权使用作品
- 2019-12-06 【北京seo平台】德州“30余个小区
- 2019-12-06 【seo工具】安徽农业大学与我县签
- 2019-12-05 【seo培训】首届亚非青年联欢节代
- 2019-12-04 【北京seo网】米青科CEO张国平:企
- 2019-12-04 【怎么做seo】冰淇淋加盟创意无限
- 2019-12-04 【seo是什么】PPTV电视利物浦定制
- 2019-12-04 【seo培训】怎么提高网站的权重
- 2019-12-03 【北京seo】北京新能源汽车推广预
- 2019-12-03 【seo工具】网站关键词排名为什么
- 2019-12-03 【seo教程】应用宝大数据:社交
- 2019-12-02 【seo技术】微信推广纠纷多 江苏
- 2019-12-02 【北京seo】2016年10月26日山东新闻
- 2019-12-02 【seo技术】互联网+还是+互联网
- 2019-12-02 【seo是什么】网站seo该怎么拓展有
- 2019-12-02 【seo优化】新闻分析:法国总统奥
- 2019-12-02 【seo优化】关键词难度分析的常用
- 2019-12-01 【北京seo实战】步森或迎重构借力
- 2019-12-01 【北京seo实战】百度啊,“深夜推
- 2019-12-01 【seo教程】什么是软文营销优势是
- 2019-12-01 【seo优化】流行美参与益动广东
- 2019-12-01 【seo技术】团中央网络影视中心技
- 2019-12-01 【seo教程】深圳拟废止特区人口与
- 2019-12-01 【北京seo实战】想上百度首页吗
- 标签列表
-