caoz的心得与分享,只此一家,别无分号.

Google到底做了啥

发布日期:2017-01-05 13:58:10 +0000

j警告,本文内容大部分来自于网络摘取和拼凑,少部分为个人观点和整理,如让您感到不适,非常抱歉,并烦请关闭本页。


是的,公开了,豪取60连胜的围棋AI Master就是Google的深度学习alpha go的升级版本。


但Google的深度学习,可真的不止是围棋系统。


我们看看,Google深度学习都做了什么。


首先,这是DeepMind 年底官方的总结

https://deepmind.com/blog/deepmind-round-up-2016/


网易新闻翻译,原文摘录如下

我们相信智能程序能够在从气候到疑难杂症组成的极其复杂、瞬息万变的系统中,帮助我们发掘造福社会的新科学知识。为了实现这一点,我们需要一个全能的学习系统,它能够从零开始建立自己对问题的理解,并用它的能力识别到那些可能会被人类忽略的模式和突破。这便是DeepMind长期研究任务的关注所在。

虽然我们距离实现接近人脑智能水平的目标还差很远,但2016年已是伟大的一年。我们在一些核心的潜在挑战上取得令人振奋的进展,并看到它给现实世界带来的影响。

我们很高兴看到AlphaGo代表项目组第二次荣登自然杂志封面。AlphaGo在古老的围棋比赛中击败人类的世界冠军李世乭。许多专家称赞这一突破领先时代十年。其中最让我们兴奋的还是AlphaGo在比赛中所展现出来的创造性能力,某些棋步挑战了千年的围棋智慧。AlphaGo在围棋上的表现给我们带来新的见解和启发,期待在2017年AI可以掌握更多游戏和比赛。

在生成模型领域,我们也取得了有意义的进展,打造了能够自主设想结构和场景的程序。在我们基于PixelCNN图像模型的论文之后,我们关于WaveNet的论文展示了语音合成的新进展。通过创建原始波形而非拼接录音样本实现了世界上最自然的语音合成。我们正准备同谷歌一起将这一技术应用到产品中去,并对改进数百万用户的使用体验感到兴奋。

另一个重要研究领域是记忆,特别是将神经网络的决策能力同其对复杂结构化数据的储存和推理能力相结合的挑战。我们在差分神经机上的工作——这是我们在十八个月内第三篇登上《自然》的文章——描述了可以同时以神经网络和记忆数据计算机的模式进行学习的模型。这些模型已经能够掌握如何回答诸如族谱图和地铁线路图的数据结构等问题。这些进步让我们距离使用AI在复杂数据集中进行科学发现的目标更近了一步。

除了扩展这些系统的能力范围,我们还投入了大量时间来改进它们的学习方式。名为《用无监督辅助任务进行增强学习(Reinforcement Learning with Unsupervised Auxiliary Tasks)》的论文描述了将某些任务的学习速度提高一个数量级的方法。鉴于高品质培训环境对客户的重要性,我们向大家开放了我们顶级的DeepMind Lab研究环境,并与暴雪游戏合作,为《星际争霸II》开发AI训练环境。

以上所述只不过是冰山一角。要了解更多,你可以参阅我们发表在Neuron、PNAS等顶级期刊上的论文,以及在ICLR、NIPS等机器学习会议上发表的论文。看到社区中的其他人已经开始参照这些论文进行建设是令人惊奇的。围棋计算机程序在2016年下半年迎来复兴,此外我们还见证了AI和机器学习适用领域的不断扩展。

研究给现实世界带来的影响也同样令人惊讶。我们谷歌数据中心的合作伙伴使用类似于AlphaGo的技术来开发数据中心冷却的新方法,使得建筑能源效率提高了15%。如果这些技术可以被拓展应用到其他大规模工业系统中去的话,将会产生巨大的环境和成本效益。我们与谷歌很多团队合作,将我们的前沿技术应用在产品和基础设施中,这只是一个其中例子。我们与英国两家NHS医疗团体合作将机器学习带入医疗领域,探索如何使用技术实现更好的诊断和治疗。还同另外两家医疗团体探索在移动应用和基础设置上的应用,以期改善临床一线的护理条件。

科技的积极社会影响并不只是致力于解决现世问题,同时还涉及算法与模型的设计、培训和部署。我们还很荣幸地参与创建人工智能合作组织“Partnership on AI”。它致力于以非营利的方式将民间社会团体和学术界领先的研究实验室联系起来,有助于在算法透明度和安全性等领域的建设。通过促进经验和洞察力的多样化,我们希望能够帮助解决其中一些挑战,并寻找将社会目的置于AI社区价值核心的方法。

我们仍然是一个处在发展前期的年轻公司,如果2017年里我们可以在以下这三个方面——算法突破、社会影响和道德最佳实践——同时有所进展,那么我们将以良好的姿态继续给科学和世界作出贡献。



但除此之外,仍然有一些值得我们注意,学习和研究的成果


1、开源的AI系统。 DeepMind Lab


今天和一个游戏同行聊天,他们了解已经有游戏公司,使用Google 开源AI ,实现游戏中的模拟玩家,(俗称,陪玩机器人)。极大节省了研发成本,并且比传统研发的机器人表现更真实。


当然,实话说,开源的不止DeepMind,以下是infoq旧文整理的内容


2016年12月,Facebook宣布开源 TorchCraft ,让每个人都能编写出星际争霸人工智能玩家Bot。

2016年9月,百度正式对外宣布推出其深度学习开源平台 PaddlePaddle

2016年8月,Facebook开源了三款人工智能图像分割(Image Segmentation)软件,分别是 DeepMask SharpMask MultiPathNet

2016年7月,微软AI平台 Project Malmo 宣布开源。

2016年5月,亚马逊在GitHub网站将其擅长训练稀疏数据的深度学习和机器学习工具 DSSTNE 开源。

2016年4月,OpenAI开放其用于研发和比较强化学习算法的工具包 GymOpenAI Gym

2016年1月,百度硅谷人工智能实验室(SVAIL)宣布,开源其人工智能软件 Warp-CTC。


现在的年轻人,如果有志于从事这个领域的技术发展,真的有太多资料可以参考,有太多成功的经验可以借鉴。当然,对技术理解力的要求也越来越高,我个人认为,即便我年轻二十岁,估计也难以深入进入这个领域,智商实在是硬伤。


2、TPU


今年6月Google开发者大会上,公开了一款用于AI幕后的秘密武器,TPU。


我们熟悉的是CPU,每台电脑,每部手机的核心工作芯片,此外是GPU,图像处理芯片,但GPU强大的浮点运算能力并不只用于图片处理,实际上随着比特币等区块链技术的蓬勃发展,GPU在分布式计算上获得了极大的市场空间,我前段时间分享过一个观点,很多显卡厂家的业绩增长,靠的不是电脑显卡的诉求,而是比特币挖矿的诉求。


所以,比特币的价格波动,和显卡市场的需求,我个人认为,是存在正相关的。有兴趣的可以分析一下几个主要显卡公司的财务报表看看。


而TPU则更近了一步。


一个简单的个人理解是,CPU是基于完全通用的诉求,实现的通用处理架构,GPU则主要基于图像处理的诉求,降低了一部分通用性,并针对核心逻辑做了一定的优化,是一款准通用的处理架构,以牺牲通用性为代价,在特定场合拥有比CPU快得多的处理效率。而TPU,则针对更明确的目标和处理逻辑,进行更直接的硬件优化,以彻底牺牲通用性为代价,获得在特定场合的极端效率。


所以,如果是cpu+gpu结构,AI系统无法获得如此快速的学习能力和神经网络的处理效率,而TPU将这一切极大加速,并获得了传统cpu难以置信的处理效率。 这也是基于学习对方同样的思路和算法策略,国产AI尚无法与Master相提并论的关键原因。


比TPU本身更可怕的是,Googl开始测试和线上运营环境完成更新迭代一款TPU,只需要22天。这一说法来自于Google官方博客 https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html?hl=zh


拥有这样的迭代效率,技术进步的速度就会让对手望尘莫及。


现在很多公众号和知乎热帖还在争论,在AI系统里,算法重要还是数据重要,嗯,你芯片跟人家比落后七年(一些观点说google的TPU领先同行七年,暂时引用不做评判),你说什么重要。


3、量子计算机


这算是旧闻了,2015年的事情了,Google赞助了加拿大的D-Wave公司,目前全球唯一的商用量子计算机系统,但去年一年似乎没有看到任何新闻出来。


量子计算机被认为是下一代突破性的计算机技术,但目前确实还有很多技术障碍,而D-Wave的量子计算机系统也仅仅是彻底牺牲通用性,获得某个特殊场合的极端效率,目前离可规模化商用还应有一定距离,但是在这个领域一旦产生突破,对人类的发展,对AI的发展,会具有无限的想象空间。


想象一下,拥有一个比现在最快计算机快1亿倍的计算设备,是什么感觉。


最后,这个争论,算法重要还是数据重要?


没有算法,数据再多也挖不出价值。


没有数据,算法再好也找不到价值。


当然,对于围棋,自我对弈的确是一种数据积累方法,但,第一,并不是所有领域都可以通过自我生成数据,或者说绝大部分领域,数据不会凭空出现。 第二,无视已有的,被证明过有价值的数据资源,是一种极大的资源浪费,而且缺乏有效数据时,算法有可能会误入歧途。




重申一下,深度学习并非万能,很多策略和博弈具有明确的最优解时,使用深度学习纯属脱裤子放屁,多此一举,现在很多人开始盲目追捧深度学习,要用深度学习包治百病,或者认为深度学习毫无破绽,都是非常莫名其妙的想法。


旧文分享 深度学习并非最优方案


此外


1、昨天人民币突然暴涨,隔夜利率激增,央行不定期杀空,导致踩踏,这事挺有意思,嗯,坦白说,我也爆仓了,幸好玩的小。


个人认为,央行杀空只是为了控制节奏,防止提兑失控,但杀空之后,人民币汇率依然处于下行空间。


2、比特币突然暴涨,境内外差价巨大,然后刚看到又暴跌下来。外汇市场和比特币市场显著联动,有点意思。


中间确实存在套利空间,但稍微操作不慎就可能踩空。


投资需谨慎,多了解一下没坏处。