谷歌人工智能背后的大脑：最快15年实现通用人工智能
http://imgtech.gmw.cn/attachement/jpg/site2/20160803/448a5b7c82f6190bfa934e.jpg Jeff Dean 在获得华盛顿大学计算机科学博士学位的三年之后（1999 年）加入了谷歌公司，成为了该公司最早的员工之一。在谷歌的成长过程中，他一直是该公司的头面人物——设计和实现了支撑谷歌大部分产品的许多分布式计算基础设施。 谷歌 CEO Sundar Pichai 曾说过谷歌将会变成一家人工智能优先的公司；作为系统和基础设施组（Systems and Infrastructure Group）的高级成员，Dean 及其团队对实现这样的目标至关重要。在这个涉及范围广泛的访谈中，Dean 描述了他在谷歌的多种角色、该公司的人工智能愿景、他对谷歌如何在作为科技巨头的同时保持创业精神的想法，以及其它许多主题。 Peter High：Jeff Dean，你 1999 年加入谷歌，见证了该公司大部分历史。请给我们简要描述一下你这 17 年来在该公司所扮演的角色的发展。 Jeff Dean：当我加入的时候，谷歌还相当小。我们都挤在帕洛阿尔托大学路（University Avenue）上的一间小办公司里。我的第一个主要工作是创建我们的第一个广告系统。然后我用了四五年的时间来开发在谷歌上的每次查询都会用到的检索、索引和搜索系统。在那之后，我基本上在和 Sanjay Ghemawat 等一些同事一起开发谷歌用来存储和处理大型数据集与做构建搜索索引或处理卫星图像等事情的软件基础设施。最近一段时间，我一直在开发研究机器学习系统。 High：鉴于你的涉及范围和角色是如此地广泛，我想你可能没有‘平常的一天（average day）’。你如何确定与公司内外的什么人进行交流？我很想知道你如何在你所从事的不同事情上分配时间。 Dean：我没什么典型的一天。在开始的十四或十五年里，我没有任何管理上的工作，那给了我更多自由时间来专注编写代码。过去几年，我管理了一些机器学习上的工作，这对我来说是一件有趣而新颖的学习经历。因为我在该公司的这段历史里做过很多事情，而且我喜欢这些不同的项目进展保持关注，我常常收到很多邮件。我在处理电子邮件上花了很多时间，大部分是删除或略读它们以了解事情的进展。在任何时候，我都有几个技术项目要做，所以我需要在各种会议和设计审查这些事情之中找到花费我每天时间的方法。 High：尽管谷歌实现了急速的成长，但谷歌一直是创新的典范。它的雄心和创新精神看起来就好像它还是一家小公司一样，但它现在已经拥有了人力和财力上的资源，是科技行业的庞然大物。谷歌这家企业是如何打败繁文缛节和官僚主义，从而使其保持与其体量不相称的灵活性的？ Dean：自我加入公司以来，谷歌基本上就一直在不断成长。早些年的时候，我们的员工数量每年都在翻番。在百分比上，我们现在已经放缓了；但在绝对数量上，我们仍然有相当显著的增长，员工的数量每年都会增长大概 10% 到 20% 的样子。公司体量的每一次倍增都会迫使我们重新思考该在公司内部如何完成事情。在 X 人时有效的做法，人数扩增到两倍时已经行不通了，我们必须搞清楚如何适应我们的风格、我们的工程开发、组织架构、团队动态等等以适应新的公司规模。 我认为在增长中对我们有所助益的一件事情是我们往往会分支到许多不同的领域，这些领域在某种程度上独立于谷歌的其它部门的工作。创造用于接入互联网的高空气球的部门与提供搜索查询的部门只有相对适中的互动。和我们核心业务中的项目不一样，我们许多不同活跃项目都不需要那么多的交流，这让我们可以实现规模和效率。 High：我理解谷歌/Alphabet 分离的部分原因是因为要将不同类型的活动分开以保持敏捷。这是一个合理的评价吗？ Dean：我认为是的。我认为这能让 Alphabet 旗下的其它实体能更独立地运作。对于规模的倍增，我想说通过一些有趣的转变，我们从所有人都在一个建筑里工作变成了现在不再同一个建筑里。 后来，我们的工程开发工作也从山景城扩散到了苏黎世、纽约、东京和西雅图。我们这五处办公室已经有一段时间了，而且这些办公室现在已经发展得相当大了。再后来，在短短几年之内，我们工程开发的办公室数量就从五个增加到了三十五个，因为我们觉得在世界各地寻找优秀人才并围绕他们开设办公室是非常好的。这让我们不得不重新思考我们该如何去组织大量的工程开发工作。如果你有一个小办公室，它就可能不应该做一百件事；它应该只做少数几件事，并专心将它们做好。一些小公司采用的模式是看山景城的其他人怎么做，他们看到别人正在做一百件事，所以他们认为自己也应该做一百件事。我们慢慢找到了一种使用分布在世界各地的工程办公室中所有人的更好的方式。 High：谷歌 CEO Sundar Pichai 曾经说过，从长远来看设备将逐渐消失，计算将从移动优先（mobile first ）进化到人工智能优先（AI first）。请你描述一下谷歌的人工智能优先的愿景。 Dean：我认为我们已经从桌面计算移到了移动计算，每个人都随身带有一个‘计算设备’。随着设备继续缩小，语音识别和其它类型的可替代的用户接口变得更实用，这将改变我们与计算设备交互的方式。它们可能隐入背后，并围绕着我们，让我们能够像与可信赖的伴侣一样和它们交流。它们将协助我们获取想要的信息，或者帮助我们完成各种各样的任务。我认为这是向前推动机器学习的一个主要目标：在提供建议上拥有能够像人类伙伴那样智慧的计算机、当需要的时候它们能够寻找到更多的信息等这种事情。我认为接下来五到十年将会是一段令人激动的时间段。http://imgtech.gmw.cn/attachement/jpg/site2/20160803/448a5b7c82f6190bfa944f.jpg 2016 年 5 月 18 日，谷歌 CEO Sundar Pichai 在谷歌 I/O 大会上发言 High：因为取得了一些进展，人工智能的不同目的也完成了一些，看起来一些人不再将这些成就视为真正的人工智能。也就是，人工智能似乎总是以未来时的语气在讨论。你将如何定义人工智能的范围呢？ Dean：我认为真正的通用人工智能是能够表现出人类水平的推理、理解和完成复杂任务能力的系统。很明显，我们还未达到这一步，但你说已经有了很多的进展是正确的。五年前，计算机接收一张图片然后生成人类水平的语句描述图片还是不可能的。现在，一台计算机生成的句子可能会说：‘这张图片是一个正拿着网球拍站在网球场上的男人。’同时，一个人可能会说：‘这张图片是一个网球员正要发球。’人类的描述更为精细，但事实上计算机已经能够产生看起来几乎是人写的描述语句，这已经是一个相当大的进步了。在过去五六年中，随着人们应用的一些更为复杂的机器学习模型，我们取得很多进展，这只是其中的一个例子。因为他们使用更大的数据集和更多的计算能力运行这些模型，结果也已经变得更好了。http://imgtech.gmw.cn/attachement/jpg/site2/20160803/448a5b7c82f6190bfa9450.jpg 2016年 3 月，谷歌 DeepMind 挑战赛上，韩国围棋大师李世石与谷歌的人工智能程序 AlphaGo 对决 High：你认为我们离通用人工智能还有多远？ Dean：这取决于你问的是谁，不同的人会给出不同的估计。我不想妄加猜测，只能给出一个宽泛的估计。我认为我们还需要 15 到 50 年——可能接近这个范围的更低的一端。 High：你之前提到，语言是诸多关键要素中的一种，而且谷歌的许多人工智能计划也是围绕着语言，比如阅读、理解网页上的所有内容或者智能化地交流和理解上下文语境。你能谈一下让机器更好地理解语言的途径吗？为了迈向（如果尚未完成）通用人工智能，你预见的发展道路是怎样的？你在这方面做着哪些工作？ Dean：我认为一件有趣的事是信息检索领域，这是谷歌早期工作的基础。传统上看，这并没有试图真正理解用户在点击搜索时到底想要什么。它更像是查找包含用户所输入词的文件或意思接近这些单词的内容。有趣的是，在最近的四五年里，我们已经开始研发出可以更好地理解‘车’这个词的本质的技术。知道‘一辆车（ car ）’、‘一些车（ cars ）’、‘汽车（ automobile ）’、‘客车（ passenger car ）’和‘小型运货车（pickup truck ）’在某种意义上是相关的，而且能以这种更流利的方式匹配文件，促成了在许多语言理解任务中的更好表现。 我们不仅能理解词汇，还能抓住要点，理解两个相互释义的句子在某种意义上有相同的意思。机器开始达到我们人类理解语言的水平，我们将能够以更多机器学习的方式推动机器理解更长篇幅的文本。 接下来几年我们的目标是让机器系统吸收成百上千份文件，然后能谈论文件里的内容。也许系统将总结这些文件，针对文件内容提出或者回答问题。我认为这就是要真正表现出高水平语言理解所需的理解水平。 High：你和你的团队取得的一些进展似乎已经用于谷歌的各种产品：谷歌助理——谷歌新的虚拟语音助手；Google Home——你们对亚马逊 Echo 的回应；还有 Allo ——一款提供获取谷歌服务的对话接口的消息应用。你怎么看待这些最近发布的新产品和谷歌内部的试用产品？ Dean：我那时领导的研究团队叫做谷歌大脑（Google Brain）。我们专注于构建大规模的机器学习计算系统和研究高级的机器学习技术。有这两种不同技能的人们聚集在一起共同解决难题，取得了明显的进步，而只具有机器学习技能或大规模计算技能的人通常不能独自获此成就。在我们能将这些问题在多大程度上扔给计算机程序和我们如何训练出强大的模型解决我们关心的问题上，我认为这是让我们团队在两个领域内都取得相当大的成功并推动了技术向前发展的其中一个原因。 在做长期研究时我们一直是相当机会主义的，我们懂得什么时候我们的一些研究成果可以用于改善谷歌现在的产品。我们将和产品团队一起工作，我们会说：‘嘿，我们认为这项机器学习研究在你的产品中是有用的。’有时这是一个完全不能干涉的事情。而有时我们这个团队和产品团队又会深度合作，让研究成果在产品中实现其价值。 我们团队中的一些研究人员开发了一个模型，叫‘序列到序列学习（sequence-to-sequence learning）’。这个模型的核心想法是你用一个输入序列来预测某些输出结果序列。听起来有点抽象，但可以映射到许多你想要解决的真正问题。他们发表的这个研究论文最初是语言翻译背景下的应用。输入序列可以是一个句子的英文单词，一次一个。该模型被训练去输出对应的法国单词来创建一个法语句子，意思与输入的英语句子相同。这不同于其他机器翻译系统，别的机器翻译系统往往是代码和子件（sub-piece）的问题——也许使用了机器学习或统计模型将它拼接在一起。相比之下，这个系统是一个完全的机器学习的端到端系统，在这个系统中你投进成对的在不同语言中表达同一个意思的句子，然后系统就能学会将一种语言翻译另一种语言。 这个通用模型在其他环境中也很有用。Gmail 团队将它用作了一个名叫‘智能回复’的功能的基础，这里面的输入序列是一个传入的电子邮件，生成序列是根据这个邮件的内容预测出的可能回复。比如，你收到一封这样的邮件：‘嗨，我们想邀请你来吃感恩节晚餐。请告诉我们你能不能来。’这个生成的回复可能是‘好的，我们会来。我们能带点什么过来吗？’或者是‘对不起，我们来不了了，’或者是其他对应语境的类似回复。用的是相同的基本模型，只是训练的数据集不同。 High：谷歌大脑的这个研究在谷歌其他更多的传统产品分支中有什么潜在的应用和突破？ Dean：我们已经开始将这个流程变得规范一点。五年前，当我们最初创建机器学习研究团队以调查海量计算和深度神经网络如何解决问题时，公司里还没有太多人使用这些方法。我们发现了一些用它们可以有效处理的领域，包括语音识别系统，所以我们与语音识别团队的人密切协作，从而将深度神经网络配置为了语音识别系统的一部分，并且在识别准确率上取得了实质性进展。然后我们和各种计算机视觉相关团队合作，比如图片搜索和一些街景服务团队，从而训练模型在给定的各种图片的原始像素下做有趣的事情——从图片中提取文本或者理解图片内容是什么（美洲豹、垃圾车等等）。 有趣的是，随着时间的推移，越来越多的团队开始采用这些方法，因为他们总会听说另一个团队用这些方法取得了好结果。我们会帮助这样两种团队建立联系，或者，提供一些关于在特定的问题情境中如何使用这些方法的基本建议。后来我们将此流程规范了一些，所以现在我们有一个专门的团队负责外联。这是为正在产品中尝试这些机器学习模型的团队建立联系的第一点。他们会描述他们的问题，然后外联团队会告诉他们：‘噢，听起来很像另外这个团队的问题，这个解决方案会帮到您，试试并记得给我们反馈哦。’这种外联团队的数量正在急剧增长——从 2011 年、2012 年的几个团队增长到现在的 200 多个团队，并且可能已有几千人用我们团队的软件训练过这种模型了。 High： 你也是谷歌开源机器学习库——TensorFlow 的创始人之一。像其他几家公司一样，谷歌正关注开源人工智能技术的开发。请谈谈你对使用开源人工智能技术的理论基础及优势的看法。 Dean：有许多不同的构架来表达不同的开源机器学习算法。我认为有更多的选择总是好的，但如果我们可以开发出能获得机器学习社区支持，大家一起来改进的东西的话，也很好。其他许多人都在尝试着相似的工作，所以如果我们能将重复工作的成果放在一起，构成一个许多人都会采用的库就会非常方便。原因是这会使机器学习想法的表达变得更简单。传统的方式是人们写一篇论文，谈谈他们有了一个想法，然后开始探索，做一些实验，但通常他们并不会公开代码，其他人便没法重复这些实验。作为一个研究者，你正在看某人的论文，并尝试将你自己的技术与其对比。通常，因为论文中没有代码，你只能猜测那些代码会是什么。并不是作者有意隐瞒，而是论文的属性决定了其会省略大量细节。论文中可能会有像‘我们使用了低的学习率’一样的描述，然而你关心的可能是他们是否使用了。0001 的学习率，在一万步后将其降低到更小值。所以建立一个软件架构，让人们可以以代码的形式表达机器学习想法并将这些研究模型和想法以可执行形式发布到这个构架中，这使得想法的交流更加通畅。 ……谢谢楼主分享 谢谢楼主分享 谢谢楼主的精彩分享！ 谢谢楼主分享 谢谢楼主的精彩分享！ 感谢分享！
页:
[1]