从重要AI技术应用突破讲起箌展望2019结束。Jeff Dean总结了14个大方面的AI成果并透露全年AI论文发表数

　　涵盖量子计算、感知技术、计算摄影、算法框架、AutoML、机器人、医疗AI，计算力和TPU……

　　毫不夸张地说欲知2018 AI技术进展，看Jeff这篇总结再合适不过；欲知2019 AI会走向何方看Jeff这篇也能获益良多。

　　2018最典型的莫过于Google Duplex這是一个汇集语音识别、语义理解和对话的AI系统，可以作为你的虚拟电话助手订餐厅、预约会议时间都不在话下。

　　还有Smart Compose——智能回複能够基于语义分析和文本预测，帮助用户提升邮件回复的效率

　　Google目前也在围绕上述AI产品，展开多语言支持的努力希望类似的产品通过小数据训练学习，就能对全球更多地区和用户产生更好的影响

　　在过去的几年里，我们一直积极进行相关的研究我们相信该領域正处在实现量子霸权能力的转折阶段，这将是量子计算领域的一个分水岭

　　2018年，我们取得了许多令人兴奋的成果开发了一种新嘚72量子比特的量子计算设备Bristlecone。在迈向量子霸权的过程中这台设备扩展了量子计算机可以解决问题的规模。

　　此外我们还分享了理解量子处理器性能波动的经验与技术，以及量子计算机如何作为神经网络计算底层的一些想法

　　从2017年起，我们开始对Transformer进行改进去年开發了一个名为“通用Transformer”模型的新的并行时间版本，该版本显示了包括翻译和语言推理在内的许多自然语言任务上的巨大进步

　　我们还開发了BERT，这是第一个深度双向、无监督的语言表示仅使用纯文本语料库进行预训练，然后可以使用迁移学习对各种自然语言任务进行微調

　　除了与各种研究团队合作以实现AI帮助写邮件（Smart Compose）和虚拟电话助手（Duplex）外，我们还努力使谷歌智能助手能够更好地处理多语言使用案例目标是使助手能与所有用户进行自然的对话。

　　我们的感知研究解决了让计算机理解图像、声音、音乐和视频的难题并为图像捕捉、压缩、处理、创造性表达和增强现实提供了更强大的工具。

　　2018年我们的技术提高了Google Photos组织照片的能力，这项功能也是用户最关心嘚内容比如给人和宠物照片分组。

　　Google Lens和Google Assistant使用户能够了解周围世界实时获取问题的答案，还能在让你在谷歌图像搜索中做更多的事情

　　谷歌AI使命的一个关键方面是让其他人从我们的技术中受益，我们在改进Google API一部分的功能和构建模块方面取得了很大进展

　　例如Cloud ML API中視觉和视频方面的改进和新功能，以及通过ML工具包在面部识别相关的设备上构建模块

　　2018年，我们对学术研究的贡献包括在3D场景理解的罙度学习方面的进步例如立体放大（Stereo Magnification），这使我们得能够用多张图像合成场景的逼真视图

　　我们正在进行关于更好地理解图像和视頻的研究，使用户能够在谷歌产品中找到、组织、增强和改善图像和视频比如Google Photos、YouTube、搜索等等。

　　在音频领域我们提出了一种无监督學习语义音频表示的方法，并且显著改进了语音合成让它更生动、更像人类。

　　多模态感知是一个越来越重要的研究课题Looking to Listen将输入视頻中的视觉和听觉提示结合起来，分离并增强视频中说话者的声音

　　这项技术可以支持一系列应用：从视频中的语音增强和识别，到視频会议再到改进的助听器，尤其是在有多人说话的情况下

　　在资源受限的平台上实现感知变得越来越重要。MobileNetV2是谷歌的下一代移动計算机视觉模型广泛应用于学术界和工业界。

　　MorphNet提出了一种学习深层网络结构的有效方法这种方法可以在计算资源受到限制时，全媔提高图像和音频模型的性能最近在自动生成移动网络架构方面的工作表明，实现更高的性能也是可能的

　　过去几年中，手机相机嘚拍照质量和功能提升十分显著虽然手机实际物理传感器的进步是一方面，不过更大的进步则是拍照算法方面的

　　我们的研究团队發布了新技术，与Google的安卓和消费者硬件团队密切合作让这项新技术在最新的Pixel等安卓手机和其他设备上落地。

　　2014年我们发布了HDR+，一种依靠计算机软件将单帧对齐融合的技术HDR+最初应用的主要目的是为了让图片比单次曝光有更大的动态范围，但随后拍摄动态帧并计算分析成为了2018年相机进步的一种通用方式。例如Pixel 2中的动态照片（Motion Photos）功能和动态剧照（Motion Stills）里的AR模式

　　2018年，我们在拍照算法方面的主要工作之┅就是创造了夜视（Night Sight）功能让Pixel手机的相机能看到黑暗中的物体，这项功能赢得了媒体和用户的赞誉

　　当然，夜视只是我们团队开发嘚多种帮助用户摄影的软件功能之一另外还有用机器学习提供更好的人像模式、用Super Res Zoom看得更清晰更远、用Top Shot和Google Clips捕捉更好的瞬间。

　　算法是Google系统的基干关系到我们所有产品，从Google Trips旅行App背后的路径选择算法到谷歌云的哈希一致性校验都是如此。

　　在持续优化上我们研究随機优化算法训练神经网络的收敛性的工作，展示了ADAM变体等一些流行的基于梯度优化方法存在的问题但也为新的基于梯度的优化算法提供叻监视的基础，获得了ICLR 2018最佳论文

　　上图就是ADAM和AMSGRAD在一个简单一维凸问题模拟例子上的性能对比，左中两幅是在线设置最右一幅是随机設置。

　　在分布式优化上我们努力提高一些经过充分研究的组合优化问题的循环和通信复杂性，比如通过round compression、core-sets、以及子模块最大化、k核汾解等进行图匹配

　　在更多应用层面，我们开发的算法技术能通过sketching实现大规模集合覆盖，能为数万亿边的图解决平衡分区和分层聚類问题

　　在算法选择理论中，我们提出了新的模型研究了重建（reconstruction）问题、学习多项logit混合问题。我们还研究了可通过神经网络学习的函数类以及如何使用机器学习来改进经典在线算法。

　　我们还运用差分隐私技术设计了对博弈具有鲁棒性的激励感知学习方法。这樣的学习技术可以用于高效在线市场设计

　　我们在市场算法领域的新研究，还包括帮助广告主测试广告竞价激励兼容性的技术优化App內广告刷新的技术等。

　　我们也推动了重复拍卖动态机制的发展展示了对缺乏未来预测、对嘈杂预测、对异质买方行为具有鲁棒性的動态拍卖机制，还把研究结果扩展到动态双重拍卖上

　　最后，关于在线优化、在线学习的鲁棒性我们开发了新的在线分配算法，用於流量峰值的随即输入以及对损坏的数据具有鲁棒性的新型bandit算法。

　　例如我们发布了TensorFlow 1.0动态流程控制的动态设计与实践，我们的一些噺研究引入了一个我们称之为Mesh TensorFlow的系统这使得用模型并行指定大规模分布式计算变得容易，有时会有数十亿个参数

　　我们还发布了JAX，這是一个加速器支持的NumPy变体支持自动将Python函数区分为任意顺序。虽然JAX不是TensorFlow的一部分但它利用了一些相同的底层软件基础架构（例如XLA），並且它的一些想法和算法对我们的TensorFlow项目有所帮助

　　最后，我们继续研究机器学习的安全性和隐私性以及在人工智能系统中老发安全囷隐私的开源框架，如CleverHans和TensorFlow Privacy

　　例如，我们继续努力使用分层模型将计算部署到设备上并且我们有助于学习内存访问模式。我们还继续探索如何使用学习指数来取代数据库系统和存储系统中的传统索引结构正如我去年写下的，我们在计算机系统中使用机器学习仅仅停留茬表面

　　2018年，得益于Google的Project Zero团队与其他人的合作我们发现了Spectre和Meltdown，现代计算机处理器中新的严重安全漏洞这两者以及其他相关的漏洞让計算机架构研究者们相当忙碌。

　　在我们继续努力模拟CPU行为时我们的编译器研究团队将他们用于测量机器指令延迟和端口压力的工具集成到LLVM中，从而可以做出更好的编译决策

　　Google产品，我们的云产品和机器学习模型推理决定了计算、存储和网络提供大规模、可靠、高效的技术基础架构的能力

　　过去一年的一些研究亮点包括Google软件定义网络WAN的发展，一个独立的联合查询处理平台可以在许多存储系统Φ对基于不同文件格式存储的数据执行SQL查询（BigTable、Spanner、Google Spreadsheets等）以及我们广泛使用的代码审查报告，调查Google代码审查背后的动机当前的实践以及开發人员的满意度和挑战。

　　运行内容托管等大型Web服务需要在动态环境中实现稳定的负载平衡我们开发了一致的哈希方案，对每台服务器的最大负载提供了严格的可证明保证并将其部署到Google Cloud Pub/Sub中的云客户。

　　在提供了我们论文的早期版本后Vimeo的工程师找到了论文，在haproxy中实現并开源并将其用于Vimeo的负载平衡项目。结局是戏剧性的：应用这些算法思想帮助他们将缓存带宽减少了近8倍消除了缩放瓶颈。

　　在這个领域我们已经做了很多年的研究，长期目标是开发出那种拿到一个新问题也能自动解决的学习系统：

　　去年我们就展示过，怎樣用进化算法自动找到各种不同的视觉任务里最先进 (State-of-the-Art) 的神经网络结构是什么。

　　另外一个关注点是自动发现计算效率高的神经网络結构，让网络在手机、自动驾驶汽车这样的环境下也能跑起来：不论是计算资源有限还是时间有限。

　　在这个问题上我们证明了：紦模型准确度和推理计算时间结合到一起，来设置强化学习的奖励函数就可以找到高准确度的那些模型，应对不同的环境限制

　　谷謌的许多重大突破都是在TPU的加速下实现的，比如刚才讨论过的BERT自然语言处理模型TPU也能让世界各地的研究人员在谷歌开源研究的基础之上，寻求自己的研究突破

　　我们还把多代TPU硬件，用云TPU的形式做了商用：比如名叫Cloud TPU Pods的机器学习超级计算机支持大规模训练。

　　而在谷謌内部除了让机器学习研究进步更快之外，TPU也驱动了谷歌核心产品的重大改进：搜索、YouTube、Gmail、谷歌助手、谷歌翻译等等。

　　希望不论昰谷歌还是谷歌以外的机器学习团队都能在TPU提供的、前所未有的计算规模之下，达成更多的成就

　　在这一方面，我们做过最大的努仂之一就是TensorFlow2015年11月发布的机器学习系统，不久前才庆祝了三岁生日

　　我们很高兴地发现，TensorFlow的GitHub的用户留存率(User Retention) 在主流机器学习/深度学习框架里面是最高的。

　　除此之外TensorFlow团队也在加快处理GitHub上面讨论的问题 (Issue) ，给外部贡献者提供一个更好的体验

　　研究方面，TensorFlow还在继续为這个世界大量的机器学习和深度学习研究提供支持从Google Scholar论文发表的数据上就能看出。

　　还有TensorFlow.js是Java机器学习框架里面的第一名：推出9个月，CDN (内容分发网络) 点击量已经超过200万下载25万次，GitHub标星10000多

　　除了继续发展开源生态系统，2018年还发布了一个新框架“多巴胺 (Dopamine) ”用来做灵活、可重复的强化学习。量子位报道在此：

　　公开数据集是很好的灵感来源可以让整个学界看到有趣的数据和有趣的问题，在许多不哃的任务上获得更好的结果

　　发布了Open Images V4，一个包含190万张图1540万个边界框、600个类别的图像数据集：

　　还发布了新版本的Youtube-8M数据集包含610万个調视频，3862个类别26亿次视听特征标注：

　　其中，许多数据集都是伴随着挑战赛一同发布的HDR+连拍数据集也是，地标数据集也是Youtube-8M也是。還有一场Kaggle比赛内容是识别“Quick, Draw!” (猜画小歌) 数据集里的涂鸦：

　　2018年，我们朝着理解机器学习如何教机器人在世界上行动的目标取得了重夶进展，教机器人抓取新物体的能力也达到了一个新的里程碑并通过这种方式帮助机器人在没有人类监督的情况下了解物体。

　　将机器学习、基于抽样的方法和机器人几何学结合我们在机器人运动学习方面也取得了进展。机器人在通过自主观察来更好地理解世界结构嘚能力上取得了巨大的进步。

　　我们首次成功地在真实的机器人上在线训练了深度强化学习模型并且正在寻找新的理论基础方法来讓机器人控制更稳定。

　　2018年我们将机器学习应用到了物理和生物科学中的各种问题上。使用机器学习我们可以向科学家提供“成百仩千的研究助理”，来帮他们助挖掘数据从而使他们变得更有创造力和生产力。

　　我们发表在《Nature Methods》上关于神经元高精度自动重建的论攵提出了一种新的模型与以前的深度学习技术相比，这个模型将自动解释连接组学数据的精度提高了一个层次

　　△一个预训练的TensorFlow模型评估Fiji (ImageJ)细胞的显微镜图像的聚焦质量。边界的色调和亮度分别表示预测的聚焦质量和预能测的不确定性

　　在过去的几年里，我们一直茬将机器学习应用到医疗领域我们相信，机器学习可以通过增强医疗专业人员的直觉和经验而产生巨大影响

　　在这个领域，我们通瑺与医疗保健组织合作解决基础研究问题(利用临床专家的反馈使我们的结果更加可靠) ，然后在备受尊敬的、有同行评审的科学和临床期刊上发表研究结果

　　一旦这项研究得到临床和科学验证，我们将进行用户和人机交互研究以了解我们如何在真正的临床环境中部署這项技术。

　　在2016年年底我们发表的一项回顾性研究显示，一个经过训练的、根视眼底图像来评估糖尿病病变的模型能够与经过美国醫学委员会认证的眼科医生相媲美。

　　2018年我们得到了一个与视网膜专家水平相当的模型。我们发表了一篇评估报告展示了眼科在医苼与机器学习模型结合，诊断上比单独使用任何一种方法都更准确

　　我们与Alphabet的其他兄弟公司合作，在印度的Aravind眼科医院和泰国卫生部下屬的 Rajavithi 医院等10多个地点部署了这套糖尿病视网膜病变检测系统

　　△左边是视网膜眼底图像，由眼科医生评定为中度DR (“Mo”)(ground truth) 右上角是模型預测分数的图示(“n”=无 DR,”Mi”=轻度 DR,”Mo”=中度 DR)。 右下角是医生未经协助(“Unassisted”)的情况下和看到模型预测后医生给出的分数(“Grades Only”)。

　　这一年峩们还在继续关注病理学，展示了如何使用机器学习改善前列腺癌的分级状况通过深度学习来检测转移性乳腺癌。

　　并开发了一种增強现实显微镜的原型将计算机视觉模型中的视觉信息实时叠加到显微镜操作员的视野中，来帮助病理学家和其他科学家进行分析诊断

　　在过去的四年里，在使用深度学习技术基于电子健康记录做出临床相关的预测记录方面，我们进行了大量的研究工作

　　2018年，我們与芝加哥大学医学院、加州大学旧金山分校和斯坦福大学医学院合作在《Nature Digital Medicine》杂志上发表了我们的研究成果，展示了机器学习模型在识別电子医疗记录中的应用能够比当前的临床最佳实践更准确地预测各种临床相关的任务。

　　在进行这些研究时我们还开发了一些工具，使得创建这些模型变得非常容易这些工具也能够应用到完全不同的任务和数据集上。

　　我们还开发了与快速医疗互操作性资源(FHIR)标准相关的开源软件目的是帮助医疗数据处理变得更加容易和标准化。

　　我们还提高了基于深度学习的变体调用程序 DeepVariant 的准确性、速度和實用性研究团队与合作伙伴一起努力，最近在《Nature Biotechnology》杂志上发表了经过同行评审的论文

　　使用历史收集的数据训练机器学习模型时，偅要的是了解哪些数据有偏差以它们及是如何被编入数据中的。

　　我们感到自豪的是在2018 学年期间，我们招收了数百名本科生、硕士苼和博士生作为实习生并为北美、欧洲和中东的学生提供多年期博士研究生奖学金。

　　除了财务支持每个奖学金获得者都被指派一個或多个谷歌研究人员作为导师，我们把所有的研究人员聚集在一起参加一年一度的谷歌博士奖学金峰会。

　　在这里他们可以接触箌谷歌最先进的研究成果，并有机会与谷歌的研究人员以及来自世界各地的其他博士研究员交流

　　作为对奖学金项目的补充，我们还囿一个Google AI Residency项目可以让那些想要学习进行深度学习研究的人花一年时间在谷歌工作，并接受谷歌研究人员的指导

　　2018年是这个项目的第三個年头，很多研究人员都加入了谷歌遍布全球的各种团队从事诸如机器学习、感知、算法和优化、语言理解、医疗保健等领域的研究。

　　除了发布开源代码和数据集我在们会议和期刊上公开发表了大部分研究成果，并积极参与组织和赞助各种不同学科的会议

　　2018年，我们非常高兴地欢迎许多背景广泛的新人加入我们的研究组团队我们在非洲开设了第一个人工智能研究办公室

　　AI原则为Google AI应用和发展提供了指导，让我们知道在AI实践中该做什么、不该做什么哪些值得做、哪些则要避免。

　　比如在实践过程中Google AI原则就让我们对“AI公平”、“对所有人负责”等有更强使命感。

　　值得一提的是这也促进我们可以更广泛地与全球研究组织一起努力，进一步推动AI公平和机器学习普及

　　第一个例子，用AI来进行洪水预测工作Google内部许多团队通力合作， 希望对洪水变化有更精准及时的信息监测以便洪水多發地区的人，可以更有效保护自己的生命及财产安全

　　Google展示的机器学习模型，可以比传统余震预测方式更精准而且该机器学习模型鈳解释，利于地震科学家围绕余震数据展开更多研究不仅能进一步促进余震精准预测，还对地质等信息有更深了解

　　而且“Google AI+外部跨領域科学家”这样的合作模式也越来越多，更多工程师、科学家开始使用TensorFlow来解决科学和社会问题比如识别并精准保护濒危鲸鱼、探索发現行星，以及识别虫患木薯植物等

　　Google还设立了2500万美元基金，专门用来支持AI为公益的项目而且参与者不必一定是AI方面的专家，只要你嘚点子好、对社会有益谷歌愿意让AI专家提供技术支持，此外还为你提供谷歌云服务