Auto ML Translate 的幕后故事

AutoML Translate幕后的故事（来源于Google高级技术项目经理Bombassei）

简而言之，AutoML是“一种创建自定义模型的方法，而无需编写实际的代码”。例如，对于AutoML Translate，用户可以使用域内数据训练Google的通用NMT引擎，以便根据其用例进行自定义。

越接近翻译，模型的效果越好。

用户通过图形界面提供数据，不需要编码或命令行。在将数据上传到云端之后，训练需大约三个小时，具体取决于其复杂性，之后训练有素的模型便可以执行自定义翻译。 翻译实际上会使用你上传的词条、术语、字典，

AutoML适用于转移学习（transfer learning）和神经架构搜索（neural architecture search）。转移学习是一种使用机器学习模型作为培训的基础方法。

类比便是，如果你已经知道如何骑自行车，那么你骑摩托车会更加容易，因为你的大脑可以将一些已经学习的知识转移到新的东西上，同时，神经架构搜索“基本上使用了机器学习找到了最好的机器学习模型，并解决问题。

AutoML是以上两个元素的第一个商业应用。当然，第三个元素是用户提供的训练数据。

Bombassei表示，AutoML在软件和硬件方面正在处于领先地位。由于转移学习和神经架构搜索的计算要求非常高，谷歌已经提出了更适合这项任务的物理硬件芯片：TPU。

这些由Google专门设计的芯片，以最有效的方式执行此类计算。传统芯片和图形处理单元（CPU和GPU）在机器学习所需的计算方面效率非常低。在机器学习领域中，则需要高度并行，低精度的计算。

CPU和GPU非常擅长并行计算，但它们具有很高的精度，因此浪费了大量的能量来做不需要的事情。

所以才需要TPU，而且今年已经是谷歌的第三代TPU。在培训机器学习模型方面，它可以把效率提高10倍甚至更快。

摩尔定律基本上被判了死刑。