Auto ML Translate幕后的故事

AutoML Translate幕后的故事(来源于Google高级技术项目经理Bombassei)

简而言之,AutoML是“一种创建自定义模型的方法,而无需编写实际的代码”。例如,对于AutoML Translate,用户可以使用域内数据训练Google的通用NMT引擎,以便根据其用例进行自定义。

越接近翻译,模型的效果越好。

用户通过图形界面提供数据,不需要编码或命令行。在将数据上传到云端之后,训练需大约三个小时,具体取决于其复杂性,之后训练有素的模型便可以执行自定义翻译。 翻译实际上会使用你上传的词条、术语、字典,

AutoML适用于转移学习(transfer learning)和神经架构搜索(neural architecture search)。转移学习是一种使用机器学习模型作为培训的基础方法。

类比便是,如果你已经知道如何骑自行车,那么你骑摩托车会更加容易,因为你的大脑可以将一些已经学习的知识转移到新的东西上,同时,神经架构搜索“基本上使用了机器学习找到了最好的机器学习模型,并解决问题。

AutoML是以上两个元素的第一个商业应用。当然,第三个元素是用户提供的训练数据。

Bombassei表示,AutoML在软件和硬件方面正在处于领先地位。由于转移学习和神经架构搜索的计算要求非常高,谷歌已经提出了更适合这项任务的物理硬件芯片:TPU。

这些由Google专门设计的芯片,以最有效的方式执行此类计算。传统芯片和图形处理单元(CPU和GPU)在机器学习所需的计算方面效率非常低。在机器学习领域中,则需要高度并行,低精度的计算。

CPU和GPU非常擅长并行计算,但它们具有很高的精度,因此浪费了大量的能量来做不需要的事情。

所以才需要TPU,而且今年已经是谷歌的第三代TPU。在培训机器学习模型方面,它可以把效率提高10倍甚至更快。

摩尔定律基本上被判了死刑。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注