首页 > 要闻 > > 正文
2019-11-07 15:47:16

研究人员提出了衡量和鼓励节能人工智能的方法

导读 传统的AI开发管道需要处理能力 - 而且需要大量的处理能力。据估计,人工智能研究的计算基线每隔几个月翻一番,从2012年到2018年增加了300

传统的AI开发管道需要处理能力 - 而且需要大量的处理能力。据估计,人工智能研究的计算基线每隔几个月翻一番,从2012年到2018年增加了300,000倍。虽然这有助于突破,如高度灵巧的机器人和熟练的扑克游戏算法,但环境成本却是巨大的。最近的一项研究发现,单一模型在训练期间产生的二氧化碳足迹为284吨,相当于普通汽车一生排放量的五倍。

这就是艾伦艾伦研究所,卡内基梅隆大学和华盛顿大学的科学家们主张加强绿色人工智能研究或人工智能环保和“包容性”研究的原因。他们建议将效率作为人工智能学术论文的一个更常见的评估标准。除了准确性和相关措施外,他们还要求建立一个其他研究人员可以改进的基线。

“绿色AI这一术语指的是人工智能研究,它可以在不增加计算成本的情况下产生新颖的结果,并且理想地减少它,”共同作者写道。“论文可能需要将准确度作为计算成本和训练集大小的函数来绘制,为未来更具数据效率的研究提供基线。”

研究人员注意到尖端AI模型越来越复杂,从谷歌的BERT-large开始,用于自然语言处理。BERT-large在一个包含64个张量处理单元(定制的AI加速器芯片)的三十亿字的数据集上训练了四天。OpenAI的性能最佳的文本生成模型GPT-2-XL吸收了400亿字。至于像DeepMind的AlphaGo这样的专业型号,他们更依赖强大的PC进行培训和推理:AlphaGo需要1,920个CPU和280个GPU才能玩一个Go游戏,每小时花费超过1,000美元。

该论文的共同作者表示,记录在AI中生成结果所需的工作 - 处理单个样本,编译训练数据集和执行实验所花费的时间总和 - 可以通过经验来衡量效率。它们将浮点运算(FPO)作为潜在度量标准,它可以估算计算过程执行的开销量。FPO是不完美的,因为它忽略了模型的内存消耗和实现等因素,但它直接计算运行机器在执行特定模型实例时所做的工作量,因此对应于消耗的能量。作为额外的奖励,它与运行模型的硬件无关,它与模型的运行时间密切相关,

研究人员承认,单靠FPO不足以促进真正绿色AI的发展。这就是为什么他们鼓励研究人员报告在模型培训期间观察到的预算/准确度曲线,他们说这将使开发人员能够对他们的模型选择做出更明智的决策,并突出不同方法的稳定性。此外,他们主张将效率作为主要人工智能会议的官方贡献,并支持公开发布预训练模型,以便为其他人节省再培训费用。

“在开发新模型时,大部分研究过程都涉及在训练集上训练许多模型变体并在小型开发集上进行推理。在这样的环境中,更有效的培训程序可以带来更多的节省,而在生产环境中,更有效的推理可能更重要,“研究人员写道。“我们提倡全面的计算节约观点,在某些方面不会牺牲其他方面的进步......重申我们认为绿色人工智能是一种有价值的选择,而不是排他性的任务......我们希望增加绿色的流行人工智能通过突出其益处[和]提倡标准的效率衡量标准。“