既智能又节能 | 脑启发式系统:减少碳足迹的环保AI

人工神经网络(ANN)是用于机器学习的主要工具,能够生成大量数据的ANN是机器训练的基础。

但是基于冯·诺依曼系统实现的ANN非常耗电、耗时,训练一个AI模型可以产生284吨二氧化碳,相当于五辆汽车的终身排放量。

解决上述问题最有效的方法是开发非冯·诺依曼计算范式,特别是对物理ANN中突触的模拟。由于突触的数量巨大,使用突触权值的矩阵向量乘法无论是在功率还是时间上都是昂贵的操作。

直接在内存中进行计算将使芯片外的数据传输最小化,因此最流行的方法是使用模拟内存设备作为神经元突触权重的代理。

在交叉杆阵列中,可以用一个或一对设备来表示单个突触权重,或者说,表示矩阵中的一个条目。而记忆性设备已成为完成此项任务的首选。

近期,来自伦敦大学学院(UCL)的研究人员研究开发了一种提高大脑启发式计算系统准确性的方法,该方法就是使用了记忆性设备,使得极其节能的人工智能现在已逐渐成为现实。

该项研究的论文题为”Committee machines—a universal method to deal with non-idealities in memristor-based neural networks“,目前发表在《自然通讯》(Nature Communications)。

该系统使用忆阻器(memrist)创建了人工神经网络,其能源效率比传统的基于晶体管的AI硬件至少高出1000倍。

忆阻器被描述为“具有记忆的电阻器”,即使在关闭电源后流经它们的电荷量,忆阻器都会“记得”。

由于忆阻器比现有的计算系统节能得多,因此它们会将大量计算能力打包到手持设备中,从而消除连接到互联网的需要。

因为数据需求不断增加以及数据传输能力难以超过某极限,未来极有可能出现对互联网的过度依赖,所以使用忆阻器对这一点尤其重要。

UCL的工程师发现,通过使忆阻器在神经网络的多个子组中协同工作并对计算结果取平均值,能够消除每个网络中的缺陷,大大提高系统准确性。

使用多个神经网络提高推理的准确性,来源:Nature Communications

由于以1和0的二进制代码运行,而且同时以0和1之间的多个级别运行,忆阻器不仅极大地提高了系统的效率,还可以将更多信息打包到每个位中。

此外,忆阻器通常被描述为一种神经形态,即大脑启发的计算形式。

就像人的大脑,数据的处理和存储是在相同的自适应构造块中实现的,这与在数据中浪费大量能量的计算机系统形成了鲜明的对比。

在研究中,团队成员在三种不同类型的忆阻器(Ta 22O5 、Ta / HfO2、aVCMO)上测试了这种新方法,发现不管材料如何,忆阻器都提高了所有方法的准确性,并且还解决了可能影响忆阻器准确性的干扰因素。

这项研究的负责人Mehonic博士说:“我们希望可以有更多通用的方法来改善设备而非系统的级别,我们相信我们找到了一种。”

“我们的方法表明,对于忆阻器来说,几个头要比一个头好;对于神经网络来说,几个较小的网络比一个大型网络精度更高。”

Dovydas Joksas进一步解释说:“我们从计算机科学中借用了一种流行的技术,并将其应用在忆阻器中。通过初步模拟,我们发现即使是简单的平均也可以显着提高忆阻神经网络的准确性。”

参考:

1.https://www.sciencedaily.com/releases/2020/08/200827150957.htm

2.https://www.nature.com/articles/s41467-!

评论

暂无评论