近日，格拉茨技术大学（TU Graz）的计算机科学家在Nature Machine Intelligence期刊上发表论文表明，他们通过在类脑神经形态芯片上模拟人脑的长-短期记忆单元功能，可大幅提高运行大型深度学习神经网络的能源效率，最高达到其他AI系统的16倍。
　　近年来，人工智能（AI）得到了突飞猛进的发展，广泛应用于机器视觉、推荐算法、自动驾驶、生物医疗、自然语言处理、智能助手等等生活的方方面面，这样的成就离不开其背后的核心，也即人工神经网络（ANN）和深度学习（DL）技术的突破。人工神经网络非常擅长处理大量数据，能够自主识别和推断对象以及不同对象之间的关系，但其同样极其惊人的能耗一直是阻碍这一领域发展的主要障碍，设备、能源成本高昂不仅导致高度中心化，还会带来大量的碳排放，对环境非常不友好。
　　而在这次突破性研究中，格拉茨技术大学理论计算机科学研究所与英特尔神经形态计算实验室的科学家们通过实验，展示了在运行大型深度神经网络处理自然语言句子等序列时，使用他们的神经形态技术硬件所消耗的能量只有非神经形态硬件的1/4甚至是1/16。这一惊人的突破可能会以无法估量的方式推动人工智能的发展。
　　那么，格拉茨技术大学和英特尔的合作项目为什么能做到如此节能呢？这和他们模拟人脑的做法有关。人类大脑的能效极高，其中的数千亿个神经元在处理信息时只消耗大约20瓦的能量，差不多仅仅相当于一个普通的节能灯泡的能耗。
　　研究人员发现，这种惊人的低能耗与人脑的一种短期记忆机制相关，“实验表明在没有神经活动的情况下，人脑仍然能够在短时间内存储信息，存储位置在神经元所谓的‘内变量’上，”格拉茨技术大学教授、论文通讯作者沃夫冈·玛斯（Wolfgang Maass）解释道，“模拟实验表明一种神经元子集的疲劳机制是实现这种短期记忆的关键所在。”
　　目前这项研究缺乏直接证据，因为这些“内变量”暂时无法被测量，不过这已经意味着大脑神经网络只需要通过检测哪些神经元处于疲劳状态就可以重建它们之前处理的信息。换句话说，先前的信息（也即短期记忆）被存储在神经元的不活动状态中，而神经元不活动就意味着消耗的能量最少。
　　于是，研究人员试图复刻这种大脑机制以取代当前传统计算机芯片上高耗能的逐个检索、来回访问存储的方式，采用英特尔的神经形态Loihi芯片组成矩阵，开发出一种超极化后电位（AHP）电流机制，并使用了两种深度学习网络进行测试。其中，反馈神经网络负责“短期记忆”，使用大量循环模块去寻找输入信号中可能相关的信息；而前馈神经网络则负责判断找到的这些关系当中哪一些是真正与当前任务有关的，并将无意义的关系筛掉。只有处理相关关系的“神经元”模块会被触发，其他的则一概处于静止状态，从而实现能耗的大大降低。
　　在测试中，研究人员在32张Loihi芯片的网络上运行他们的算法，并将一个由20个句子组成的故事给到了该神经网络，测试它对故事含义以及其中人、事、物关系的理解。结果表明，这一装置的能效大幅超过了传统计算机，“我们这个系统的能源效率达到了在传统硬件上运行其他AI模型的4到16倍。”格拉茨技术大学玛斯教授的博士生、论文作者之一菲利普·普兰克（Philipp Plank）说道。未来用上英特尔下一代的Loihi芯片之后，芯片间通信的效率将得到大幅提升，所以他还预计，该系统的能效将进一步提高。
　　英特尔神经形态计算实验室的负责人麦克·戴维斯表示：“英特尔与格拉茨技术大学的合作进一步证明了神经形态技术能够通过从生物学的角度重新思考并颠覆深度学习技术，大幅提高其目前的能源效率。”（逸文）