“
光子神经网络？一个乘法可以用不到一个光子？
起初我是不信的，也没有人做过类似的实验，但我们还是用很普通的器材做出了大家既没想到、又认为短期内无法实现的实验。”
日前，上海交大校友王天宇在Nature Communications发表了最新一作论文，并担任通讯作者。论文题为《每次乘法使用小于 1 个光子的光学神经网络》（An optical neural network using less than 1 photon per multiplication）。
图 | 王天宇（来源：王天宇）
这是一个光子神经网络的新成果，但不同于此前芯片类的光子神经网络，此次技术可直接接收图像。也不同于其他基于空间光学的光子神经网络，本次实验设计能直接接收自然光，并且无需相干光照明。
在该研究中，王天宇发现架构矩阵或向量维度可做到将近 50 万。在此情况下，要想通过理论预测的功耗极限，每个乘法运算只需要小于一个光子就能进行，这个能耗水平远远超越传统电子计算机的物理极限，可能有四五个数量及以上。
图 | 相关论文（来源：Nature Communications）
研究中，王天宇的重点在于研究光学神经网络的能量极限和抗噪性，他认为进一步工程化改造的系统，能作为智能图像传感器、深度整合图像传感器和处理器。
这些传感器可用于超低延时图像处理比如识别图像和压缩图像，所需硬件数量可被降低几个数量级，具体应用包括自动驾驶、无人机和机器人等。
让能耗优势和速度优势随网络扩大而扩大
要想详细理解此次成果，就得先来聊聊光子神经网络。
近年来，该领域获得了长足发展，一方面源于光电硬件集成的成熟，另一方面光学系统的物理特性使得它十分适合计算大矩阵乘法，而这正是许多重要计算应用比如机器学习、优化问题和量子计算的基础。
相比传统电子深度学习加速器，光学神经网络的核心优势之一在于计算大矩阵乘法的速度，但在实现真正实用化前仍需克服许多工程问题，以达到足够低的能耗和足够高的精度。
（来源：Nature Communications）
自 2017 年起，全球多个课题组都做出了贡献，包括毕业于 MIT 的沈亦晨和马林·索尔亚契奇（Marin Soljačić），后来他们创办了 Lightelligence 曦智科技。
另外还有同样毕业于 MIT 的尼古拉斯·哈里斯（Nicholas Harris）和德克·英格兰德（Dirk Englund），他们则创办了 Lightmatter。
加州大学洛杉矶分校的 Xing Lin 和艾多安·奥兹坎（Aydogan Ozcan）开创了衍射神经网络，澳洲斯威本科技大学的徐兴元和大卫·莫斯（David Moss）则首次达到了 GPU 的计算速度。
本次工作中，王天宇研究了光学神经网络走向实用化的一个重要课题：即如何实现极低的能耗极限，以及在此条件下的稳定性。
比起电信号，光信号的根本优势在于长距离通讯过程中的损耗很低，那么光学信号的传输优势如何转化为计算优势？
其实，计算的本质是对比和总结大量不同的信息。当数据量很大时，信息在芯片里传输能耗，要远远高于信息处理的能耗，此问题在神经网络应用中尤其突出。
（来源：Nature Communications）
说到这里王天宇打比方称，神经网络计算就像大家在一起开学术会议，每个人都有不同的信息碎片，不同的人聚在一起交流信息能产生不同的见解，一开始大家有各种见解，经过充分交流后，合理的观点渐渐变成主流，直至得出一个能简单概括事情全貌的结论。
在此过程中，每次信息交流并不需要很久，真正耗时的是把不同人在不同地方聚在一起开会。
正因此，当前主流 GPU 厂商和深度学习加速器厂商，都在致力于优化芯片的排线，以尽量减少数据的重复存储读写和来回倒腾，原因在于芯片电能消耗和走线长度成正比关系。
而让光作为信号载体，几乎能彻底避免该问题，因为光在短距离传输中基本是无损的，并能立马把同一信息传到成千上万个处理单元或者进行汇总，这会让能耗优势和速度优势随网络扩大而扩大。
那么，上述两大优势的极限在哪里？为探索该问题，王天宇用简单器材做了一个极为精密的实验。
（来源：Nature Communications）
达到 99% 的识别手写数字准确率
鉴于在计算机视觉应用中，神经网络的输入数据就是图像，所以他用 2D 图像编码向量对逐个像素进行调制，最后汇聚到探测器上。
要知道光学计算占总计算的比重 99.7%，而正是这个简单的装置，可以计算五十万维的向量乘法，且涵盖绝大多数神经网络中需要的计算。
实验中，王天宇用 Python 机器学习库 Pytorch 训练了一个神经网络，并下载到光学设备上运行，借此即可达到 99% 的识别手写数字准确率，这和电子计算机是一样的准确度。
训练过程中，根本无需考虑具体硬件细节，这说明光学神经网络具备很强的容错性。此外，他还发现当每个乘法用少于一个光子的时候，该网络仍能工作。
而且，光子数量越低，光信号噪声就越大，这意味着光子神经网络具备很强的抗噪声能力，而这正是神经网络作为计算模型的一个特点。
另一处让人惊讶的是，光子神经网络识别一个图像需要进行 9 万次乘法和 9 万次加法计算，但是总共所需的光能只相当于电子计算机一次乘法的能量。
虽然除了光能以外的总体能耗，在现阶段依旧不如纯电子处理器低，但是随着硬件的改进，有望将光学处理器总能耗，降低到比电子处理器低一个、甚至几个数量级。
事实上对于这一项目，王天宇一开始只是想弄明白光学处理器的根本优势。期间，他注意到 2019 年的一篇理论论文，里面论述了光子神经网络的物理能耗极限可大大低于电子计算，尤其是每次乘法的能耗甚至低于一个光子的能量 [2]。
他表示：“这个结论让人觉得不可思议，但是再仔细一看，我发现要做到这个能耗，需要用上千维的向量去乘矩阵，而现在大多数光子神经网络做指定计算时，一次只能处理几十维的向量，有些光子神经网络可以处理甚至百万维度的向量，但是这些向量不能人为任意指定，或者需要针对系统进行训练，这时就不能直接使用标准机器学习库（比如 Pytorch）训练的模型。”
至于一个乘法小于一个光子是怎么回事？其实光子当然不可分割，这个是一个平均值的概念，因为有些乘法的乘数是零，所以平均值就能小于 1，这说明能耗可被降低到逼近物理极限的程度，甚至还可以继续降低。
（来源：Nature Communications）
此外他还发现，光子神经网络本质上有很强的抗噪声能力，当减少光子神经网络运算功耗的同时，比如在每个乘法运算小于一个光子时，它的噪声非常大，但依旧可以稳定工作。
这一发现给实际应用提供了很好的启发：
即尽管因为硬件问题或环境噪声较多，但依旧能通过系统优化保持高性能信息处理能力。
这篇论文也给了王天宇更多信心，改变了他之前认为光子计算的新潮概念离落地比较远的想法。通过实验，他发现该技术具备一定可靠性，有潜力在短期内进行工程实践，并且实现产业化。下一阶段光子神经网络领域的趋势是集成化：运算能耗虽然能降到很低，但是运算芯片要做很大，这时尺寸缩小必须经过集成化，这依旧需要很多工程创新。
或将创业以推广面向图像领域的智能传感器
谈及曦智科技创始人沈亦辰的成果，王天宇表示沈博士的论文是该领域开山之作，他的工作让大家第一次认识到光子可用于神经网络计算，并且沈亦辰团队基于该技术做了一个原型机，还创办了公司将技术进行集成化和产业化，以专注于光子芯的研发。
“而我所研究的成果当然也在该领域之内，同时对他们技术研发和产品也很有帮助。在光子芯片的实用化上，人们关心的是到底能把芯片计算的能耗降低到多少，并且在低功耗情况下光子神经网络是否还能稳定工作？”王天宇说道。
因为光子神经网络最大卖点在于，它比传统电电子处理器速度快、并且能耗低。但如果光子芯片处理数据能达到一定速度和能耗，需要非常庞大的神经网络。
因此要想研发相关产品，集成化程度必须非常高。王天宇的研究目的，是想获悉理论上光子芯片的矩阵列到底可以做多大？以及低功耗极限能做到多低？
目前，曦智科技和其他公司，主要聚焦于光学 GPU，即通过光子芯片完成传统 GPU 器件的功能。但是王天宇做的研究有一定的区别，其发现在很多应用场景下，神经网络需要处理的对象就是图像，比如自动驾驶技术需要大量摄像头去识别图像，这些图像正是以光信号输入的。
所以，他要做的不只是一个处理器，更多是一个智能传感器，它能将传感器和处理器两个功能合二为一，这里可以理解为传感器里面有处理器，其好处在于整合了硬件，在降低整体能耗的同时，还能大大降低处理过程的延时。
（来源：Nature Communications）
具体来说，自动驾驶、机器人、无人机等需要很快的反应速度的。例如，特斯拉曾报告该公司的计算机视觉硬件架构的延时极限在 150 毫秒左右，这个延时大小对于开车来说足矣。但在无人机场景，如此大的延时会极大影响无人机姿态调整的判断。而如果能把传感器和处理器进一步整合，即可减少光电转换和数模转化带来的延时。
“就光子神经网络来说，除了曦智科技的芯片集成化道路之外，还有另外一条道路——利用空间光和波长做光子神经网络，但是这个技术仍然和图像处理有关。不过，我们做的和过往技术路线并不一样。此前可能需要激光去照射物体，然后得到反射进行图像处理，而我们采用的是物体自身发出的光进行处理，不需要主动探测扫描，这和相机有一点相似。”他表示。
未来，王天宇打算结合传感器和光学处理器整合的器件，通过光学神经网络处理器和传感器做出可实时分析图像的智能器件，此外他还将研究架构在极低能耗下的表现。从另一角度看，这个智能传感器可以用神经网络进行实时图像处理，而光学模块就是神经网络模型中不可分割的一部份，不但能直接利用环境中的光源，而且承担了重要计算任务。
此外，关于创业的想法，他表示：“如果有可能创办实体企业的话，我觉得这项工作与曦智科技最大的不同是，曦智科技重点是做运算芯片，而我的工作重点
是面向图像领域的智能传感器，并能针对不同的应用场景进行图像处理。
事实上，光学处理这个领域很大，有很多的机会等待发掘。”
-End-
支持：张智
参考：
2、R. Hamerly, et al.Physical Review X9.2 (2019): 021032.