热力学AI和涨落界面
通过学习物理系统中热力学量的Boltzmann机器, 通过自发的学习机器,我们训练了Boltzmann机器, 并通过其生成的自旋状态检验热力学可观测量与直接MC采样的差距,证明了Boltzmann机器能够忠实地再现物理系统的可观测量,并观察到随着系统接近临界状态需要更多的神经元以获得准确的结果。
Jun, 2016
本文探讨了使用长时程持续 Chain Monte Carlo 模拟 Langevin 动力学是否能提高能量模型(EBM)所达到的表示质量。通过对训练好的 EBM 执行扩散过程的 Monte Carlo 模拟,并使用改进的对抗鲁棒性和独立分类器网络的校准分数方案,结果表明增加持续对比散度中的 Gibbs 抽样计算预算可以提高模型的校准和对抗鲁棒性,在实现从连续能量势中高效采样的新量子和经典硬件和软件方面具有实用价值。
May, 2023
本研究探索了神经网络训练算法与自然过程如蛋白质折叠和进化之间的相似性,使用统计物理中Fokker-Planck方法将它们在一个统一的框架下探索,研究了在长时间极限下系统的稳态和出现的熵产生率,验证了涉及到这些数值的图谱存在扰动定理,提出了一种新的随机梯度Langevin动力学(SGLD)算法,可以应用于贝叶斯机器学习中从后验分布中获取网络权重。
Jun, 2023
我们通过建立与热力学变量的联系,将生成式机器学习问题形式化为参数概率模型(PPM)的时间演化,研究了模型参数(θ)和生成样本(X)之间的热力学交换。我们发现模型通过样本生成过程中的热量耗散来学习,导致模型参数熵增加,进而作为热库保存学到的信息。此方法提供了一个计算神经网络内信息论量的明确框架,并引入了两个信息论度量指标:记忆化信息(M-info)和学习化信息(L-info),用于追踪PPM学习过程中的信息动态流动。
Oct, 2023
近期人工智能算法的突破强调了真正释放人工智能潜力所需的新型计算硬件的需求。本文介绍了第一个连续变量热力学计算机,称为随机处理单元(SPU),它由RLC电路组成,在一个印刷电路板上,有8个单元,通过开关电容进行全对全耦合。我们展示了SPU在高斯采样、矩阵求逆等方面的应用,以及在神经网络分类的不确定性量化中的适用性,我们预计当该硬件规模扩大时,将对加速各种概率性人工智能应用产生重大影响。
Dec, 2023
开发了一种热力学理论用于机器学习系统,与物理热力学系统相似的是,机器学习系统也具有能量和熵的特征。我们引入了温度的概念,并建立了一个基本的热力学框架来处理具有非Boltzmann分布的机器学习系统。我们将机器学习系统看作具有不同状态的系统,并将模型训练和更新解释为状态相变的过程。我们将机器学习系统的初始潜在能量描述为模型的损失函数,并遵循最小潜在能量原则。我们推导了系统在相变过程中的温度,突出温度作为系统数据分布和机器学习训练复杂性的重要指标。此外,我们将深度神经网络视为具有全局温度和每层局部温度的复杂热能引擎,并介绍了神经网络的工作效率概念,主要取决于神经激活函数。然后,我们根据工作效率对神经网络进行分类,并将神经网络描述为两种类型的热能引擎。
Apr, 2024
研究智能系统以经济合理性解释其行为,其中包括涉及函数或效用的优化原则,最近这一理论已将约束纳入进来,即在满足某些信息处理约束的同时最大化效用。研究智能系统已从热力学工具中受益,本篇论文的目标是澄清这些结果在研究智能系统中的适用性,并改善对排序结构的分类和对能够允许这样的框架的要求的理解。
Jun, 2024
人工智能系统如无人机、机器人和自动驾驶汽车等自主系统,可能会消耗船载总电力的50%,从而限制车辆的功能范围,大大缩小了车辆单次充电可行驶的距离。下一代船载人工智能系统需要更多的电力,因为它们需要实时收集和处理更大量的数据。本综述文章讨论了开发类似生物大脑操作的船载神经形态计算机的前景,这些计算机利用自主车辆周围的非线性动力学特性。先前的研究也证明,量子神经形态处理器(QNP)可以在消耗少于1%的船载电池功率的情况下进行计算,其效率与标准计算机相当。由于QNP是半经典技术,其技术简单且成本低,比量子计算机适用于自主人工智能系统的应用。本文提供了对非传统物理储备计算的未来发展的展望,并概述了200多个跨学科研究的成果,对物理学、工程学、量子技术和计算领域的学生和专家具有广泛的吸引力。
Jun, 2024