刘金国 许开来

1) (哈佛大学物理系, 坎布里奇 02138)

2) (斯坦福大学, 斯坦福 94305)

自动微分是利用计算机自动化求导的技术, 最近几十年因为它在机器学习研究中的应用而被很多人了解. 如今越来越多的科学工作者意识到, 高效、自动化的求导可以为很多科学问题的求解提供新的思路, 其中自动微分在物理模拟中的应用尤为重要, 而且具有挑战性. 物理系统的可微分模拟可以帮助解决混沌理论、电磁学、地震学、海洋学等领域中的很多重要问题, 但又因为其对计算时间和空间的苛刻要求而对自动微分技术本身提出了挑战. 本文回顾了将自动微分技术运用到物理模拟中的几种方法, 并横向对比它们在计算时间、空间和精度方面的优势和劣势. 这些自动微分技术包括伴随状态法, 前向自动微分, 后向自动微分, 以及可逆计算自动微分.

1 引 言

自动微分[1]是指自动获取一段计算机程序导数的技术, 很多人对它的了解源自它在机器学习中的成功应用, 人们可以用它优化包含数千亿参数的神经元网络[2]. 与很多人印象不同的是, 自动微分其实是个很古老的技术. Nolan[3]早在他1953年的博士论文中就提出过计算机自动化求导的构想, 后来针对这一构想又出现了两种不同的实践, 分别是1964年由 Wengert[4]实现的前向自动微分和1970年 Linnainmaa[5]实现的后向自动微分. 而最近十几年, 由于后向自动微分在机器学习中的广泛应用, 相关技术越来越成熟并在科学计算中也得到……