softmax变区段非线性双拟合方法及其FPGA实现
2021-06-07肖望勇张驾祥徐界铭谭会生
湖南城市学院学报(自然科学版) 2021年3期
关键词:方法
肖望勇,张驾祥,徐界铭,谭会生
(湖南工业大学 交通工程学院,湖南 株洲 412007)
人工神经网络作为人工智能的关键技术,已经成为世界各国争相发展的战略技术之一,也是新一轮科技和产业变革的重要驱动力量.FPGA因为具有可重构、低功耗、易控制、高性能等优势[1-2],所以非常适合被用于实现神经网络.近年来,其在深度学习领域的应用也越来越多,许多大型公司(如百度、微软、IBM等)都有专门的FPGA研发团队.在人工神经网络的实现过程中,需要对大量的非线性激活函数进行计算,因此在该领域内研究FPGA如何高速地处理非线性激活函数具有十分重要的意义.在机器学习领域,尤其是深度卷积神经网络学习中,softmax是一个常用并且非常重要的函数,它以概率形式来显示多种分类结果,在多分类应用场景被广泛使用.
FPGA因其可重构技术的灵活性,如今已成为解决复杂函数高速计算问题的强大工具.目前用FPGA计算复杂函数的常用方法有CORDIC算法[3]、查找表法[4]、泰勒级数展开法[5]、多项式拟合法[6]等.其中,CORDIC算法是一种通过多次迭代将复杂运算转换为仅需移位和加法运算的算法,其资源需求较少.但是,随着精度要求的提高,迭代次数增加,其运行速度就会降低.查找表法是将不同输入值对应的计算结果事先保存在ROM中,使用时直接从内存中提取结果,省去了复杂的运算,运算速度快并且容易实现,但随着精度要求的提高,查找表法也需耗费大量的存储资源.泰勒级……
登录APP查看全文