曹渝昆,桂丽嫒

(上海电力大学 计算机科学与技术学院,上海 200090)

0 概述

在深度学习领域,研究人员通常将循环神经网络(Recurrent Neural Network,RNN)视为序列建模的默认配置[1-2],但其普遍存在梯度消失或梯度爆炸且不能实现并行化等问题,而可实现并行化处理的卷积神经网络(Convolutional Neural Network,CNN)具有不同于序列时间方向的反向传播路径及稳定的梯度,因此其从20世纪80年代开始就被广泛应用于语音识别[3]、自然语言处理(Natural Language Processing,NLP)[4]、句子与文本分类[5-7]及音频与图像生成[8-9]等任务中。

卡内基梅隆大学的BAI等人于2018年提出一种时间卷积网络(Temporal Convolutional Network,TCN)[10],其在序列数据处理任务上相比经典循环神经网络具有更大的性能优势。虽然TCN提供了高效跨时间而非本地调用的方法,且无须完全按照顺序处理,加快了训练速度,但是其仍存在计算量大和参数冗余的问题,导致其难以应用于算力和存储空间受限的手机、平板电脑、笔记本电脑等终端设备。为此,本文基于深度可分离卷积,提出一种轻量级时间卷积网络(Lightweight TCN,L-TCN)结构。

1 L-TCN网络

1.1 网络结构

L-TCN网络结构主要受TCN网络结构的启发。TCN是基于卷积神经网络核心结构的一个简单架构,其在不同任务和数据集上的性能均优于经典递归神经网络,如长短期循环记忆(Long Short-Term Memory,LSTM)网络,同时具有更大的内存空间[10]。为简化TCN的规模,本文将深度可分离卷积应用于TCN中,提出L-TCN结构。L-TCN的主要特点是:1)使用因果卷积[7],确保了不发生信息泄露问题;2)使用深度可分离卷积[11],减少了卷积运算中的参数量,提高了计算效率[12];3)使用深度网络(残差层搭建)和空洞卷积[7]保存有效历史时间序列数据,从而利用历史值进行时间序列预测。……