张晋阳

（四川大学计算机学院，成都 610065）

0 引言

金融市场的历史数据充满了许多噪声和不稳定性，所以金融市场预测是一种非常具有挑战性的应用[1-2]。大部分成功的方法是当市场处于牛市或熊市的时候给训练数据打上标签[3-4]。然而金融市场的表现会依赖于一些外部的因素，例如市场趋势、政治事件，等等，这些可能会造成训练机器学习分类器时造成过度拟合[5-6]。本文旨在通过强化学习的方法来减少过度拟合，以及最大化回报函数。为了实现这个目标，本文使用相同训练数据对Q-learning agent 训练多次，然后根据不同agent 生成的金融市场的交易信号来优化最终的交易决策。实验结果会和传统的买卖策略进行对比，也会对结果进行定量和定性的分析。

1 方法

本文使用强化学习中的Deep Q-learning 算法用于股票的日内交易[5]。根据每次训练迭代的结果使用混合的Deep Q-learning 策略，并且在一些特定的场景和交易周期，探索了不同的日内交易信号的组合[6]。强化学习中的智能体agent 通过不断学习来达到更好的交易表现。

1.1 交易策略

本文通过配置智能体agent 来实现一个经典的日内交易策略，即买/卖特定的股票期货，并且在每个交易日市场收盘前，期货交易必须平仓。根据本文的交易策略，智能体agent 在每个交易日中必须执行的动作如下：

（1）做多：买进股票期货，并在交易日结束前卖出所买进的股票期货；

（2）做空：卖出股票期货，并在交易日结束前买进所卖出的股票期货；

（3）观望：在交易日结束前不进行任何买进/卖出动作。……