本文主要使用强化学习对三支股票进行资产组合，并与传统的投资组合理论进行比较。实验结果表明，基于强化学习的方法，可以对资产进行有效的配置，在特定的情况下优于传统的投资组合理论。

1.背景

强化学习是人工智能中最有趣的分支之一，在众多的问题中已经显示出其力量，震惊世界，包括击败世界象棋冠军，围棋冠军，甚至在游戏 DotA 2中胜出 [1]。使用强化学习进行股票交易，一直被数据科学家认为是一个“圣杯”。

使用机器学习进行股票交易有多种方式。一种方法是使用预测模型对股价的波动进行建模，然后使用基于启发式的机器人根據预测值进行操作。另外一种方法是建造一个机器人，这个机器人可以直接根据股票的波动进行操作，包括买、卖、不操作。这是一种十分适合强化学习的环境，因为我们只有当交易结束的时候才知道我们操作的累积结果。

2.问题描述

我们可以将问题描述为：给定三支不同的股票的历史数据，我们应该如何将固定总量的资金分配到这些股票上，使得最终收益最大。随着时间的改变，策略需要根据最新的信息重新构建投资组合，做出最优的分配。

我们的解决方案就是构造出一个强化学习模型，然后智能体在每一个时刻根据每个股票的指标值进行资金分配。我们将基于强化学习的策略与马科维茨 （Markowitz） 的有效边界理论作对比——对于大部分的基金经理都是使用马科维茨的理论以及各种直觉做出资产配置的 [2]。……