严翀宇 王男男 沈一帆

集装箱船舶配载是集装箱码头生产作业的重要环节之一，其直接影响码头整体装卸作业效率。目前，我国集装箱码头主要采用传统在线搜索算法解决集装箱船舶配载问题，但此类方法在求解大规模算例时效率较低。为此，本文采用增强学习算法，将大量耗时计算前置到线下训练阶段，实际配载时则利用训练好的网络直接求解，从而提高求解效率。具体思路如下：首先，分析集装箱船舶配载问题的关键决策因素，并从中提炼相关的配载特征向量；然后，根据集装箱船舶配载问题的特点和约束条件，设计相应的状态、动作和回报函数，以计算每组集装箱-船箱位配对的Q值，并以配载特征向量作为网络输入，以每组集装箱-船箱位配对的Q值作为网络输出，以均方误差作为评估函数，构建增强学习网络，并结合Q学习算法实现集装箱船舶配载问题的增强学习算法；最后，分析该算法与传统智能优化算法的区别，说明增强学习算法能够高效求解集装箱船舶配载问题。

1 研究现状

目前，我国集装箱码头主要依靠人工加计算机辅助的方式制订集装箱船舶配载计划，而人工配载的一大弊端是配载结果容易受到配载员个人经验和状态的影响；因此，如何将配载员的个人经验与计算机算法相结合，快速、有效地制订合理的配载计划有重要的研究意义。国内外学者对集装箱船舶配载问题的研究主要集中在配载模型和配载算法方面。……