APP下载

基于大数据深度神经网络与Agent的大规模任务处理方法

2021-01-06黄婕

计算技术与自动化 2021年4期

黄婕

摘 要:因大规模任务处理模型在处理实际任务请求通常是基于历史数据的,若总依据经验和以往知识判断,会出现许多无法识别并处理的任务,以及出现模型过拟合等问题。提出了一种基于深度神经网络的计算模型进行大规模任务部署,并引用Agent强化学习效用进行评价,实现最佳虚拟网络映射方案。实验结果表明,这种BDTard方法法能满足大规模任务请求,稳定系统长期收益,保障了大数据环境下大规模任务处理的高效执行。

关键词:深度神经网络;强化学习;虚拟网络映射

中图分类号:TP319      文献标识码:A

Abstract:Since the large-scale task processing model is usually based on historical data in the processing of actual task requests, if the model is always judged based on experience and previous knowledge, there will be many tasks that cannot be recognized and processed, as well as problems such as model overfitting. A computing model based on deep neural network is proposed for large-scale task deployment, and the Agent reinforcement learning utility is evaluated to realize the optimal virtual network mapping scheme. The experimental results show that the BDTard method can meet the requirements of large-scale task, stabilize the long-term benefits of the system, and ensure the efficient execution of large-scale task processing in the big data environment.

Key words:deep neural network; reinforcement learning agent; virtual network mapping

大數据环境下的大规模任务处理是时下数据分析热门问题之一[1],而依靠历史数据进行任务识别的方法,在进行分析、处理的大规模任务部署时,会引起负载不均衡、造成资源浪费等问题。为了改进负载不均衡、资源浪费的问题,将大规模任务部署到各节点高效执行,且有一定的性能收益。且利用大数据环境下深度神经网络[2]与Agent[3]结合,能使得在大规模任务在识别、技术及处理过程中有明显改观,效率提升明显。

但由于数据的训练模型是基于历史数据的,依据经验对处理任务识别,容易出现过拟合现象,计算模型出现偏差。为了提高效率,探索最优解,利用大数据环境下的深度神经网络与Agent结合的方式,实现虚拟节点的最优映射方案,这种改进的大规模任务处理方法能有效防止模型过拟合[4],提高效率。

1 问题的提出

针对系统的长期收益,利用传统方法结合最新的人工智能方案[5],而一种基于Dropout自适应的深度学习和强化学习相结合的方法有较好的效果。……

登录APP查看全文