蔡林

【摘要】    目的：介绍Jupyter Notebook在网络优化领域的应用情况。方法：集成Hadoop、Spark、Jupyter Notebook 等开源工具，搭建网络优化分析平台，基于真实案例验证其在网络优化领域应用的可行性。结果：通过搭建大数据计算环境，成功实现多数据接入、分布式运算、分布式存储、交互式应用及结果展示等功能，并基于该平台完成网络整体问题分析、问题原因定位分析、问题处理方案分析、问题处理效果分析等大数据分析任务。结论：结合网络优化的大数据分析需求，搭建便于使用的大数据分析环境，提升基于大数据的网络优化分析能力。

【关键词】    大数据    Jupyter Notebook   Hadoop    Spark    分布式计算    网络优化

引言：

随着无线通信网络的快速发展，网络优化信息化、智能化建设进入了突飞猛进的发展阶段，积累了大量的MR（测量报告）、PM（性能数据）、NRM（网络资源管理）、工参等基础数据。这些数据资源的价值还未能充分的挖掘，如何从各维度大量数据中发现可用的信息，加速网络优化信息化、智能化进程是迫在眉睫的任务。通过对网优大数据特性及网优工作协作方式与Jupyter Notebook进行结合性研究，实现有效的且适用于网优的大数据分析，以满足网络优化分析需求。

一、 jupyter与网络优化分析处理的结合

1.1 Jupyter Notebook[1] 技术与网络优化分析应用结合

Jupyter是一个可交互的记事本，支持了Python[2]、Julia、JavaScript、R等等编程语言达40 多种。它是一个开源的Web 应用程序，在其环境中可以运行代码和记录代码，可以对数据进行清洗，可以通过可视化视图查看数据结果，可以进行大数据相关的数模转换、模型构建、机器学习训练等。……