APP下载

WEB服务器日志分析与可视化研究

2016-10-18邹卫峰

电脑知识与技术 2016年21期
关键词:可视化

邹卫峰

"

"

"

摘要:健全的日志记录和分析是系统正常运行与优化以及安全事故响应的基础。日志数据庞大且往往以文本形式存在,不容易阅读和提取关键信息,因此必须对日志数据进行适当的分析,挖掘其中隐藏的有价值信息,还可以进行可视化表达,使信息一目了然。该文以常见WEB服务器日志为对象,研究了日志分析以及可视化的原理与过程。

关键词:WEB服务器;日志分析;可视化

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)21-0096-02

随着互联网的不断发展,几乎所有的企事业单位都有自己的网站,而B/S架构逐渐取代传统C/S架构又进一步促进了网站应用的增长,web管理问题日趋重要。管理一个网站不仅要保证内容的丰富度、程序的可靠性,还要不断提高用户的访问质量、保证网站的安全,而这后两项就依赖于WEB日志信息。

WEB日志记录了服务器接收并处理请求以及运行时错误等各种原始信息。通过对日志进行统计、分析和综合,就能有效地掌握服务器的运行状况、发现和排除错误原因、了解客户访问分布、发现安全漏洞等,更好地加强系统的维护和管理[1]。

1 WEB日志

1.1 定义

WEB日志消息就是WEB服务器在浏览器客户端访问WEB页面请求资源(页面、图片、文件等等)时所记录的一定格式的信息。

1.2 原理

WEB服务器是如何记录日志的,记录什么日志,首先要了解万维网(WWW)工作模式。万维网采用客户机/服务器模式,使用HTTP协议,具体工作流程如下:

1) 建立连接:客户端的浏览器向服务端发出建立连接的请求,服务端给出响应就可以建立连接了。

2) 发送请求:客户端按照协议的要求通过连接向服务端发送自己的请求。

3) 给出应答:服务端按照客户端的要求给出应答,把结果(HTML文件)返回给客户端。

4) 关闭连接:客户端接到应答后关闭连接。服务器端将相应的访问信息和错误信息写到日志文件。

1.3 格式

WEB服务器日志大多以具有一定格式的文本形式存放。本文以APACHE服务器日志为例。

Apache WEB服务的日志主要有CommonLog和ErrorLog两种,分别记录访问日志和错误日志,其格式和含义如表1、表2所示:

2 WEB日志分析

分析日志必须知道日志的核心要素和分析策略。如表3、表4所示。根据日志要素和可用的策略可以得到日志分析的相关算法和程序[2-3]。

3 WEB日志可视化

可视化是这样一个过程,它将数据信息和知识转化为一种视觉形式,充分利用人们对可视模式快速识别的自然能力[4]。WEB日志是一种信息,日志分析结果是一种知识,为了更直观的理解它,可以利用可视化工具对其进行可视化展现。

3.1 信息可视化参考模型[5]

在图1的信息可视化参考模型中:

1) “原始数据”经过“数据转换”映射为“数据表”(数据的相关性描述);

2) 数据表经过“可视化映射”转换为“可视化结构”;

3) 可视化结构经过“视图变换”成为“视图”;

4) “用户的交互动作”用来控制这些变换的参数;

5) 可视化和它们的控制最终服务于“任务”。

3.2 WEB日志可视化探讨

WEB日志可视化本质上是一种信息可视化,可以利用信息可视化的各种工具。原始数据是日志文件,其中包含了时间信息(访问日期)、空间信息(访问地址)、类型信息(访问页面分类、错误分类、来源分类等),按照日志要素,采用一定的策略,经过分析后可以转换为数据表,使用饼图、折线图、树图等对时间信息进行可视化转换,使用树图、地图、热力图等对空间信息进行可视化转换,最终得到各种视图。用户通过位置探查,即利用一个时间或空间位置动态地查看附加的数据信息,也可以采用移动、放大、缩小、裁剪等视点控制的交互动作来服务于他的任务。

目前的信息可视化软件从入门级的(如EXCEL)到在线的(如FLOT、D3、Visual.ly),还有地图工具(如Modest Maps、Leaflet),以及科学计算所用的专家级软件(如R、Mathematica)均可以用来作为WEB日志可视化的工具。

4 结束语

WEB日志分布广、数据量大,天然地包含时空信息,对其进行分析与可视化,发掘其可用价值是必要的。本文研究了WEB日志生成的原理和格式,给出了对日志进行分析的相关策略,讨论了日志可视化的理论、方法和软件。

参考文献:

[1] Chuvakin A A,Schmidt K J, Philips C.日志管理与分析权威指南[M]. 姚军, 简于涵, 刘晖, 等,译. 北京: 机械工业出版社, 2014.

[2] 田昌鹏. 基于Web 日志分析的Web QoS 研究[J]. 计算机科学, 2007, 34(6): 78-79.

[3] 赵阳. 基于AWStats 的Web 服务日志分析[J]. 现代情报, 2006(10): 139-140.

[4] Gershon N D, Eick S G. Information Visualization[J]. IEEE Computer Graphics and Applications,1997(7-8): 29-31.

[5] Stuart Card, Jock Mackinlay, Ben Shneiderman. Readings in Information Visualization: Using Vision to Think[M]. Morgan Kaufmann, 1999.

摘要:随着科学技术与人类社会发展的日新月异,铁路行业在整个社会中所扮演的角色也愈发重要。接入网技术作为铁路通信工程的技术支撑手段,也成为铁路行业运营过程中举足轻重的内容之一。据此,该文便从铁路通信的现状入手,并就接入网技术的具体应用以及发展趋势作出分析,以期为各位读者朋友提供参考。

关键词: 铁路;通信工程;接入网技术;应用

中图分类号:TP3 文献标识码:A 文章编号:1009-3044(2016)21-0059-02

接入网技术不仅是铁路信息工程发展的保障,同时也是实现铁路运行安全化、高效化、信息化的题中之义。其技术内涵主要是由计算机技术、数字技术、光电子技术以及微电子技术等先进技术共同构成。接入网技术有着丰富的内容架构,因此,本文对于铁路通信工程中接入网技术的应用所展开的分析,则具有了十分重要的现实意义。

1 铁路通信工程中接入网技术的含义及应用现状

1.1 铁路通信工程中接入网技术的含义

伴随着人们生活水平的提高与物质世界的极大丰富,原有的铁路通信方式已经不能完全适应当下人们的现代化通信需求。要完善接入网技术的建设水平,便要加强对于先进接入方法的探索。

铁路通信工程中的接入网技术,主要包括了有线接入与无线接入两大常见方式。其中,有线接入主要包括了四个方面的内容:第一,不对称的数字用户环路技术,此种技术能够向客户提供低语音和多路数字图像的信号,并且能够在无需改动双绞线的情形下也可以获取到高速、优质的传输效率。第二,光钎用户的环路技术,这种技术也是当前铁路运营中,通信工程所使用的最为常见的方法,其连接的方式也较为多样,利用客户与光钎之间延伸的距离作为依据,实现光钎到接入目标之间的连接。第三,混合光钎中有关同轴电缆的接入技术,这种技术方式在于通过光钎连接,使用户的设备与光节点之间形成一个支持多项通信业务且投资量较少的业务网络,以此实现接入目的。第四,高速率的数字用户环路技术,此种技术主要是通过先进的回波抵消,在双绞线上完成全双工的传输,这种特定的调制方式和编码的使用办法,对于信息传输的质量、效率的提升也起到了显著作用。

而无线接入指的是一种无需通过线路则可进行的网络通信传输的方式。具体的操作就是在接入网中,以无线传输设备为媒介,并以此向每位用户提供专业的通信及其他相关业务。无线的接入方式又可细分为移动接入和固定接入两大类别。但这两种接入方法在内部构成上也极为相近,主要都由控制装置、基站、用户的终端设备等内容组成。无线接入同有线接入相比较来说,其操作方法更为灵活、应用的范围也更加广泛,具有广阔的发展前景。

1.2 接入网技术在我国的运用现状

接入网技术的运用不仅在铁路通信工程中承担极为重要的环节,决定铁路行业的工程效益,同时对于未来的铁路交通发展方向也产生着深刻的影响。由于在铁路上运行的列车会在较长时间段里处于高速运动状态,因此,铁路上的通信接入网则为铁路通信工程的建立和完善提供了更为便利、完善的途径。我国目前的铁路传输网分为了长途的干线网、区段接入网和居间中继网3层。并且已经基本建成了可以对全国大中型城市的互联网覆盖。

但在现阶段的接入技术实践过程中,也时常面临一些问题,简要概括起来,包括了以下几个方面:第一,设计方面仍有较大缺陷。设计问题是具有先决性与中心性的难题,技术人员在预先设计的过程中也会因为缺少可靠的、全面的技术材料,而使其所获得的效果不尽如人意。第二,在技术性能等方面还存在不足之处。在完成标准的设计阶段后,技术人员需要将各项规划落到实处,通过收集资料、安装配件等步骤中完成操作流程,而在此过程中若出现的错漏,则会导致通信效果受到不利的影响。第三,在模式方法的使用上也面临一些困难。在通信工程的适用过程中,使用方法的不合理,不仅直接导致了成本的增加与经济效益的降低,同时也会使得通信工程在运行技术方面不能得到实现。

2 铁路通信工程中接入网技术的运用

2.1 铁路通信工程中接入网技术的具体运用

铁路通信系统中接入网技术的应用分析,可以简单分为两个部分:第一,在技术推广的过程中,应当严格遵照“大容量”的原则进行实践。要想最大限度地将接入网技术的优势在铁路通信工程中发挥出来,便需要严格按照上述的原则进行建设。在施工过程中适当减少交换点、延长交换机的发布命令范围,与此同时尽量减少交换网分级,对网络的架构也进行逐步优化,以达到节约成本和提高交换网实用性、安全性的目的。除此之外,自动交换机与所有的接口设备也应当采取同一批号的产品,这样既利于交换机的升级方式更加快捷,也保证了设备功能的齐全。

第二,将有线电视的传输也列入接入网的系统之中。铁路的运行因其站线过长、所经地理位置条件偏僻以及信号微弱等原因,容易使得列车上需要利用网络信号与计算机、媒体设备等开展的休闲娱乐活动也无法照常进行。要解决这一难题,便可将有线电视的传输纳入到接入网系统之中,例如,利用各个分局将节目源一CATV模块的形式发送出去,并且在信号源传送的过程中,运用单一的光钎,使铁路沿线的每个站点都可以经由分路器设备,接收到稳定的信号节目。值得注意的是,列车站点里光分路器应当布设在OUN之中,这样既便于技术人员统一的开展维护工作,同时此种方式与建设CATV比较而言,又降低了工程量与投资成本,同样实现了列车上信号源接受的目的。

2.2 铁路接入网技术的系统应用方法

接入网技术在我国铁路部门的运用,主要体现在为广大用户提供数据、传真、话音、图像、调度等综合业务的接入上。在初期的建设中,主要是指铁路系统中的通信电话、调度电话、站间电话与专用电话等专用数据管理、处理系统以及铁路客票的预定系统与联网售票系统以及有关铁路调度方面的信息管理系统。后来,铁路接入网技术在铁路通信工程的运用,能够为铁路的远程监控系统与各个单位的信息管理系统所提供的ISDN、64K数据以及自动电话与音频等相关业务,包括了具体的数字调度、TDCS、PMIS、TMIS、远程中继、资金结算、3G网络、ZDL、PCM、图像传输、会议电视等数据业务,以及无线列调、电化运动、信号微机监测、光钎监测、气压监测、环境监测、抢险直通、普报、确报、人工话路、微机联网、寻呼、数传与会议等业务。

猜你喜欢

可视化
无锡市“三项举措”探索执法可视化新路径
基于CiteSpace的足三里穴研究可视化分析
自然资源可视化决策系统
三维可视化信息管理系统在选煤生产中的应用
基于Power BI的油田注水运行动态分析与可视化展示
自然资源可视化决策系统
基于CGAL和OpenGL的海底地形三维可视化
可视化阅读:新媒体语境下信息可视化新趋势
“融评”:党媒评论的可视化创新
重大主题报道的可视化探索——以浙江日报的实践为例