一种Selenium数据自动获取技术的研究应用
2021-06-25郑海鹏
郑海鹏
(淮南联合大学信息工程学院 安徽淮南 232001)
目前,数据获取的渠道主要有三种:自有、爬取或购买。其中数据爬取方式属于数据自动获取的范畴,可以通过Python编写Web站点数据获取自动化测试用例加以实现,并可将获取到的实验数据用于数据分析。自动化测试通常用于替代人工方式,去执行那些繁杂的、高重复性的操作,进而节约大量的人力资源。Selenium为Web站点数据自动获取提供了基础框架,凭借其自身强大的功能,市场占有额越来越高。本文以Python+Selenium为核心,利用Web Driver数据驱动实现了数据自动获取功能。
一、Selenium自动化测试框架
Selenium通常用来编写Web应用的自动化测试脚本。早期Selenium1.x主要使用Selenium RC(Selenium Remote Control)进行自动化测试。Selenium2.x集成了Selenium和Web Driver的功能。Selenium可以用来模拟用户在浏览器中的操作。软件测试开发人员能够使用不同的编程语言如Java、Scala、Python等编写测试脚本,并且兼容在Google Chrome、IE、Firefox等浏览器中运行测试脚本[1]。基于Selenium是开源的,测试人员可以按需进行个性化定制。
Selenium主要由IDE、Grid和RC三个组件构成[2],其中IDE为浏览器插件,提供脚本编辑、录制及回放功能,录制脚本可以转换为Java、Python、PHP等多种脚本语言;Grid实际上是一个jar包,由hub节点及node节点构成,可在Dos命令行下执行。主要用于测试脚本的分布式处理,允许在多机及异构环境下运行测试脚本;RC(Remote Control)作为Selenium核心组件,由selenium Server和Client Libraries组成。其中Selenium Server用于控制浏览器行为,Client Libraries则在自动化测试脚本执行过程中,用以控制selenium Server库,以便达到自动化测试目的[3]。在Selenium2.x及后续版本中,使用Web Driver替代了Selenium RC。其中,Web Driver API是客户端、Web Driver作为浏览器驱动。对……
