APP下载

大数据时代的反爬虫技术

2020-12-13

电子元器件与信息技术 2020年12期

(海南师范大学,海南 海口 571158)

0 引言

网络爬虫技术在当前的互联网环境中普遍存在,虽然在一定程度上满足了数据资源的供给需要,但违规的网站信息抓取工作在一定程度上影响了信息安全[1]。因此,结合大数据时代的互联网环境特点,制定反爬虫技术的应用策略,是很多互联网专业人员重点关注的问题。

1 大数据时代反爬虫技术应用存在的问题

1.1 前端限制方案不够完善

部分反爬虫技术的设置对于前端限制方案的重要性认知存在不足,CSS或HTML标签的应用不够充分,技术人员缺乏对元素错位等问题的有效整治,造成干扰大数据技术正常应用的因素无法充分明确自身价值,不利于数据安全的有效维护。

(1)一些前端设置方案的制定对于关键性信息安全的管控措施缺乏必要的关注,CSS技术的应用未能实现对数据偏移量的有效显现,无法在关键性数据混淆问题管控方面取得突出进展,不利于前端限制方案价值的充分开发[2]。

(2)一些前端设置方案的设计工作对于不同类型网站信息的构成情况缺乏必要关注,尤其对于网页信息的抽样分析工作价值缺乏完整的总结,难以实现对反爬虫机制有效性测试,不利于前端限制方案的进一步完善。

(3)一些前端限制方案在具体制定过程中,对于网页之中的文件类型缺乏有效的研究,在进行技术资源的偏移量控制过程中,缺乏对反爬虫策略基础性组成因素的关注,导致文件类型和基础信息形式的特征难以得到有效的价值认定,无法为网页文字渲染等工作实施过程中,充分实现前端限制方案价值开发,不利于反爬虫技术的进一步改良。……

登录APP查看全文