张渊博

（海南师范大学，海南 海口 571158）

0 引言

爬虫问题对当前的互联网环境构成了较大的不良影响，尤其是在信息资源越来越多地展现出其商业价值的背景下，爬虫问题的负面影响快速提升。因此，实现网站的反爬虫技术应用，有助于网站更好地满足信息分析及应用需要。

1 网站反爬虫策略存在的不足

1.1 网络爬虫伪装机制的分析不够深入

现有的一些反爬虫技术方案在设计过程中，缺乏对爬虫常用伪装机制的有效总结，在处理爬虫状况识别的相关业务过程中，未能实现对爬虫过滤系统现有应用情况的有效掌握，难以为网站构建起更高质量的爬虫管控措施提供必要支持。部分爬虫伪装机制的构建对于服务器现有的技术负担缺乏全面总结，导致滥用网络爬虫的危害无法获得具体认知，尤其在Header请求发出状态下，host、referer、user-agent、cookie等属性比例的相关信息无法获得高质量的掌控，难以为虚假信息检测工作的进一步改良提供必要支持，也使得referer+user-agent等系统的爬虫识别方面的重要价值无法得到有效开发。部分网络爬虫伪装机制的分析工作缺乏对Referer字段状况的深入研究，在处理休眠模拟状况管理的相关工作过程中，未能实现对你定时休眠方案的有效改进，难以在爬虫休眠模拟状态管控的过程中，充分实现模拟人登陆状态的价值识别，不利于网络爬虫相关伪装机制的有效控制。一些伪装机制的建设工作对于客户端的服务器连入情况缺乏足够重视，在处理访问时间设计控制的相关工作过程中，缺乏对爬虫规律的有效分析，难以在明确访问时间具体特征的情况下，实现网络爬虫实际状态的有效证明处理。……