张松 唐艳双 李怀宇

[摘要]本文通过审计实例介绍运用Go语言开发爬虫程序，批量获取某省金融企业监管处罚数据，对被审计单位及所在地域金融企业进行全方位、立体画像，实现网络公开数据与行内数据的相互补充印证，准确锁定审计目标，提升现场审计效率。

[关键词]内部审计    Go语言    数据分析    爬虫程序

随着信息科技与生产过程的不断融合，人们越来越感受到科技在工作中的重要性。在企业内部审计中，可利用数据分析语言开发网络爬虫程序获取被审计单位的日常经营及社会活动相关数据。Go语言（又称Golang语言），是Google公司开发的一种简洁高效的开源编程语言，具有高并发性和跨平台开发优势，非常适合服务器编程。

一、总体思路

首先，开发的爬虫程序必须善意且自觉遵守Robots协议，开发前要查看网站根目录下的robots.txt文件，根据Robots协议合理进行爬取数据。其次，将爬取到的监管信息，存储到CSV文本及本地MySQL数据库中，并从中筛选出关注单位的处罚信息。

爬虫程序工作原理是抓取网页源代码。源代码中包含网页内容信息和网络链接URL地址，可以继续打开网页中的URL地址，进一步抓取下一层网页内容和网络链接URL地址，这样就可以循环抓取所需网页公布的数据信息。

Go语言抓取网页源代码时，最常用的方法是利用Go语言自带的net/http包工具与正则表达式相配合，匹配抓取想要的内容信息，也可以利用一些根据网页节点属性选择的CSS选择器、Colly或Goquery等框架工具提取所需要的数据信息。……