APP下载

基于多因素的邮箱安全检测模型

2018-01-15李扬方勇黄诚刘亮

网络空间安全 2018年6期

李扬 方勇 黄诚 刘亮

摘 要:针对缺乏中国域名电子邮箱安全检测研究的问题,设计了一种基于多因素电子邮箱安全性检测模型。首先,基于数据采集和域名筛选模块提取真实有效的不同类别域名数据;其次,基于多因素漏洞检测和数据分析模块检测SPF、DMARC、STARTTLS等电子邮箱安全扩展协议的实施情况。实验获取了18140个政府机构域名和2766个教育机构域名,其中 25.5%的教育机构和4.50%的政府机构域名发布了有效SPF记录;仅7个教育机构和2个政府机构域名发布了有效DMARC记录;46.8%的教育机构和10.4%的政府机构域名支持STARTTLS扩展。

关键词:电子邮箱伪造;SPF协议;DMARC协议;STARTTLS协议;电子邮箱安全

中图分类号:TP309 文献标识码:A

Abstract: A multi-factor based e-mail security detection model is designed to solve the problem of lack of Chinese domain name e-mail security detection research. Firstly, the real and effective domain datasets are obtained by data acquisition and domain name filtering and extraction. Secondly, based on multi-factor vulnerability detection and data analysis module to detect the implementation of SMTP security extensions such as SPF, DMARC, STARTTLS. The experiment obtained 18140 government domains and 2766 educational institution domains, which 25.5% educational institutions and 4.50% government domains published valid SPF records. Only 7 educational institutions and 2 government domains published valid DMARC records. In addition, 46.8% of educational institutions and 10.4% of government domains support STARTTLS extensions.

Key words: e-mail forgery; SPF; DMARC; STARTTLS; e-mail security

1 引言

網络钓鱼攻击成为当今网络安全威胁中不可忽视的重要部分。根据国际反钓鱼工作组APWG(Anti-Phishing Working Group)发布的2018网络钓鱼活动趋势报告(Phishing Activity Trends Report),2018年第一季度总共检测到263,538次网络钓鱼攻击,比2017年第四季度增加46%[1]。

电子邮箱伪造作为实施网络钓鱼攻击中至关重要的步骤,使用伪造的发件人地址创建电子邮件,欺骗受害者认为该电子邮件是由合法可信的来源发送,从而可能导致严重的网络安全风险[2]。SMTP(Simple Mail Transfer Protocol)简单邮件传输协议,采用明文方式传输,缺乏内置防止电子邮箱伪造的安全设计[3]。尽管目前相关机构已经发布了致力于提高邮件安全性、验证邮件发送者的SMTP安全扩展协议,包括SPF、DKIM、DMARC、STARTTLS等,但是该类SMTP安全扩展的实施采用率却不容乐观。

此外,据360互联网安全中心统计,2017年中国企业级电子邮箱收发电子邮件共计5861.9亿封[4]。电子邮箱伪造及邮箱安全是反钓鱼防护工作中亟待解决的安全问题,严重威胁着相关机构邮箱安全的健康发展。

Ian Foster等人研究分析了TLS、SPF、DMARC在全球邮件提供商的应用情况[5]。Hang Hu等人的研究表明,2017年10月,Alexa排名TOP1百万域名中,仅49.3%的域名DNS设置了SPF记录,仅4.6%的域名DNS设置了DMARC记录[6]。然而,此类研究均缺乏针对中国域名的邮箱安全性检测技术研究,尤其缺乏针对教育行业域名、政府机构域名等影响范围巨大的不同类别域名邮箱安全性的相关检测研究。

论文的主要贡献有三项。

(1)提出了一种基于多因素的邮箱安全检测模型。

(2)采集了中国18140个政府机构域名和2766个教育机构域名。

(3)检测了教育机构和政府机构的SPF、DMARC、STARTTLS的实施情况和安全风险,并提出相应的防护建议和对策。

2 多因素邮箱安全防护技术

为了保障电子邮件的安全,相关机构已经提出了SPF、DKIM、DMARC、STARTTLS等SMTP标准化的安全扩展协议[7]。其中,SPF、DKIM和DMARC则致力于保障电子邮件的真实性,是防止电子邮箱地址欺骗的主要策略措施,而STARTTLS旨在提供电子邮件通信中的机密性。

2.1 发送方策略框架SPF

发送方策略框架SPF(Sender Policy Framework)建议组织机构或电子邮件服务提供商在其域名解析记录中发布其主机地址或IP地址块。电子邮件接收方在接收电子邮件时发起DNS查询检查SPF策略,并根据策略拒绝来自非授权IP地址的电子邮件。此外,SPF协议允许域名管理者指定电子邮件接收方如何处理未通过SPF策略检查的电子邮件,包括通过(Pass)、拒绝(Fail)、软拒绝(Soft Fail)、中立(Neutral)四种处理策略[8]。其中,软拒绝的处理策略为服务器应该接收对应的电子邮件,但是标记为可疑电子邮件[9]。

如果组织机构的域名缺乏SPF记录或者SPF记录配置存在缺陷,可能导致攻击者能够在任意服务器发送伪造了电子邮箱地址的电子邮件。另一方面,SPF策略只能检测电子邮件的发送者属于发送者指定的域中,满足该条件的攻击者仍然可以伪造发件人的地址,但是接收者却无法检测到此类篡改攻击场景[10]。

2.2 域名密钥识别邮件DKIM

域名密钥识别邮件DKIM(Domain Keys Identified Mail)使用基于公钥的方法验证电子邮件发送者并检查电子邮件的完整性。电子邮件发送者在电子邮件头部添加和域名相关的数字签名,电子邮件接收方在接收电子邮件时发起DNS请求,检索发送者的公钥进行签名验证[11]。

虽然DKIM在电子邮件传递转发的场景时仍然能够正确验证签名的有效性,但是由于DKIM允许与发送者不同域的第三方进行签名,导致DKIM无法确定电子邮件中所附签名对应的签名者是否合法[12]。

此外,验证DKIM公钥的有效性,不仅需要发送者的域名,还需要对应的选择器(Selector),选择器的作用使得在同一域下的多个密钥进行更细粒度的签名控制。也正因为选择器自定义和多样化的特性,使得基于域名进行DKIM检测存在一定的困难,目前缺乏全面有效的检测评估电子邮箱域名DKIM的方法。

2.3 基于域的消息认证,报告和一致性DMARC

由于SPF和DKIM均缺乏策略机制有效性的反馈,无法有效判断发送邮件的屏蔽、策略配置是否正确有效等情况[13]。基于域的消息认证、报告和一致性DMARC(Domain-based Message Authentication, Reporting and Conformance)是一种建立在SPF和DKIM协议基础上的电子邮件身份验证、策略和报告协议[14,15]。组织机构或电子邮件服务提供商在其域名解析记录添加DMARC记录,发布该发送方是否支持DKIM、SPF身份驗证,以及如果验证失败,接收方应采取什么措施,其措施类型包括拒绝(Reject)、隔离(Quarantine)即标记为可疑邮件,无(None)不采取任何具体行动。

DMARC为了实现没有邮件服务器域的消息报告机制,并将消息报告转发到能够接收和处理的外部域,所以允许指定域之外的外部域作为DMARC报告反馈的目的地址。然而,如果攻击者恶意发布DMARC策略记录,将DMARC报告外部目的地址指定为受害者,并发送大量邮件,由于DMARC检测失败,可能会导致受害者收到大量不必要的报告。为了防止受害者接受大量不必要的DMARC报告攻击,DMARC提出了外部目的地验证(Verifying External Destinations)的验证机制。

如果组织机构的域名缺乏DMARC记录或者DMARC记录设置存在缺陷(如外部目的地验证配置存在缺陷),导致DMARC检测失败,从而可能导致攻击者仍然能够成功发送伪造电子邮箱地址的电子邮件。

2.4 加密通信端口的扩展STARTTLS

STARTTLS是一种将纯文本通信升级为加密通信且不使用单独的加密通信端口的扩展[16]。基于STARTTLS的SMTP安全扩展,旨在解决SMTP明文中继传输的缺陷,保护电子邮件在邮件传输代理MTA服务器每一跳之间传输过程中的机密性,防止邮件内容被恶意窃取[17]。

如果组织机构的电子邮箱服务器不支持STARTTLS,则在电子邮件的传输过程中可能会被攻击者截获通信内容。此外,由于STARTTLS是一种机会性加密,存在中间人降级攻击等风险则不属于论文讨论的范畴。

3 检测模型

为了有效地对中国不同类别域名邮箱安全性进行研究,分析其域名的邮箱伪造防护策略的实施情况和机密性通信的支持情况,论文提出了基于多因素的邮箱安全检测模型。

检测模型总体结构,如图1所示,主要包括四个模块,分别是数据采集模块、域名筛选提取模块、多因素漏洞检测模块、数据分析模块。首先,基于数据采集和域名筛选提取真实有效的不同类别域名数据;其次,基于多因素漏洞检测和数据分析检测研究SPF、DMARC、STARTTLS等电子邮箱安全扩展的实施情况。

3.1 数据采集模块

基于聚合网站、搜索引擎和流量提取的多源信息渠道,结合动态爬虫技术和信息提取技术采集不同行业类别的域名。例如,针对教育行业域名数据收集的步骤:首先,采集中国高等教育学生信息网在线院校信息库域名数据[18];其次,根据全国高等学校名单[19]并结合搜索引擎,基于关键词信息提取技术提取域名信息;最后,基于DNS域名流量信息提取教育机构相关域名数据[20],综合多渠道信息形成初始域名库数据。

3.2 域名筛选提取模块

域名筛选提取模块进一步筛选提取数据采集模块采集形成的初始域名库数据。结合域名有效性检测、URL存活性检测、基于网页Title的内容筛选以及基于Chrome Headless动态获取网页快照的筛选技术对不同行业的初始域名库进行筛选,并对筛选后的域名数据进行去重化处理从而形成不同类别的域名数据库。

3.3 多因素漏洞检测模块

根据域名可能存在的不同电子邮箱安全问题,分析SPF、DMARC、STARTTLS等不同电子邮箱安全因素的特征,编写对应的漏洞检测插件。多因素漏洞检测模块采用插件式的漏洞扫描架构,调度不同漏洞扫描插件对筛选去重后的不同类别域名数据库进行漏洞扫描,检测其对应的安全缺陷,并将检测结果存储到漏洞信息数据库。

3.4 数据分析模块

数据分析模块基于多因素漏洞检测模块检测形成的漏洞信息数据库进行数据分析,统计分析不同类别域名电子邮箱伪造防护策略的实施情况和机密性通信的支持情况,聚合分析采取不同策略及措施的分布情况和特点,并进一步分析其安全配置的缺陷以及配置无效的原因。此外,针对不同类别的域名电子邮箱存在的安全性缺陷提出相应的建议。

4 实验及结果分析

4.1 实验环境

实验环境的软硬件配置信息。CPU:Intel(R) Core(TM) i7-7700 3.60GHz;内存:16G;GPU: NVIDIA GeForce GTX 1060 6GB;操作系统Ubuntu 16.04.4 LTS操作系统,检测框架基于Python3.6语言实现。

4.2 实验数据

基于论文提出的检测框架,为了验证模型的有效性,针对国内的教育机构域名、政府机构域名进行电子邮箱安全性检测。结合数据采集模块进行多源渠道信息采集,以及域名筛选提取模块处理过后,获取得到18140个政府机构网站、2827个教育机构网站(其中包含2569所高等学校网站)。由于存在部分教育机构使用不同子域名但是使用相同域名的情况,经过筛选处理去重后,最终收集了18140个政府机构域名、2766家教育机构域名(其中包含2508所高等学校域名)的数据库作为论文实验数据集。

4.3 实验结果及数据分析

基于实验数据集,2018年8月针对政府机构和教育机构域名发布实施SPF、DMARC的情况,以及对应电子邮箱服务器支持STARTTLS的情况进行检测。

4.3.1 SPF的统计分析

教育机构(包括高等学校)和政府机构域名SPF的统计分析结果如表1所示。教育机构789家(28.5%)的域名存在SPF记录,其中有效SPF记录为704个(25.5%)。

如果SPF认证失败后:采取软拒绝策略的有418个(15.1%),采取拒绝策略的有275个(9.9%),采取中立策略的有11个(0.40%),没有采取通过策略的域名。教育机构中高等学校的743个(29.6%)域名存在SPF记录,其中有效SPF记录为666个(26.6%)。

如果SPF认证失败后:采取软拒绝策略的有399个(15.9%),采取拒絕策略的有258个(10.3%),采取中立策略的有9个(0.36%),没有采取通过策略的域名。相比较而言,高等学校域名存在SPF记录的比例以及有效SPF记录的比例均高于教育机构域名。此外,SPF认证失败后高等学校采取软拒绝策略和拒绝策略的比例也高于教育机构域名。另一方面,有905个(4.99%)的政府机构域名存在SPF记录,其中817个(4.50%)为有效的SPF记录。

如果SPF认证失败后,采取软拒绝策略的有405个(2.23%),采取拒绝策略的有402个(2.22%),采取中立策略的9个(0.05%),采取通过策略的1个(0.006%)。

分析发现,部分域名虽然发布了SPF记录,但是SPF记录配置无效,导致不能通过SPF验证机制。主要原因包括发布多条SPF记录、缺乏有效的分隔符、存在无效字符、拼写错误、缺乏必要配置信息等。

4.3.2 DMARC的统计分析

教育机构和政府机构域名DMARC统计分析结果如表2所示。教育机构184个(6.65%)域名发布了DMARC记录,有效的DMARC记录为7个(0.25%)。

如果DMARC认证失败后,采取无策略的有5个(0.18%)域名,采取隔离策略的有2(0.07%),没有采取拒绝策略的域名。政府机构49个(2.7%)的域名发布了DMARC记录,有效的DMARC记录为2个(0.01%)。

如果DMARC认证失败后,采取隔离策略的有1个(0.005%),采取拒绝策略的1个(0.005%),没有采取无策略的域名。

分析发现,部分教育机构和政府机构域名采用第三邮箱服务器发送企业邮件,虽然发布了DMARC记录,但是由于第三方电子邮件服器域名没有发布对应的外部目的地验证授权记录,导致DMARC外部目的地验证失败,从而导致DMARC验证无效。另一方面,分析发现教育机构中发布有效DMARC记录的域名,大部分域名在DMARC认证失败后,采取无策略,其原因可能是为了防止丢失电子邮件的权衡之策。

4.3.3 STARTTLS的统计分析

教育机构和政府机构域名STARTTLS统计分析结果如表3所示。

教育机构1294个(46.8%)域名的电子邮箱服务器支持STARTTLS,政府机构1893个(10.4%)域名的电子邮箱服务器支持STARTTLS。分析发现,存在电子邮箱服务的域名中,大部分机构使用,如qq.com、163.com、icoremail.net、netease.com、mxhichina.com等提供的邮箱服务,也因为这些服务器均支持STARTTLS,所以支持STARTTLS的比例高于SPF和DMARC。

5 防护建议及对策

根据目前中国的教育机构和政府机构域名在SPF、DMARC、STARTTLS等邮箱安全扩展实施比例不高的问题,以及存在因各种配置缺陷导致安全措施无效的问题。针对发送邮件域名与非发送电子邮件域名两种场景,提出相应的防护建议和对策。

(1) 针对发送邮件域名的建议

a) 发布有效的SPF记录,声明对未通过SPF验证的电子邮件采取“拒绝”策略,避免使用“通过”策略。

b) 发布有效的DMARC记录,声明对未通过DMARC验证的邮件采取“拒绝”策略,避免使用“无”策略。

c) 采用第三方电子邮箱服务器发送邮件的域名,除了需要发布对应的SPF、DMARC记录外,还需要在第三方电子邮件服器域名发布相应的声明,如外部目的地验证授权记录等。

d) 建议所有的邮箱服务器均配置支持STARTTLS通信。

(2) 针对非发送邮件域名的建议

建议在非发送邮件域名的DNS记录中发布“v = spf1 -all”的SPF记录,表明该域名不发送电子邮件,从而限制任何伪造该域名的电子邮件,均无法通过SPF的验证。

6 結束语

电子邮箱伪造作为实施钓鱼攻击的重要步骤,严重威胁着企业的网络安全。论文设计了一种基于多因素的邮箱安全检测模型,基于数据采集模块和域名筛选提取模块获取有效的教育机构域名和政府机构域名,然后基于多因素漏洞检测模块和数据分析模块检测分析其电子邮箱伪造防护策略的实施情况和机密性通信的支持情况,并提出相应的防护建议和对策。

实验采集了18140个政府机构域名和2766家教育机构域名,其中25.5%的教育机构和4.50%的政府机构域名发布了有效SPF记录;仅7家教育机构和2个政府机构域名发布了有效DMARC记录;46.8%的教育机构和10.4%的政府机构域名支持STARTTLS扩展。

实验结果表明,论文提出的模型可以有效地收集不同类别的域名数据并有效地对其邮箱安全性进行多因素检测分析。下一步工作可以针对其他类别的域名进行多因素电子邮箱安全性检测分析。

参考文献

[1] APWG. Phishing Activity Trends Report. [EB/OL]. 2018. http://docs.apwg.org/reports/apwg_trends_report_q1_2018.pdf.

[2] Margaret Rouse. email spoofing. [EB/OL]. 2018. https://searchsecurity.techtarget.com/definition/email-spoofing.

[3] J. B. Postel, “Simple mail transfer protocol,” 1982, https://tools.ietf.org/ html/rfc821.

[4] 360互联网安全中心. 2017中国企业邮箱安全性研究报告. [EB/OL]. 2018. http://zt.360.cn/1101061855.php?did=491163339&dtid;=1101062514.

[5] Foster I D, Larson J, Masich M, et al. Security by any other name: On the effectiveness of provider based email security[C]//Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security. ACM, 2015: 450-464.

[6] Hu H, Wang G. Revisiting Email Spoofing Attacks[J]. arXiv preprint arXiv:1801.00853, 2018.

[7] Durumeric Z, Adrian D, Mirian A, et al. Neither snow nor rain nor MITM...: An empirical analysis of email delivery security[C]//Proceedings of the 2015 Internet Measurement Conference. ACM, 2015: 27-39.

[8] The SPF Council. Sender Policy Framework. [EB/OL]. 2018. http://www.openspf.org/SPF_Record_Syntax.

[9] Opazo B, Whitteker D, Shing C C. Email trouble: Secrets of spoofing, the dangers of social engineering, and how we can help[C]//2017 13th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD). IEEE, 2017: 2812-2817.

[10] Zhao S, Liu S. An Add-on End-to-end Secure Email Solution in Mobile Communications[C]//Proceedings of the 10th EAI International Conference on Mobile Multimedia Communications. ICST (Institute for Computer Sciences, Social-Informatics and Telecommunications Engineering), 2017: 57-61.

[11] Crocker D, Hansen T, Kucherawy M. DomainKeys Identified Mail (DKIM) Signatures[R]. 2011.

[12] Konno K, Dan K, Kitagawa N. A Spoofed E-Mail Countermeasure Method by Scoring the Reliability of DKIM Signature Using Communication Data[C]//Computer Software and Applications Conference (COMPSAC), 2017 IEEE 41st Annual. IEEE, 2017, 2: 43-48.

[13] Gersch J, Massey D, Rose S. DANE Trusted Email for Supply Chain Management[C]//Proceedings of the 50th Hawaii International Conference on System Sciences. 2017.

[14] Kucherawy M, Zwicky E. Domain-based message authentication, reporting, and conformance (DMARC)[R]. 2015.

[15] Derouet E. Fighting phishing and securing data with email authentication[J]. Computer Fraud & Security, 2016, 2016(10): 5-8.

[16] Chan C, Fontugne R, Cho K, et al. Monitoring TLS adoption using backbone and edge traffic[C]//IEEE INFOCOM 2018-IEEE Conference on Computer Communications Workshops (INFOCOM WKSHPS). IEEE, 2018.

[17] Malatras A, Coisel I, Sanchez I. Technical recommendations for improving security of email communications[C]//Information and Communication Technology, Electronics and Microelectronics (MIPRO), 2016 39th International Convention on. IEEE, 2016: 1381-1386.

[18] 中國高等教育学生信息网. 院校信息库. [EB/OL]. 2018. http://gaokao.chsi.com.cn/sch/.

[19] 中华人民共和国教育部. 全国高等学校名单. [EB/OL]. 2018. http://www.moe.gov.cn/srcsite/A03/moe_634/201706/t20170614_306900.html.

[20] Rapid7. Forward DNS. [EB/OL]. 2018. https://opendata.rapid7.com/sonar.fdns_v2/2018-07-21-1532160001-fdns_any.json.gz.