基于WCDMA网络的不良文本过滤技术
2014-04-29李云鹏
电子世界 2014年22期
关键词:技术应用
李云鹏
【摘要】基于WCDMA网络的最常见的是关键字过滤技术,由于算法简单、速度快,因此用在了多类文本过滤系统中,其缺点也非常明显,就是智能化程度不足,很容易被不法分子通过测试等手段猜中其中的关键字库。本文将对WCDMA网络下关键字过滤技术进行研究探讨。
【关键词】WCDMA网络;关键字过滤;技术应用
关键字过滤通常的做法是先人工完成包含过滤词汇的词典,再根据用户发送的信息进行审查,逐个查找词典中的每个单词,如果发现关键字,通过两种方式处理:一是终止搜索过程,即认为内容不能公布;二是继续搜索,找到所有的关键字,再计算单词出现的频率,根据规则确定内容是否发布。
为了逃避过滤,不法分子会故意对关键字进行适当的变形后提交。关键字常见的变形方式有同音字、拼音、单词之间颠倒以及其他各种字符串变形组合方法。关键字特征被打乱后,基本上找不到匹配的关键字。对于以上问题,可作如下识别和处理方法。
中文的断句方式是通过标点符号完成,如逗号、句号,因此中文的文本分词就应该通过标点符号来完成。但由于文本中可能加入了“&”、“[”等各种的特殊符号,因此可能导致无法直接识别文本的性质,对于此问题的处理,一个有效的办法是建立一个正则表达式并通过循环语句的方式逐个将特殊符号去除掉,目的是使得待过滤文本恢复为正常的、按照自然语言排列的文本。不过,以上提到的特殊字符,在文本中也可能是正常的计算公式符号等,例如单价*数量的计算公式,然而这种情况下对特殊符号删除对文本的性质的影响不大,可以忽略。……
登录APP查看全文