刘卓 徐斌

苏州科技学院电子与信息工程学院 江苏 215011

0 引言

自20世纪80年代以来，随着Internet技术的高速发展，信息化的浪潮席卷全球，社会的每个角落都有了数字化信息的身影。其中尤其以Web页数量最为庞大，并且大约以每4至 6 个月翻一倍的速度增加。巨量的 Web页在为我们提供了海量的信息同时，又给我们提出了新的挑战，即如何从这些浩瀚的Web页信息中快捷准确地得到我们想要的信息。自然我们不能够采用人工的方式完成这项任务，借助于计算机采用数据挖掘的方法是目前广泛使用的技术。

1 Web文本挖掘概述

数据挖掘(data mining)习惯上又称为数据库中知识发现(Knowledge Discovery in Database, KDD)，简单的说就是利用计算机，从浩瀚如海的信息资源中找出真正具有价值的信息。数据挖掘可以按以下不同角度分类：从挖掘的数据源分类，一般可以分为关系数据库、事务数据库、空间数据库、时间数据库、面向对象数据库、文本数据库、多媒体数据库、主动数据库、Internet信息库挖掘等。从挖掘出的知识分类，一般情况下，数据挖掘可以分为关联规则、特征规则、分类规则、聚类规则、序列模式、数据综合和概括、总结规则 、趋势分析、偏差分析、模式分析、孤立点分析挖掘等。按照挖掘所采用的技术分类，数据挖掘一般可以分为统计分析方法，遗传算法、粗糙集方法、决策树、人工神经网络、模糊逻辑、规则归纳、聚类分析、模式识别、最邻接技术、可视化技术挖掘等。Web挖掘就是数据挖掘方法中的一种，它是指从大量Web文档的集合C中发现隐含的模式p。……