APP下载

农业灌溉知识获取和可视化分析

2017-03-21魏正英张育斌

节水灌溉 2017年7期
关键词:知识库网页气象

张 帅,魏正英,张育斌,周 瑞

(西安交通大学机械制造系统工程国家重点实验室,西安 710054)

互联网时代使农业灌溉知识的来源、数量和形式发生了巨大的变化,而且农业灌溉自身具有特殊的复杂性和模糊性,如何用智能化的手段获取和处理农业灌溉知识已成为一个十分紧迫的问题。

过去农业灌溉知识的获取通常是靠农业专家或农业生产者的长期观察、研究、分析、验证总结出来,然后通过知识工程师转化为知识库,知识工程师与领域专家之间信息交流的不对等导致了传统知识获取方式效率较低,因此知识获取成为决策支持系统研究中公认的瓶颈问题[1]。随着信息技术的发展,知识获取方式也不断发展,Ahmed Rafea等人[2]设计开发了一个自动获取并验证农业施肥领域知识库的系统,王德吉等人[3]基于支持向量机聚类算法构建了面向农业领域的专业搜索引擎,Mannini等人[4]设计开发面向农业的灌溉系统IRRINET,Sacha等人[5]提出了一种基于可视化分析的知识获取模型。

本文主要研究了农业灌溉领域知识的获取方式和可视化分析技术,将数据挖掘、可视化分析等技术运用于农业灌溉,利用计算机图形学和图像处理技术,借助于交互式用户界面进行分析观察、发现和理解信息,发现隐藏在数据和信息背后的知识,同时对获取的知识进行分析解释,直观地理解掌握知识,实现灌溉领域知识的自动获取。

1 知识获取

1.1 知识获取定义

知识是进行领域问题求解的专家领域知识,将用于领域问题求解的专家知识从某种知识源中总结和抽象出来,转换为计算机知识库系统中的知识,这一处理过程就叫知识获取[6]。

知识获取的方法可分为手工、半自动和自动知识获取。手工、半自动知识获取方法主要是通过访问领域专家获取大量专业知识,传统的专家系统一般依靠这种方式获取专家知识,难以全面获得专家知识。自动知识获取通过领域专家直接同系统进行对话而无需知识工程师的介入,具有自学习功能的系统能够通过用户对求解结果的大量反馈信息自动修改和完善知识库,并能在问题求解过程中自动积累和形成各种有用的知识。

1.2 知识获取步骤

知识获取一般分为4个步骤[7]:问题识别和特征提取、获取概念和关系、知识的结构化表示、知识库的形成,如图1所示。

图1 知识获取步骤Fig.1 Steps of knowledge acquisition

2 可视化分析

2.1 可视化定义

可视化分析是指用于创建图形、图像或动画,以便交流沟通讯息的技术和方法,主要包括数据可视化、信息可视化和知识可视化。数据可视化[8]是将数据以某种视觉形式表现出来,直观地观察到数据之间的关系,借助图形化手段清晰有效地传达与沟通信息。信息可视化[9]定义为对抽象数据使用计算机支持的、交互的、可视化的表示形式以增强认知能力。知识可视化[10]指可以用来构建、传达和表示复杂知识的图形图像手段,除了传达事实信息之外,知识可视化的目标还在于传输人类的知识,并帮助他人正确地重构、记忆和应用知识。

与数据可视化相比,信息可视化侧重于抽象数据集,如非结构化文本,侧重于通过可视化图形呈现数据中隐含的信息和规律,而知识可视化则是通过提供更丰富的知识视觉表征的方式,提高人们之间的知识创造和传递[11],三者关系如图2所示。

图2 数据、信息和知识可视化关系Fig.2 Relationships of data, information and knowledge visualization

2.2 基于可视化的知识获取

如图3所示,人们通过模型输出和可视化图表发现数据中可能存在的模式,做出适当的假设后提炼获得知识,基于此知识采取恰当的行为得到新的模型输出和新的可视化图表,对模型进行调整,不断循环验证,最终获得知识[5]。可视化分析帮助我们更加直观地观察庞大的信息空间,并以此为基础获取所需领域知识和支持复杂的决策。

图3 基于可视化的知识获取Fig.3 Knowledge acquisition based on visualization

3 知识获取方式

3.1 网页知识获取

随着互联网的高速发展,农业领域的网站也不断增加,网页数量也随之呈几何数增长,其携带的信息不断更新变化,因此网页成为农业知识获取领域中一个重要的资源宝库。农业领域的网页内容获取体现在对网页携带的内容进行有效信息的提取。

网页页面的信息属于半结构化信息,通过网络爬虫到指定站点搜索相关的信息,利用网页语义技术从原本无结构的网络文本HTML或XML中抽取出特征向量,建立可以表述和替代原始信息的抽象模型,运用计算机技术、人工智能技术形成领域知识库。如图4为网页知识获取流程图。

图4 网页知识获取流程图Fig.4 Flow chart of web knowledge acquisition

本文通过访问中国节水灌溉网,借助程序代码从普通网页上提取结构化的内容,获取节水灌溉最新技术,主要程序如下:

import urllib2,bs4

url='http://www.jsgg.com.cn/Index/Display.asp?NewsID=10276'

req = urllib2.Request(url)

content = urllib2.urlopen(req).read()

content=bs4.BeautifulSoup(content,from_encoding='GB18030')

title=content.findAll('td',align="center",style="font-size:18px;COLOR:#000066;FONT-WEIGHT:bolder;")

knowledge=content.findAll('span',id='General_Info')

部分解析结果如图5所示,获取的知识主题为水稻节水灌溉技术要点,将其保存到知识库中,不断自我完善,建立起性能优良、知识完善的知识库,农业生产者可以根据这些知识提高作物灌溉效率和作物产量。

3.2 API知识获取

农业灌溉用水问题是高度复杂非线性问题,受到诸如土壤、气象等因素的影响,其中气象因素是确定作物蒸散量的关键,准确的气象预报可以用于指导作物的灌溉,直接为农业灌溉生产服务。

API是一些预先定义的函数,通过API接口无需访问源码和理解内部工作机制的细节。本文通过API接口获取西安市未来七天的气象信息,主要包括未来一段时期内的阴晴雨雪、最高最低温度、相对湿度、降水量、风速、风力、降水概率等。首先获取API密匙,准备python开发和运行环境,安装urllib2和json,主要程序如下所示:

import json,urllib2

url2='http://apis.baidu.com/heweather/weather/free?city=xian'

req = urllib2.Request(url2)

req.add_header("apikey","17668a3a4401dc9f888de88daf67ac12")

resp = urllib2.urlopen(req)

content = resp.read()

data=json.loads(content)

weather=data['HeWeather data service3.0'][0] ['daily_forecast']

对获取到的气象信息进行解析,经过处理加工后保存在数据库中,通过友好的人机交互界面来显示,如图6所示为未来两天的气象信息。

图6 API知识获取Fig.6 API knowledge acquisition

3.3 文本知识获取

随着信息社会的发展,文本信息高速增长,传统的阅读理解文本获取知识方式已经难以胜任,人类从外界获得的信息约有80%以上来自于视觉系统[12],文本可视化可以帮助人类以可视分析的手段交互地分析海量的文本内容,洞悉文本背后隐藏的知识,在海量的文本中发现和提取知识。

如图7所示为从txt格式文本中获取灌溉制度知识,运用基于特征的单文档自动摘要技术对文本进行压缩表示而保持原有文本主题,抽取文本的主要结构和信息,获取文本关键词和摘要,快速高效地获取文本中灌溉制度知识。

图7 文本知识获取Fig.7 Text knowledge acquisition

4 可视化案例

4.1 数据可视化

本文的数据是从中国气象数据共享服务网获得的西安市气象数据,数据包括从2000-2015年的气象数据。数据包含日期、平均温度、日最高温度、日最低温度、平均相对湿度、日照时长和风速。部分数据列在表1。

图8为西安市2015年参照作物蒸散量变化趋势图和四分位图,从图8可以看出,参照作物蒸散量在4-10月变化较大,超出平均值。

4.2 信息可视化

图9为西安市2015年各个气象参数变化趋势图,图10为运用数据挖掘方法得出的气象参数重要程度。从图9可以直观地看出平均温度、日最高气温和日最低气温与参照作物蒸散量的变化规律一致,与图10相比结果一致,温度对于参照作物蒸散量具有重要的参考意义,对作物需水量预测有重要的影响。

表1 部分输入样本数据Tab.1 Part of the sample data

图8 ET0数据可视化Fig.8. Data visualization of ET0

图9 气象因子可视化Fig.9 Meteorological parameter visualization

图10 特征权重Fig.10 Feature importances

4.3 知识可视化

知识可视化是指应用视觉表征手段促进群体知识的传播和创新,是知识工程在农业领域的应用方向之一。决策树是一种广泛使用的分类器,使用二分类式的if-else条件作为分界条件,可以高效的对未知的数据进行预测。本文通过形如表1中的训练数据构建决策树模型预测作物蒸散量,并且对生成的模型进行可视化分析,如图11为生成的决策树模型,模型直观易于理解,可通过进一步表示成If-Then形式,便于计算机编程更新知识库。

图11 知识可视化Fig.11 Knowledge visualization

5 结 语

本文通过自动知识获取方式获取灌溉领域知识,结合可视化技术生成丰富的图表和图像,充分表达文字和数据分析得到的结果,并以更加易于理解和接受的方式展现出来,将可视化技术用于构建知识发现过程,极大地提高了对数据的理解程度,更加准确有效地指导了建模过程。

自动知识获取不仅可以直接从领域原始信息总学习到知识,还能从系统自身的运行实践中总结、归纳出新的知识。随着知识获取技术研究的日益深入,自动知识获取正成为决策支持系统获取知识的强有力工具。计算机没有人类的创造性思维,而人依赖计算机即时有效地大数据处理能力,可视化技术可以显示数据或信息的特性,直观理解和提取知识,从而更好地实现知识的自动获取。

[1] EA Feigenbaum.Expert systems in the 1980s[R]. State of the Art Report on Machine intelligence,1981.

[2] Ahmed Rafea,Hesham Hassen,Maryam Hazman.Automatic knowledge acquisition tool for irrigation and fertilization expert systems[J]. Expert Systems with Application,2003,24:49-57.

[3] Wang Deji, Li Mincheng, Xiong Fanlun. Web information clustering by personal search engine based on SVM[J]. Asian Journal of Information Technology, 2006,5(3):312-316.

[4] Mannini P, Genovesi R, Letterio T. IRRINET: large scale DSS application for on-farm irrigation scheduling[J]. Procedia Env. Sci., 2013,19:823-829.

[5] 何钦铭,王申康. 机器学习和知识获取[M]. 杭州:浙江大学出版社,1997:215-287.

[6] Dominik Sacha, Andreas Stoffel, Florian Stoffel, et al. Knowledge generation model for visual analytics[C]∥ IEEE Transactions on Visualization and Computer Graphics, 2014.

[7] Frederick Hayes-Roth,Donald A Waterman Douglas, B Lenat. Building expert system[Z]. Addison-Wesley Publishing Company,Inc.,1983.

[8] Michael Friendly. Milestones in the history of thematic cartography, statistical graphics, and data visualization,2008[Z].

[9] Card SK, Mackinlay JD, Shneiderman B. Readings in information visualization: using vision to think[M]. San Francisco: Morgan-Kaufmann Publishers, 1999.

[10] Eppler M J, Burkard R A. Knowledge visualization, towards a new discipline and its fields of Application, ICA Working Paper#2/2004[R]. Lugano: University of Lugano, 2004.

[11] 赵国庆.知识可视化2004定义的分析与修订[J].电化教育研究,2009,(3):15-18.

[12] Ren L. Research on interaction techniques in information visualization[D]. Beijing: The Chinese Academy of Sciences,2009.

猜你喜欢

知识库网页气象
气象树
汉语近义词辨析知识库构建研究
《内蒙古气象》征稿简则
基于HTML5与CSS3的网页设计技术研究
基于TRIZ与知识库的创新模型构建及在注塑机设计中的应用
基于CSS的网页导航栏的设计
基于HTML5静态网页设计
大国气象
美丽的气象奇观
基于URL和网页类型的网页信息采集研究