面向视觉变量感知特征的时空过程可视化模型
2020-02-18王占刚
王占刚
北京信息科技大学 信息与通信工程学院，北京100101
1 引言
可视化技术能够赋予人们深刻的洞察力，从种类繁多的信息源背后挖掘规律与趋势，形象地描述数据及其内在联系。其中针对空间与时间维度的时空数据可视化逐渐成为可视化领域的热点[1-2]。时空数据可视化是描述时空要素信息的一种表达方式，利用它不仅能够表达空间实体的位置、形态，而且能生动描述时空要素的状态随时间的动态变化过程，其研究重点就是时空过程可视化。
现有的时空过程可视化研究多集中于时空数据可视化表达、空间实体过程可视化和基于事件的时空过程可视化等方面[3-9]。其中，时空数据可视化表达着重对时空数据集的动态可视化方法[3]、时态信息可视化[4]和静态符号表达方法[5]进行研究；空间实体过程可视化通常针对特殊时空对象的迁移、变化过程可视化，如溃坝洪水时空过程可视化[6]、针对海洋温度场的时空过程可视化[7]、河口海岸GIS时空过程可视化[8]等；基于事件的时空过程可视化将事件作为线索，利用时空数据模型将时空对象组织起来，并动态追溯和可视化其发展过程与状态[9]。
由以上分析可以看出，传统的时空数据可视化研究不适合复杂多维数据与动态符号表达，对于高亮、聚焦、图形序列等可视化表现形式应用不足，表达不够丰富；注重特殊时空对象，但未能全面反映时空对象的空间、时间与属性信息，其细节特征可视化表现力不够；重视时空事件的组织与管理，但缺少视觉变量对空间与属性特征、拓扑关联等感知特性的表达适宜性研究。
当空间数据增加时态信息后数据量快速增长[10-11]，运用现有传统可视化技术出现难以处理、细节特征表现力不足、表达不够丰富、缺少适宜性研究等突出问题，因此亟需新的时空过程可视化方法。本文在时空数据分析的基础上，以时空过程为目标，综合考虑视觉变量、感知特征、可视化类型与表现形式等要素，面向视觉表达效果提出一种新的时空过程可视化模型。本文模型能有效地表达空间、时间、属性及时态语义关系，耦合可视化目标、特征、类型和形式，展现复杂时空对象的变化过程。模型经应用实验与分析，取得了较好效果。
2 时空数据与时空过程分析
时空对象通常可被视为增加了时态信息的空间对象。对时空对象所蕴含的空间、时态与属性信息进行组合，可以将时空数据大体划分为四类，即空间—时态数据、空间—时态—属性数据、时态—属性数据和空间—属性数据。
时空数据和空间数据最大的区别在于它描述了时空要素随时态的动态变化过程。每类时空数据针对特定的时空过程，而不同瞬间的时空要素状态构成时空过程。空间—时态数据时空过程可以表现为时空要素位移、扩张、收缩、湮灭和出现等，例如车辆行进、土地面积缩小、绿地消失等过程。空间—时态—属性数据时空过程是在发生时空要素变化的同时属性也随之改变，例如城市工业用地扩张，在土地区域形变的同时属性也发生改变。时态—属性数据时空过程是指时空要素属性随着时间发生了变化，例如土地由工业用地转为商业用地。空间—属性数据时空过程则蕴含了时空要素不同的状态，是时空要素在某一瞬时的快照。
3 面向视觉变量感知特征的时空过程可视化模型
3.1 时空视觉变量
在视觉上能引起视觉变化的基本图形和色彩因素被称为视觉变量。它是构成地图符号的基本元素，在增强地图表达效果、提高地图符号信息传达效率方面具有关键性作用[12]。Bertin较早将视觉变量定义为一组图形符号，主要包含尺寸、方向、形态、明度、色彩及密度等。Robinson则将视觉变量划分为基础视觉变量与附属视觉变量两部分[13]。
视觉变量比较适用于刻画时空过程，时空要素位移、扩张、湮灭等。文章综合时空过程可视化要求[14]与研究基础，将时空视觉变量划分为空间视觉变量、属性视觉变量和时态视觉变量三部分，其定义如下列三元组所示。
视觉变量：
空间视觉变量：
属性视觉变量：
时态视觉变量：
空间视觉变量SpatialVisVariable包含形状Shape、尺寸Size、方向Direction、位置Position、密度Density与结构Structure；属性视觉变量AttributeVisVariable包含色调Hue、亮度Brightness、饱和度Saturation与纹理Texture；时态视觉变量TimeVisVariable包含发生时刻Time of occurrence、时间Time、次序Order、变化速率Rate of Change和变化频率Frequency of Change。
可视化过程中需要针对不同的时空过程选择适宜的视觉变量进行描述，将不同的视觉变量组合起来能够描述各种类型的时空过程，因此视觉变量的选择将会影响时空信息的表达质量。表1展示了不同时空过程建议采用的三类视觉变量。
3.2 视觉感知特征
在人类对现实世界的认知过程中，超过80%的信息通过视觉获得，因此视觉感知是人类认知过程中极其重要的环节。人类视觉系统（Human Visual System）是获得图形与图像信息的唯一方式，它对图像的感知具有选择性，不同内容、形式与范围具有不同的视觉显著特征[15]。人类视觉系统对图形与图像信息的感知能力远远超过对文字与符号的处理能力。
表1 时空可视化视觉变量
以往视觉感知特性研究中，利用图像视觉特征中的亮度、对比度和纹理等构建视觉注意力模型，进行图像质量评价[16-17]。本文着重研究时空可视化中各种视觉变量对空间、时态与属性等特征表达的适宜性，并将视觉感知特征定义如下。
视觉感知特征：
视觉感知特征VisualPerception包含空间特征SpatialFeatures、拓扑关联特征TopologicalRelation、属性特征AttributeFeatures、时态特征TimeFeatures、次序Order、数量Number和大小Size。
根据视觉感知特征，将视觉变量对空间、时态、属性、拓扑关联、次序、尺寸和数量等特征表达的适宜性划分为A、B、C、D四个级别，其中A为最适合，D为适宜性较差，依次递减。
表2描述了Shape、Size、Direction和Position等10种视觉变量对感知特征的表达适宜性。由此可以看出，仅依靠视觉变量仍无法较好地表达时空过程中的时态信息，可以采用不同的可视化形式来进一步满足时空过程的表达需要。
表2 视觉变量感知特征
3.3 时空过程可视化形式
可视化具有丰富的表现能力与交互性特征，通过它能结合现有知识和经验对时空过程进行探索性分析。不同的可视化类型、表现形式适用于不同的时空过程。
3.3.1 可视化分类
根据不同的分类标准可以将可视化分为不同类型。
（1）多维数据可视化
可视化技术根据数据的维数可以分为一维可视化、二维可视化、三维可视化及多维可视化。常见的电子地图、统计图以及专题图等属于二维可视化，它可以抽象地表达数据的内涵。三维可视化注重描述与表达空间对象的三维结构、形态及拓扑关系。多维可视化则更加关注综合表现对象的多维度信息，而位置信息只是多维信息中的一部分。
多维数据可视化一般采用降维的方式将高维信息转换成人类视觉认知容易理解的低维信息[18]。在展示复杂的多维时空信息时，应全面考虑视觉认知特征，并运用好空间、属性与时态视觉变量，以高效易懂的方式展示复杂的多维时空信息。
（2）动态数据可视化
根据数据对象的稳定特征可以将可视化划分为静态数据可视化和动态数据可视化。时空数据本身就是一种包含时态信息的动态数据，动态数据可视化公认的理想工具是动画技术，它通过连续渐变的图形序列或静态图像来表达沿时间轴变化的信息[19]。动画技术针对特定时间运用空间数据或数学模型计算产生中间图像，采用插值方法填充缺少的帧图像，并将各个图像帧组合生成动画[20]。时空动态可视化方法大体可以划分为逐帧动画、关键帧动画和过程动画等[21]。
假定时空过程起始时间为t、任意时间为t′,Δt为最小时间间隔，则t′可用式（1）表示。
其中，t,t′∈Time。则在任意时间点t′，时空对象SpatiotemporalObj可以定义为：
3.3.2 表现形式
传统空间数据可视化中静态地图符号是其主要表达手段之一。静态地图符号依据尺寸、形状、方向、结构等7个视觉变量描述空间实体特征，不同视觉变量具有不同作用，每个地图符号所应用的视觉变量也不同[22-23]。地图符号可以在一定程度上表征空间要素的位置、拓扑结构、属性等，描述其在空间上的变化[4，24]。
传统静态地图符号难以表达时空数据中的动态特征，因此有必要引入新的表现形式——动态地图符号，较好地描述空间要素的时态特性[4，25]。动态地图符号引入了时态视觉变量，能够动态地展示地图内容，达到过程重现、模拟与动态跟踪目标，并且深度挖掘时空要素的本质与变化规律，从而实现时空过程可视化的目的[26]。
3.3.3 时空过程可视化形式
时态特征的表现适合采用动态可视化形式进行展示，描述时空要素的发展过程，揭示时空过程的变化与发展趋势[27]。
时空数据的多维性与时态关系复杂性导致其可视化形式的多样性。时空过程是由不同的时空状态组成的，时空过程中的一个瞬时快照对应一个时空状态。不同的时空过程适宜应用不同的可视化形式，这样才能更详细地描述时空要素及其动态发展过程。时空过程可视化的常用表现形式包括标签、符号、图形序列、视频、动画、统计图、专题图、叠加图、高亮、聚焦等[9，26]。
时空数据可视化的两种典型类型即静态可视化与动态可视化。其中，静态可视化可以运用二维或三维图形图像法。动态可视化可以运用动画、虚拟现实、时空数据库动态可视化等方法[28]。
3.4 时空过程可视化模型
利用视觉变量三元组来描述时空过程，依据视觉变量、视觉感知特征与时空过程可视化形式构建时空过程可视化模型，以此满足时空过程的可视化表达需求。
如图1所示，S-TProc_VisModel时空过程可视化模型共划分成五个部分、七个层次。五个部分即指模型输入、视觉变量、视觉感知特征、时空过程可视化形式与模型输出，七个层次包括时空数据、时空过程、视觉变量、视觉感知、可视化类型、表现形式和可视化成果。其中，模型输入包括时空数据层与时空过程层；时空过程可视化形式包括可视化类型层与表现形式层；模型输出即可视化成果层。
时空数据层负责存储与管理空间、时态、属性数据与混合数据，该层是时空可视化的基础；时空过程层负责组织与描述基于时空数据的时空过程，如要素位移、湮灭、属性改变及瞬时状态，该层是时空可视化的研究对象；视觉变量层负责将时空过程映射为空间、属性和时态三类视觉变量，该层是时空可视化的描述工具；视觉感知层根据视觉感知特征遴选适宜表达的视觉变量；可视化类型层支持多维度、多类型的可视化技术及相关实现算法；表现形式层负责选择符合展示效果要求的可视化表现形式与类型；可视化成果层展示时空过程可视化的多种结果，包括二维地图、三维模型、时空模拟和虚拟环境等，是可视化表达的人机交互界面。
4 实验及结果分析
通过对事件脚本的时空特征分析，在“事件-变化-状态”时空数据模型与时态树结构基础上[9]，本文运用面向视觉变量感知特征的时空过程可视化模型，开发系统并实现了时空过程事件案例可视化。实验计算机CPU i7-8550U，主频1.8 GHz，内存8 GB，采用Adobe Flex开源软件工具包开发并实现了时空过程可视化模型及相关算法，以ArcGIS Server10.2为空间地图服务平台提供数据服务。
本文以李自成起义过程为实验案例，表3为案例时空过程语义信息表，主要包含事件过程的时间、时空对象、空间位置、时空过程、可视化类型与形式等信息表，其时空语义信息需要从相关事件中进行抽取。
4.1 可视化形式
图1 S-TProc_VisModel时空过程可视化模型
表3 典型事件案例时空过程语义信息表
根据视觉感知特征表达的需要，运用多媒体动态标签、动画、多线程等技术描述时空视觉变量，根据事件内容选择特定的符号、图形、图像、文字、视频（图像序列）动态展示事件发生经过，表达事件中对象的时空演化过程。
图2（a）展示了面向视觉表达的时空过程可视化类型效果。图中以二维、动态形式描述了李自成军队由襄阳行军的过程，同时李自成统治区已扩大到河南全境。图2（b）展示了可视化表现形式效果。图中描述了李自成占领潼关后，统治区扩大到陕西全境的过程，综合运用了动态符号、动画、视频（图形序列）等表现形式，辅以聚焦、高亮等形式，达到高效传递时空信息的效果。
图2（c）利用不同动态标签表达了不同的时空含义，如图中由上至下依次为战争、击败、起义和自立为王等。图2（d）利用文字、图片、声音与动画生动刻画了事件发生的详细信息，丰富了信息表达。
4.2 时空过程可视化对比
图3（a）为现有事件可视化方法表达效果，通常在二维电子地图上标注事件发生的内容，用户较难直接通过该图形高效、直接地了解事件的发展与变化过程，且视觉感知效果差。
图2 时空过程可视化形式效果图
图3（b）展示了表3中描述的四个时空过程，在实现的可视化系统中依据事件时间顺序，以动画与动态标签等形式形象表达了事件案例中时空对象的移动、形变、生成或消亡、属性变化等过程。其中，时空过程1“李自成在襄阳称王”主要展现了时空对象李自成在“襄阳”发生属性变更的过程，可用动态符号、标签等来再现；时空过程2“李自成杀与之合军的农民领袖罗汝才”描述了时空对象李自成行军至襄阳附近的移动过程，以及罗汝才被杀的对象消亡过程，可以采用动态符号、动画、高亮等可视化形式；时空过程3“张献忠克武昌建立大西政权”展示了时空对象张献忠占领武昌的对象出现过程以及李自成统治区域扩张的过程，可以利用动态符号、高亮、聚焦、动画等形式；时空过程4“李自成攻破潼关，占领陕西全省”描述了李自成行军至潼关及统治区域扩张的过程，运用动态符号、高亮、聚焦、动画等可视化形式。
图3 时空过程可视化效果对比图
在时空过程可视化模型的基础上，实现了事件案例过程可视化，清晰地描述了事件发生过程及其对象在时空过程中的变化。与现有事件可视化方法相比，利用本文模型能有效地表达空间、时间、属性及时态语义关系，耦合可视化目标、特征、类型和形式，表达丰富的细节特征，展现复杂时空对象的变化过程。
4.3 实验结果分析
通过面向视觉变量感知特征的时空过程可视化实验，可以得到如下结论：
（1）在时空要素和可视化符号之间建立映射关系是时空过程可视化中的关键环节。其中，静态符号通常采用图片、标签、模型和标注等要素，适合表征时空要素和空间位置；动态符号往往具有一定的符号表意，它能在展现时空要素空间位置与时态关系的同时形象地描述事件发生的过程及其涵义。本文实验中对于战争、行军等时空过程均采用了特殊的具有空间位置的动态符号，例如利用动态箭头来表达行军及战斗，不同符号间还蕴含了事件内部的时间关系。因此研究探讨更加灵活、准确、内涵丰富的动态符号是描述时空过程的一个有效方法。
（2）闪烁、高亮等表达方式是时空过程可视化过程中的有效手段，利用这些方法能够达到突出过程空间位置、获取用户视觉焦点的目的，使观察者随着时空过程的发展而不断转移视觉关注点。运用图片、视频、音频等多媒体手段可以使时空过程的内容表达更加形象，能够详细地描述事件发生的时空对象、位置和语义等信息。在时空过程可视化过程中，如何利用高效的人机交互方式，更好地展示丰富的时空过程内容、数量和时态等信息也是值得关注的问题。
（3）根据视觉表达需要，可以选择符号、图形序列、高亮、聚焦、动画等不同的时空过程可视化形式，准确地表达指定位置、指定时间的时空过程内容，以聚焦等形式动态展示出来，可以令时空过程表达得更加生动详实。其中，视频对象不仅与特定的空间位置相关，其自身还具有一定的时态特征，丰富了传统时空可视化中单纯依靠符号、矢量和栅格数据来展示时空过程的方式。
5 结束语
在时空数据分类与时空过程分析基础上，综合考虑视觉变量、感知特征、可视化形式等要素，提出面向视觉变量感知特征的时空过程可视化模型S-TProc_VisModel。该模型包含模型输入、视觉变量、视觉感知特征、时空过程可视化形式、模型输出五个部分，以及时空数据、时空过程、视觉变量、视觉感知、可视化类型、表现形式、可视化成果七个层次。该模型不仅能有效表达时空要素的空间位置、形态，还能描述事件中的时空过程及时态变化。通过案例的应用与分析，证明本文提出的时空过程可视化模型有效。在下一步研究中，将结合空间数据、多媒体数据和各种属性数据，探讨多源时空集成可视化方法。
