张 煜，李 萌

(西安交通大学机械工程学院，陕西西安 710049)

手持移动设备的可用性评估方法研究综述

张 煜，李 萌

(西安交通大学机械工程学院，陕西西安 710049)

对手持移动设备的可用性评估的研究现状进行了综述，总结分析了手持移动设在可用性评估标准、评估方法、技术手段及抽样等方面存在以下问题：1)目前手持移动设备可用性评估标准以设计人员和专家为本，缺乏以用户为本；2)现有的可用性评估方法主要以实验室测试为主，手持移动设备的可用性评估强调现场因素对用户的影响；3)现有的可用性评估抽样存在影响效度的明显问题。提出了手持移动设备可用性评估方法的进一步研究方向。

可用性评估；移动设备；现场测试

信息及通信技术产品在人们的生活和工作中越来越重要，由“固定性”向“移动性”发展，正在体验着“任何时间、任何地点、任何方式”的移动计算环境下的全新使用体验模式。虽然技术进步使得手持移动设备具有更强的计算能力、连接性和交互能力，但在可用性方面依然存在很多局限，面临很多挑战。手持移动设备与台式计算机等固定终端相比，使用差异性主要表现在使用环境、操作方式以及用户心理因素等方面[1-2]：

1)使用环境 使用环境动态多变，受物理条件、文化背景、硬件及网络条件、电源供给、外界干扰因素、对其他设备的依赖、突发事件的影响，给对手持移动设备的使用增加了许多局限，使用体验效果变差。

2)操作方式 手持移动设备要求操作动作尽量简单，单手操作、操作步骤尽量少、操作空间受限，目前移动设备的交互方式缺乏统一标准，用户需要学习不同类型手持移动设备的操作控制方式。另外，手势、听觉、嗅觉等多通道交互方式为手持移动设备用户提供了更多使用体验。

3)用户心理因素 在移动状态下，时间碎片化，用户使用心理非稳定，具有警惕性、注意力分散等特点，认知负荷增加，对于被动获取信息的需求增强，同时忍耐度得到降低。

由于以上原因，评估手持移动设备的可用性变得更为复杂和困难，一直是人们研究的热点。手持移动设备的可用性评估研究主要集中在建立可用性评估标准，改进可用性评估方法以及评估过程中采用的技术手段等方面。本文对手持移动设备的可用性评估的研究现状进行综述，分析目前存在的问题和难点，对进一步研究的方向进行了展望。

1 可用性评估标准

1.1可用性的国际标准

最有影响力的关于可用性的国际标准是ISO/IEC 9126-1和ISO 9241-100。国际标准ISO/IEC 9126-1提出按照用户使用观点，从功能性、可靠性、可用性、有效性、移植性和维护性6个方面衡量软件产品质量。可用性作为产品质量因素之一被定义为“在特定使用情景下，软件产品能够被用户理解、学习、使用，能够吸引用户的能力”。国际标准ISO 9241-100对可用性的定义是“产品在特定使用环境下为特定用户用于特定用途时所具有的有效性(effectiveness)、效率(efficiency)和用户主观满意度(satisfaction)”。

国际标准ISO 9241-100是依据1985年计算机的技术水准和设计思想设计的。主要存在以下问题：1)把“效率”和“有效性”作为标准是以“机器为本”的观念。2)把“有效性”作为标准是受当时计算机较低技术水平的影响。3)把“满意度”作为标准缺乏心理学依据，出现对满意度的各种不同的解释，迄今在心理学中缺乏定义和试验研究。4)从心理学的时代背景来看，20世纪70年代行为主义心理学被认知心理学取代，1985年动机心理学建立了行动模型，该标准反映了从“技术为本”向“以人为本”的过渡。5)可用性的各个因素彼此相关。导致设计人员无法判断问题原因，无法改进。对可用性的这3条标准没有给出明确的评估方法，仅是通过案例，说明具体评估中对可用性是如何考虑的[3]。

国际标准ISO 9241-100规定了用户界面的7条设计标准及54条设计指南。德国若干研究机构依据这7条标准建立固定问卷对用户进行测试。例如：德国Osnabrueck大学提出的IsoMetrics问卷等，这类问卷效度较低，主要存在的问题是这些标准是“以设计人员为本”的体现。1)测试问卷不符合用户的操作体验、行动过程以及观察角度和思维方式。2)不适合各种具体设计项目。因为每个设计项目针对的问题不同，无法用统一测试标准去衡量各个设计项目。3)只能给出评价分数，往往适合横向比较同类产品的某些指标特性，而无法测试出产品什么地方出现了问题，因此无法建议对其进行改进。

1.2其他可用性标准

1980年以来西方若干国家(爱尔兰、美国、德国等)的大学或研究机构都建立可用性调查结构框架。这些标准依据不同于上述2种国际标准的因素结构。SCHACKEL将可用性分为4个因素：有效性、可学性、灵活性、态度[4]。他认为可用性评估方法是测试用户通过学习而掌握的操作特性，不是界面适合用户的程度。NIELSEN认为可用性分为5个因素：可学习性、效率、可记忆性、出错、满意度。依据此因素结构，他提出了专家评估，经验用户测试等可用性评估方法[5]。这些主要是“以人机学专家为本”的可用性标准和评估方法，不适合用户的操作过程和评价过程。造成这种局面的主要原因在于：前期设计中建立用户模型时所采用的理论依据是心理学，不同于可用性评估中所采用的理论依据——人机工效学，这种矛盾可能会给设计与评估造成冲突。

1.3手持移动设备的可用性评估标准

1990年以后人们逐渐明白，不存在某个固定的可用性标准或评估方法。设计具体产品应建立各自的可用性标准和评估方法。针对手持移动设备，已经总结了许多可用性设计指南：比如苹果公司的人机界面指南[6]，Shneiderman的设计八原则[7]，黑莓的界面开发者指南[8]，诺基亚的40系列、60系列、90系列开发指南[9]，Symbian的用户界面风格指南[10]。这些界面设计指南为设计人员从事界面开发提供了指导依据，但无法作为可用性评估的依据。

总体来说，目前手持移动设备的可用性评估标准的现状是主要依据国际标准和一些人机学专家建立的可用性因素框架，在此基础上根据手持移动设备的特点提出部分补充因素。例如：ZHANG Dongsong等给出了移动设备可用性评估的通用框架和可用性评估标准[11]。VIGO等提出了移动Web的评估框架，并完成了一个可自动计算的定量测试工具。对可用性的定量测量指标是：出错率、绝对出错数目[12]。HUMMEL等建立了移动情景因素框架，并基于无线传感器的网络(wireless sensor network，WSN)自动获取环境信息，为分析环境因素对可用性的影响提供了客观依据[13]。BEOM等给出了手机的可用性评估框架，以定性测量可用性风险[14]。JEONGYUN等提出了一个针对手机可用性评估的框架，以可用性因素多水平、分层模型为基础，支持基于任务的评估和3类不同界面类型(逻辑用户界面LUI，物理用户界面PUI和图形用户界面GUI)的评估。提出了5个可用性标准：可视化支持任务目标，支持认知交互，支持有效交互，功能支持用户需要，人机学支持[15]。这些可用性标准的共同特点是，以“设计人员或人机学专家为本”，并没有从根本上形成“以用户为本”的可用性测试体系。提出建立以“用户为本”的可用性标准和评估方法应该根据具体情景和任务下，不同类型用户对可用性的不同需求来建立基于用户行动和认知特性的用户模型和可用性标准。

2 可用性评估方法

2.1现有的可用性评估方法

现有的可用性评估方法已超过20种，大致分为测试(Testing)、询问(Inquiry)、检查(Inspection)3类方法。传统方法多为实验室环境下的评估，包括：绩效测量法(Performance Measurement)、认知走查法(Cognitive Walkthroughs)[16]、启发式评估(Heuristic Evaluation)[17-18]、有声思维(Thinking Aloud Protocol)、清单核查法(Feature Inspection)[19]、实验室观察(Lab Observation)，问卷测试等。这些方法都有各自特点，每一种方法都不能完全胜任可用性评估的全部要求，需要把各种方法结合起来，充分发挥各自的特点，相互弥补不足。现场测试如图1所示[20]。

图1 移动设备的现场测试Fig.1 Field testing of mobile device

2.2基于现场测试的手持移动设备的可用性评估方法

基于手持移动设备的特殊性，KJELDSKOV等认为台式计算机的可用性评估方法不完全适合手持移动设备，需要建立新的可用性评估方法[21]。他们主要针对实验室方法提出了改进，设计不同的路线，让用户在行走中操作测试任务。但仅考虑了人体运动、是否需要集中注意力对认知负荷的影响，只测试了人行道上行走时的使用情景。而真实使用情景下的影响因素更为复杂。对于手持移动设备来说，实验室环境屏蔽了现实生活中重要的文化和环境因素，无法复制和模拟真实环境的多变性，无法再现用户的真实使用心理。因此，现场评估必不可少。许多学者比较了手持移动设备在实验室和真实环境下可用性测试结果在可用性问题的出现频率、严重性，用户的行为，与设备交互的主观反应[22]，以及认知负荷[23]方面存在显著差异。GEORGIOS等在评估移动教育博物馆的应用中采用了3种不同的评估方法：专家检查、实验室测试和现场测试。结果表明不同成本下每种方法发现不同类型的可用性问题。专家检查成本低，可在早期发现关键性的可用性问题；现场测试最耗时耗力，但其他方法无法代替的是可以发现实际环境下操作的情况。他们主张在设计开发过程的不同阶段采用不同的方法组合评估可用性评估[24]。DONG等建立了基于虚拟现实的移动设备设计评估系统，试图弥补实验室测试的缺陷，主要用于手机外观设计方案评估和部分手机操作可用性评估[25]，但缺少视觉以外的多通道感知反馈，系统尚不完善。 针对传统实验室测试的缺陷，现场测试与多种方法的结合成为近年来移动设备可用性评估的主要趋势。情景分析、短期或长期跟踪研究、日常观察以及日志研究(Log Study)、记录实际使用法(Logging Actual Use)、远程测试法(Remote Testing)等方法被广泛采用[26]。有关移动设备可用性评估的研究仅发展了近10年时间，随着各种新的移动应用形式出现，可用性评估方法仍有许多亟待解决的问题。OULASVIRTA认为现场测试必须发展针对复杂非任务现象的有效测量指标和技术手段。同时指出，当前的可用性评估缺乏对结果广泛适用性的讨论，缺少对产品的长期跟踪研究[27]。KASPER给出评价可用性评估方法的一些原则，认为应更仔细分析可用性问题的内容，研究可用性评估过程的细节，关注可用性问题在现实生活中的优先级，以及可用性评估如何影响设计[28]。为了便于设计开发人员使用，设计过程和评估过程应依据相同的标准，WONKYU等试图解决这一问题：将一般性可用性原则、UI组件和设计属性3个因素相结合，建立手机用户界面的样式开发指南[29]。从上述资料可以看出，各种因素如何影响可用性评估的效度和信度有待进一步分析研究，需要探索一套有效适合手持移动设备的可用性评估体系。

3 技术手段

3.1可用性评估的难点问题

移动设备的可用性评估，一方面要尽量反映真实使用环境，另一方面要尽量减少研究人员和测试仪器设备对用户使用的干扰。完整、准确的记录收集可靠数据是长期以来研究的一个难点问题。

3.2可用性评估的各种技术手段

在长期跟踪研究或远程可用性研究中，通过移动设备系统本身记录用户的使用日志[30]，为此开发了RECON、MyExperience和Xensor等相关工具[31-32]。自动记录工具是一种典型的不影响用户直接被动的记录方式。通过移动设备本身加载信息记录工具，可以记录用户的客观信息，并可以采集传感器捕获的环境信息，但缺点是不能够得到用户的主观原因。为了弥补这一缺陷，LIU Ning等通过数据记录和电子日志相结合等方法进行可用性现场评估[33]。除此以外，眼动跟踪近年来被用于网页、移动设备等的可用性评估中[34-36]。眼动跟踪技术应用于可用性评估使得传统的观察法有重要突破。以眼动与知觉和思维活动的关系为假设前提：扫视与凝视的路径反映知觉意向，扫视的频率与视觉搜索难度有关，凝视持续的时间长短与理解信息的难度有关等。利用凝视时间、凝视数目、感兴趣区转移频次矩阵等眼动指标，结合测试任务及认知心理机制，建立可用性评估模型，对于分析界面的认知内因，发现可用性问题、改进设计具有较高的有效性和实用性。眼动跟踪设备有头戴式、桌面式等，SMI公司最新的眼镜式眼动仪(如图2)更为移动情景下的可用性测试提供了无干扰的设备支持。

图2 眼镜式眼动仪在可用性研究中的应用Fig.2 Application of eye tracking glasses in usability study

目前，图像识别、指纹识别、重力感应、加速度、位移、陀螺仪、磁阻等传感器已经应用于智能手机等移动设备，通过传感器采集环境和用户行为信息为用户提供更多自适应的交互方式[37]。与此同时传感器在可用性评估中也发挥着重要作用，利用传感器监测现场评估时的环境信息(光线、加速度、声音、温度、湿度)和与之相关的用户使用行为信息。Affectiva公司提供了一种可穿戴的微型无线生物传感器Q Sensor，通过测量皮肤电导活动反映被试的有关情绪状态，例如：兴奋、注意、焦虑、放松等。摆脱了实验室环境限制，适合日常环境中对用户跟踪测试。Antti Oulasvirta也提出了一个移动可用性实验室的解决方案，包括：记录表情和界面操作的近景摄像头、记录环境的远景摄像头等以及无线网络环境。但缺点是成本昂贵，约1万欧元，该系统有待优化[38]。较之前广为普及的基于实验室的可用性评估方法，移动设备的可用性评估方法方面进展缓慢的原因之一可能是是缺少可靠、经济、灵活的技术解决方案。

4 可用性测试抽样问题

移动设备的可用性评估与其他产品的可用性评估一样，用户测试方法中抽样问题是关键问题。目前国内外没有成熟的方法，主要应用NIELSEN的实验结论[39]。该结论存在以下问题：

1)没有考虑不同类型用户的差异，仅测试专家用户；

2)测试时间短，仅测试1～2 h，限制了可用性问题发现数量；

3)测试任务由测试专家自行拟定少量任务，随意性大，不能涵盖全部任务；

4)该实验采用用户测试和启发式评估，没有验证该结论是否适用于其他评估方法；

5)该实验结论是建立在用户发现可用性问题概率固定在31%基础上，当发现概率较低时，实验结论不适用；

6)没有考虑到产品差异，没有验证该结论是否适用于其他产品；

7)该实验结论采用Z分布，而不是适合于小样本量的t分布，会扩大置信区间。随后，不断有学者针对NIELSEN的实验结论进行实验验证，讨论可用性测试中抽样问题，当前主要集中在四方面进行讨论：测试人数、评价人、用户类型、测试任务[40-43]。

NIELSEN等人的实验结论是比较早期的实验，缺少针对移动设备进行的实验。而在移动设备的可用性评估研究中，抽样对整个评估效度的影响仍有待进一步研究验证。

5 结 语

上述资料表明：在移动设备的可用性评估方面近10年来取得了一些很有意义的成果，尤其是在可用性评估方法方面进行了许多新的尝试，在传统实验室测试的基础上有较大突破。真实使用情景下的测试与其他评估方法和技术手段的结合，成为该领域的主要研究方向之一。但与此同时，移动设备的可用性评估方法尚不成熟，尤其是在可用性评估标准和贯穿设计过程始终的评估方法等方面还存在一些问题尚未解决或需要进一步研究。

1)目前国内外采用的可用性评估标准共同特点是，以“设计人员或人机学专家为本”的标准，依据这些指标无法建立“以用户为本”的评估方法和评估过程，评估和设计的理论依据不统一，没有从本质上解决建立“以用户为本”的设计和评估体系的问题。评估过程发现和解决可用性问题的程度，主要依赖设计开发人员的经验水平，致使效率较低。应该站在“以用户为本”的角度，重新思考“可用性”的含义，针对手持移动设备不同类型用户对可用性的不同需要来建立基于用户行动和认知特性的用户模型和可用性标准。

2)手持移动设备的可用性评估方法强调情景因素对用户的影响，但目前所建立的情景框架过于简单，缺少考虑用户的认知因素。本文认为，基于用户行动模型和认知模型需要建立更为全面的评估因素框架，将用户模型转换为可用性评估的观测点，同时利用新的技术手段与传统方法的结合在真实使用状态下记录和收集全面的数据。总结出各种评估方法运用于设计不同阶段的最优化方案，特别是针对产品的长期跟踪研究。

3)除此以外，影响可用性评估效度的因素众多，其中用户测试方法中抽样问题是关键。包括：测试人数、评价人、用户类型和测试任务。要解决评估样本量估计的问题，目前的研究思路都是为可用性测试建立一个关于可用性问题发现率的数学模型，如何选择测试用户类型和用户数量没有可靠的实验结论。下一步有必要研究在不同的移动应用中，不同抽样人数、不同用户类型与发现可用性问题数量与类型之间的关系，根据实验结果获得可用性测试最佳抽样配额的经验数据，以提高可用性测试效率，降低测试成本。

/

[1] PASCOE J, RYAN N, MORSE D. Using while moving: Human-computer interaction issues in fieldwork environments[J]. Annual Conference Meeting Transactions on Computer-Human Interaction,2000, 7(3): 417-437.

[2] GORLENKO L, MERRICK R. No wires attached: Usability challenges in the connected mobile world[J]. IBM Systems Journal, 2003, 42(4): 639-651.

[3] 李乐山. 人机界面设计(实践篇)[M]. 北京:科学出版社, 2009.

LI Leshan. Human Computer Design (Practise Part)[M]. Beijing: Science Press, 2009.

[4] SCHACKEL B. Human Factors for Informatics Usability[M]. Cambridge: Cambridge University Press,1991.

[5] NIELSEN J.可用性工程[M].刘正捷,译.北京:机械工业出版社, 2004.

NIELSEN J. Usability Engineering[M]. Translated by LIU Zhengjie. Beijing: China Machine Press, 2004.

[6] Apple Computer. Macintosh Human Interface Guidelines[M]. Massachusetts:Addison-Wesley,1992.

[7] SHNEIDERMAN B. Designing the User Interface: Strategies for Effective Human-Computer Interaction[M]. Massachusetts: Addison-Wesley,1992.

[8] Motion Limited. Developer‘s Guide for BlackBerry TM and RIM Wireless HandheldsTM[EB/OL]. http://www.blackberry.com/developers/na/c_plus/doc/sdk21/ui_engine_api_21.pdf, 2001-04-09.

[9] Nokia Limited.S60 Platform:Scalable UI Guideline[EB/OL].http://www.developer.nokia.com/info/sw.nokia.com/id/4239db2a-2e0d-4592-a9c0-3936d0550d64/S60_Platform_Scalable_UI_Guideline_v1_0_en.pdf.html,2013-07-02.

[10] Nokia Limited.Symbian User Interface Style Guide[EB/OL]. http://developer.nokia.com/info/sw.nokia.com/id/5c419b14-75ff-4791-b1a8-db1e0d72e36e/Symbian_3_UI_Style_Guide.html,2013-07-04.

[11] ZHANG Dongsong, BOONLIT A. Challenges, methodologies, and issues in the usability testing of mobile applications[J]. International Journal of Human-Computer Interaction, 2005, 18(3): 293-308.

[12] VIGO M, ARRUE M, BRAJNIK, G. et al.Quantitative metrics for measuring web accessibility[A]. W4A’07 Proceedings of the 2007 International Cross-disciplinary Conference on Web Accessibility[C]. New York: ACM, 2007. 99-107.

[13] HUMMEL K A.HESS A. Environmental context sensing for usability evaluation in mobile HCI by means of small wireless sensor networks[A].Proceedings of the 6th International Conference on Advances in Mobile Computing and Multimedia[C]. New York:ACM,2008.302-306.

[14] BEOM S J, YONG G J.Usability risk level evaluation for physical user interface of mobile phone[J]. Computers in Industry, 2010,61: 350-363.

[15] JEONGYUN H, DONG H H, SANGHYUN P, et al. A framework for evaluating the usability of mobile phones based on multi-level, hierarchical model ofusability factors[J]. Interacting with Computers, 2009,21: 263-275.

LEWIS C, POLSON P, WHARTON C, et al. Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces[A]. CHI '90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C]. New York:ACM,1990.235-242.

[16] LEWIS C,POLSON P,WHARTON C,et al.Testing a walkthrough methodology for theory-based design of walk-up-and-use interfaces[A].CHI′90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C].New York:ACM,1990.235-242.

[17] NIELSEN J, MOLICH R. Heuristic evaluation of user interfaces[A]. CHI '90 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems [C]. New York:ACM,1990.249-256.

[18] VERMEEREN A P O S, KESTEREN I E H.Managing the evaluator effect in user testing[J]. International Journal of Human-Computer Studies, 2006, 64 (9): 647-654.

[19] HOLLINGSED T, NOVICK D G. Usability inspection methods after 15 years of research and practice[A]. SIGDOC '07 Proceedings of the 25th Annual ACM International Conference on Design of Communication[C]. New York:ACM, 2007.249-255.

[20] MARCO de Sá, Luís Carriço. Defining scenarios for mobile design and evaluation[A]. CHI EA '08 CHI '08 Extended Abstracts on Human Factors in Computing Systems[C].New York: ACM, 2008.2 847-2 852.

[21] KJELDSKOV J, STAGE J. New techniques for usability evaluation of mobile systems[J]. International Journal of Human-Computer Studies, 2004,60: 599-620.

[22] HENRY B L D, GERALD C B T, VIVIAN H C. Usability evaluation for mobile device:A comparison of laboratory and field tests[A]. MobileHCI’06 Proceedings of the 8th Conference on Human Computer Interaction with Mobile Devices and Services [C].New York: ACM, 2006.182-186.

[23] CHRISTIAN M N, MICHAEL O, MICHAEL B P. It's worth the hassle!:The added value of evaluating the usability of mobile systems in the field[A]. NordiCHI’06 Proceedings of the 4th Nordic Conference on Human Computer Interaction[C]. New York: ACM, 2006: 272-280.

[24] GEORGIOS F, DIMITRIOS R,NIKOLAOS A. Considering cost in usability evaluation of mobile applications: Who, Where and When[J]. Human-computer Interaction, 2009, 5726:231-234.

[25] DONG S J, YANG U Y, SON W H. Design evaluation system with visualization and interaction of mobile devices based on virtual reality prototypes[J]. ETRI Journal, 2008, 30(6): 757-764.

[26] REGINA B, KRISTIJAN M, MARIANNA O. Usability Evaluation methods for mobile applications[A]. Handbook of Research on User Interface Design and Evaluation for Mobile Technology[C]. Hershey:IGI Global,2008: 745-758.

[27] OULASVIRTA A. Fielding usability evaluation[J]. IEEE Pervasive Computing, 2011,99:112-127.

[28] KASPER H. Dogmas in the assessment of usability evaluation methods[J]. Behaviour & Information Technology, 2010,29(1): 97-111.

[29] PARK W H,HAN SH,KANG S J, et al. A factor combination approach to developing style guides for mobile phone user interface[J]. International Journal of Industrial Ergonomics, 2011,41: 536-545.

[31] KASPER L J. RECON: capturing mobile and ubiquitous interaction in real contexts[A].MobileHCI’09 Proceedings of the 11th International Conference on Human-Computer Interaction with Mobile Devices and Services[C]. New York: ACM, 2009,76:89-101.

[32] TONIO C, FABIO P, VAGNER S. Support for remote usability evaluation of web mobile applications[A]. SIFDOC’11 Proceedings of the 29th ACM International Conference on Design of Communication[C]. New York:ACM, 2011.129-136.

[33] LIU Ning, LIU Ying, WANG Xia. Data logging plus e-diary:Towards an online evaluation approach of mobile service field trial[A]. MobileHCI’10 Proceedings of the 12th International Conference on Human Computer Interaction with Mobile Devices and Services[C]. New York: ACM, 2010.287-290.

[34] HEMBROOKE P, GRANDA G. Determinants of web page viewing behavior: An eye-tracking study[A]. ETRA’04 Proceedings of the 2004 Symposium on Eye Tracking research & Applications[C]. New York: ACM,2004.147-154.

[35] 程时伟,石元伍,孙守迁. 移动计算用户界面可用性评估的眼动方法[J]. 电子学报, 2009,37(4):146-150.

CHENG Shiwei, SHI Yuanwu, SUN Shouqian. An approach to usability evaluation for mobile computing user interface based on eye-tracking[J].Chinese Journal of Electronics, 2009,37(4):146-150.

[36] CHAIWOO L, SANGWOO B, GA W K, et al. Performance comparison of manual and touch interface using video-based behavior analysis[J]. Journal of the Ergonomics Society of Korea, 2010,29(4): 655-659.

[37] 裴春梅,杨秀清,王贵明. 传感器在智能手机中的应用[J]. 湖南农业大学学报, 2009, 35(1):108-126.

PEI Chunmei, YANG Xiuqing, WANG Guiming. The typical applications of sensor in smart phone[J]. Journal of Hunan Agricultural University, 2009, 35(1):108-126.

[38] OULASVIRTA A, NYYSSÖNEN T. Flexible hardware configurations for studying mobile usability[J]. Journal of Usability Studies, 2009,4(2): 93-105.

[39] NIELSEN J,LANDAUER T K. A mathematical model of the finding of usability problems[A]CHI′93 Proceedings of the INTERACT′93 and CHI′93 Conference on Human Factors in Computing Systems[C]. New York:ACM,1999.206-213.

[40] LEWIS J R,SAURO J. When 100% really isn’t 100%: Improving the accuracy of small-sample estimates of completion rates[J]. Journal of Usability Studies, 2006, 1(3): 136-150.

[41] HERTZUM M, JACOBSEN N E. The evaluator effect: A chilling fact about usability evaluation methods[J]. International Journal of Human-Computer Interaction, 2001,13(4):421-443.

[42] FAULKNER L, WICK D. Cross-user analysis: Benefits of skill level comparison in usability testing[J]. Interacting with Computers, 2005,17(6): 773-786.

[43] LINDGAARD G, CHATTRATICHART J. Usability testing: What have we overlooked?[A]. CHI′07 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems[C]. New York:ACM, 2008: 1 415 -1 424.

Review of usability evaluation methods for mobile device

ZHANG Yu, LI Meng

(School of Mechanical Engineering, Xi′an Jiaotong University, Xi′an Shaanxi 710049, China)

The research progress of usability evaluation methods for mobile device is presented. The criteria, the methods, the technique and the sampling of mobile device are analyzed.The problems are as follows: 1) the existing usability evaluation criteria is designed mainly for designers or experts, not for users; 2) usability evaluation methods are mainly used for laboratory tests, while mobile device highly needs field test ; 3) There are obvious validity problems in sampling in the process of usability evaluation.The future study directions are proposed in the paper.

usability evaluation; mobile device; field test

1008-1542(2013)04-0286-07

10.7535/hbkd.2013yx04004

TP368.3

A

2013-04-19；

2013-05-27；责任编辑：张 军

国家自然科学基金(51205304)

张 煜(1980-)，女，山西新绛人，讲师，硕士，主要从事人机界面设计、产品设计方面的研究。

E-mail：zy_xjtu@163.com