APP下载

满意度能作为社会服务效果评价指标吗?

2022-04-14刘江顾东辉肖梦希

关键词:效果评估社会服务满意度

刘江 顾东辉 肖梦希

[摘要] 满意度因其容易被理解、方便操作而成为政府购买社会服务领域被广泛使用的效果评价指标之一。但是其主观倾向性、自评异质性,以及其与社会服务效果之间的逻辑联系,又对满意度作为效果评价指标提出了挑战:满意度能作为社会服务效果评价指标吗?为回应这一问题,本研究以N市一项为期3年的社区自治服务项目为案例,通过严格的问卷设计和样本抽取,综合使用潜在类别分析(latent class analysis)和回归分析处理数据。数据分析结果显示:(1)满意度在不同特质的人之间具有较强的稳定性;(2)满意度与社会服务的主观效果之间具有显著正向联系,可以被主观效果有效预测;(3)满意度与社会服务的客观效果之间不具有显著性联系,无法被客观效果有效预测。统计结果说明,满意度作为社会服务的效果指标具有条件性限制。在实务工作中,满意度可以用来代替社会服务的主观效果,但是不能用来代替社会服务的客观效果。研究结果为满意度作为效果指标的运用设定了限制性条件,可以减少该领域内满意度被滥用的现象。

[关键词] 满意度  社会服务评估  效果评估  社会服务

[基金项目] 本文系国家社会科学基金重大项目“中国特色社会工作制度体系研究”(编号:19ZDA144)、国家社会科学基金青年项目“新时代社会工作服务的赋权评估实践体系研究”(编号:21CSH065)的阶段性成果。

[作者简介] 刘江,南京理工大学公共事务学院讲师,研究方向为社会工作评估研究、社会工作理论、社会工作量化分析;顾东辉,复旦大学社会发展与公共政策学院教授、博士生导师,研究方向为社会工作理论、中国特色社会工作;肖梦希,江苏省科学技术情报研究所助理研究员,研究方向为科技评估。

[中图分类号] C916

[文献标识码] A

[文章编号] 1008-7672(2022)01-0001-14

一、 问题提出

受我国政府购买社会服务纵深发展之影响,针对社会服务的评估已经从单纯地重视过程转向过程与效果并重。就社会服务效果评估而言,研究者们从评估设计①②、评估方法③④、评估内容⑤⑥等角度进行研究。在评估实践中,受评估成本、评估技术、评估手段的限制(如严谨的前后测、指标开发、统计建模等),内容简单、操作便捷的服务对象满意度成为实务工作者和第三方评估者评价社会服务效果的首选工具。

一般而言,评估领域的满意度通常有两种测量方法。一种是整体满意度,也即通过询问服务对象单一的问题来测量其对社会服务的主观感受。另一种是针对服务过程和内容的满意度,也即要求服务对象从服务的可及性、连续性、工作者服务能力、服务环境、服务结果等方面进行满意度评价。后一种测量方法催生出许多满意度量表,比如CSQ-8⑦、SSS-15⑧、PSQ-18⑨、SPRI⑩。虽然两种测量方法在内容和形式上差异较大,但是二者本质上同为服务对象根据接受服务的主观经历(或经验)进行评价。当前,我国社会服务评估最常用的是整体满意度测量方法。实务工作者或評估者通常会询问服务对象对机构提供的服务总体上是否满意,回答选项通常包括非常不满意、比较不满意、一般、比较满意、非常满意。

作为社会服务效果评价指标,满意度面临两个重要的困境。首先,作为一种主观评价,满意度通常源自个人接受服务的体验,是对服务的期望与实际情况之间做出的比较。①②③这种比较又会因服务对象个人特质、所属群体、所在地域等因素而存在差异。因为这些差异,不同的服务对象可能会对同一个回答选项具有完全不同的认知和理解,这通常被叫作“自评异质性”。④⑤当出现这种现象时,不同服务对象提供的满意度评价结果在多大程度上能够体现出服务的真实状况就会遭到怀疑。因此,满意度在不同群体之间的稳定性就成为其作为效果评价指标的第一个困境。其次,从社会服务效果评估的角度来看,效果评估就是确定干预(服务)是否在实践意义上产生了预期效果。这个界定至少包含两层含义。其一,服务预期的效果是否达到?其二,在控制或排除其他干扰因素的情况下,干预(服务)与预期效果之间是否存在因果关系?基于这两点,服务对象根据自身接受服务的体验所做的主观评价,满意度高不一定是“治疗效果好”的同义词。⑥因此,服务预期效果与满意度之间是否存在正相关关系就成为其作为效果评价指标的第二个困境。

本研究旨在借助政府购买社会服务项目对该议题展开研究。本研究将分以下几个步骤完成:(1)指出满意度作为效果评价指标面临的困境;(2)以政府购买社会服务项目为研究对象收集数据,并进行统计分析;(3)总结和讨论统计分析结果,并对未来研究和评估实务提出有关建议。

二、 文献回顾

(一) 满意度的测量困境

满意度这一概念最早由Cardozo于1965年提出,通常用于描述一种针对社会、行为健康等方面项目是否成功的实用且有效的指标。⑦关于满意度的理论内涵,刘芳等将其归纳为三种模式,分别是:对比模式(contrast model)、同化模式(assimilation model)、同化—对比整合模式(integrated assimilation-contrast model)。⑧其中,对比模式是理解满意度比较普遍且容易被理解的理论模式。在这一模式中,服务对象对服务的期望与服务的真实情况之间的比较构成满意度的核心内容。①一些学者将满意度视为服务对象的一种心理状态(psychological state),并且这种心理状态源自服务对象对服务的主观期待和所感知的服务效果之间的主观比较。②③总体来说,满意度同时具有认知和情感两个要素。就认知而言,它是服务对象对服务内容、服务过程和服务效果的认知及其所做出的评估;而情感则反映了服务对象在多大程度上喜欢或者不喜欢所接受的服务。④

从做出满意度抉择的微观心理机制角度来看,服务对象通常会根据自己对满意度的理解从记忆中搜寻与项目(或服务)有关的碎片化信息(比如接受服务的感觉、服务人员工作态度、服务人员工作技巧等)来进行回答。这些碎片化的信息通常是服务对象感知最为深刻的内容。这可能导致服务对象将服务效果的评价等同于其所感知的内容,而不是服务的真实效果。此外,受服务情境的影响,服务对象通常会报告偏高的满意度(属于明显的回答偏误)。这可能源自服务对象对服务提供者表示感谢,而非忠于服务的真实情况;也可能源自服务对象受到服务情境中他人(包括服务提供者、资方等)施加的压力;还可能源自服务对象对未来是否可以继续接受服务的考虑。⑤⑥不论是服务对象根据所接受的服务而产生的认知要素、情感要素,还是其最终做出选择的微观心理机制,都体现出满意度的主观倾向性。

从影响满意度的外在因素来看,年龄是最具效力的影响因素,相较于年轻的服务对象,年龄大的服务对象通常呈现出较高的满意度。⑦就性别而言,相较于男性,女性呈现出较高的满意度⑧,但是也有研究显示,男性更容易呈现较高的满意度⑨。就受教育程度而言,受教育程度低的服务对象比受教育程度高的服务对象更容易呈现出较高的满意度。①当研究者们得出这类比较性研究结果时,本质上隐含的一个前提是“满意度”(如非常满意)对所有服务对象而言都代表着同样的水平(同样的满意度认知状况)。因此,我们所观测到的自评结果在不同群体间是可比较的,即群间可比性。②但是,满意度的主观倾向性导致其具有较强的自评异质性,也即由于每个人打分时的评判原则或标准不同,因而使得人们给出的评分相互之间的可比性会存在一定问题。以上这些因素都可能导致满意度在不同群体间缺乏稳定性。

(二) 满意度作为效果评价指标的逻辑困境

满意度与服务质量管理(quality management)密切联系在一起。传统的评估实务通常过于强调评估结果的客观性,进而过于强调第三方评估的角色。服务对象通常被屏蔽于评估环节之外。但是,针对服务质量好坏的评估如果只考虑服务的提供者和评估者,那么可能导致评估结果出现偏差。③从质量管理的角度来看,满意度是评估社会服务质量的核心要素,是社会服务质量管理的基石,与服务对象的健康状况、生命质量等有重要联系。④因此,进行质量评价必须充分考虑服务对象的需求、偏好及其接受服务的主观体验。⑤较高的满意度通常被视为衡量服务组织服务质量好坏的重要标准。⑥正是基于这些因素,许多服务机构(或组织)都尝试使用满意度来评价服务质量,甚至直接将其作为评价服务效果的重要指标。

作为评价服务质量好坏的重要指标,满意度的优势在于其对社会服务各个层次(包括个体层次的改变、项目管理、项目传递等)的质量具有高度敏感性,有助于服务提供者提升服务质量和服务效果。⑦但是,服务质量与服务效果之间存在本质上的差别。服务效果超越了简单的主观好坏评价,效果评估就是确定干预(服务)是否在实践意义上产生了预期效果。⑧由此,理解服务效果的关键是在排除其他干扰因素的情况下,确定服务与其对象的特定状况之间的因果联系。然而,较高的满意度可能源自受他人社会赞许之影响,也可能源自服务对象期望的实现,而非源自服务的实际效果或服务对象需求的满足。①因此,较高的满意度并不一定是“治疗效果好”的同义词。②即便满意度高低可以说明服务质量好坏,也无法直接说明服务效果如何。

既然满意度不能直接说明服务效果如何,那么二者之间存在何种逻辑关系呢?对于满意度与服务效果之间的关系,我们可以从测量的角度来理解。在实际研究和运用中,满意度通常可以从过程(process)和结果(outcome)两个角度来进行测量。作为一个过程,满意度可以对服务结果产生影响;作为一种结果,满意度受到诸多因素的影响。③Pendleton指出,满意度是介于服务和服务结果之间的重要变量。④而John等将满意度视为服务效果的前置性变量。⑤满意度可以作为预测服务对象关于服务态度和行为的变量。遵循这些思路,满意度评价服务效果的核心逻辑是:那些对服务感到满意的服务对象,会继续接受服务进而获益;而那些对服务感到不满意的服务对象,通常会停止接受服务而无法从服务中获益。⑥根据上述逻辑,满意度与服务效果之间是一种间接关系。这种间接关系导致其作为服务评价指标的逻辑变得更加模糊。满意度与服务效果之间的因果机制难以获得有效说明。这进一步导致满意度作为社会服务效果评价指标存在着较强的随机性。这种随机性打破了作为效果评价指标的满意度与真实服务效果之间一一对应的关系,进而降低其有效预测(或被预测)服务真实效果的可能性。

(三) 研究推论

根据前述有关满意度的测量困境和作为效果评价指标的逻辑困境,本研究提出推论:

推论1:受个人特质等差异之影响,满意度会在不同的服务对象之间存在差异。

推论2:受逻辑模糊性的影响,满意度无法有效预测(或被预测)服务的真实效果。

三、 研究设计与方法

(一) 研究设计和案例选择标准

1. 满意度测量困境的应对策略

本研究认为,我们可以从以下两个方面来回应满意度测量中的自评异质性和逻辑困境。

首先,在进行研究设计时,我们应该充分考虑满意度自评异质性的特征。一般而言,满意度报告存在差异源自服务對象对服务实际情况的感知。而服务对象的感知又随个人特质(如性别、年龄、受教育程度、宗教信仰等)而变化。要检验满意度是否具有稳定性,就需要对这些影响感知的个人特质进行有效处理。也即在研究过程中,一是要确保研究对象在人口学特征变量上具有多样性,保证研究对象包括不同年龄、不同性别、不同教育背景的人,二是检验满意度是否随不同特征的变化而变化,进而确定满意度在不同人群(或个体)间的稳定性。

其次,在进行研究设计时,我们应该充分考虑社会服务效果评估的逻辑。由于“满意度高”不是“治疗效果好”的同义词,且与真实服务效果之间的关系存在随机性,因此需要检验满意度能否或者在多大程度上能够被真实的服务效果所预测。在研究过程中,一是要确保服务对象所参与的社会服务产生了特定的效果,二是检验满意度能否被真实的服务效果所预测。

2. 案例标准及选择

根据前述应对策略,本研究使用如下标准选择案例:第一,所选案例能够检验满意度在不同特征的服务对象之间的稳定性,因此本研究需选择一个服务对象多、服务对象异质性高的案例。第二,所选案例能够检验满意度与服务效果之间的联系。由于社会服务效果通常包含主观效果与客观效果,因此需要选择一个能顺利完成并产生某种主观和客观效果的案例。根据上述标准,本研究最终选择一项政府购买并落地基层社区的社会服务项目。该项目是东部地区N市W社区的居民自治项目。该项目由专业的社会组织——H社会工作服务中心——执行(项目逻辑见文章第四部分)。

(二) 调查工具和资料收集

本研究使用调查问卷收集研究资料。调查问卷包括个人基本情况(包含人口学变量)、服务参与情况、服务效果(含主观效果和客观效果)、服务满意度(总体满意度、满意度量表)四个部分。本研究调查问卷的制作包括以下几个步骤。第一步,根据项目评估中常用的逻辑模型(logic model)对项目计划书进行操作化处理,重点识别出重要服务内容和服务预计达到的效果,并在二者之间建立可供统计检验的逻辑联系。这一步骤的目标是为该服务的效果检验提供逻辑基础。第二步,邀请项目的利益相关者(包括项目负责人、资方代表、服务对象)就该项目运作状况开展焦点小组访谈,根据访谈内容修订服务内容、服务预计达到的效果及二者之间的逻辑联系,确保项目逻辑的真实性。第三步,根据修订好的服务内容、服务预计达到的效果以及二者之间的逻辑联系制作调查问卷。第四步,将设计好的调查问卷分别交给W社区居委会书记、H社会工作机构项目负责人、服务对象代表(2人),并要求他们根据项目的实际运作情况对问卷提出修改意见。第五步,在保证问卷学术品质的前提下,根据修改意见修订调查问卷。按照上述几个步骤,本研究最终制定了“W社区社会组织发展中心建设项目调查问卷”。

(三) 资料分析方法

本研究主要使用回归分析进行统计检验,包括以下几个分析步骤。第一步,以服务对象参与社会服务的实际情况作为自变量,主观效果变量和客观效果变量作为因变量建立回归模型。该模型主要检验该项目是否实现主观效果和客观效果。之所以将这个步骤作为第一步,是因为只有社会服务具有效果时,检验满意度作为效果指标才具有实际意义。第二,以满意度为因变量,人口学变量(如性别、年龄、受教育程度、政治面貌等)为自变量建立回归模型。该模型主要检验满意度在不同特征的服务对象之间是否具有稳定性。第三,以满意度作为因变量,主观效果变量和客观效果变量作为自变量建立回归模型。该模型主要检验在社会服务具有效果的前提下,主观效果变量和客观效果变量是否能够有效预测(或解释)满意度。该步骤主要回应满意度作为效果评价指标的逻辑困境。

四、 案例介绍和项目逻辑

(一) 案例介绍

本研究使用的案例是位于N市主城区内W老旧小区的社区自治项目。该小区始建于20世纪80年代,共243个单元3491户9634人。居民以回城知青和企业职工为主。其中,60岁及以上老年人占社区总人口的三分之一,属于典型的老龄化、低收入、无物业的老旧社区。因为建立时间早,无物业,社区的卫生、绿化等全靠居委会自上而下动员社区居民参与。在动员式社区治理下,社区居民通常被动参与社区有关事务,居民社区参与的积极性低、社区治理效率低(有关数据由W社区居委会提供)。

为激发社区居民参与主动性、提升社区治理效率,W社区居委会借助政府购买社会服务的契机,引进H社会工作机构开展以实现社区居民自治为目标的服务项目。H社会工作机构以协商治理为理念开展多项社区自治服务(如社区文化墙改造、楼道充电安全防范培训与宣传、社区邻里活动策划、银发互助活动、社区安全培训等),推动社区居民参与社区服务,实现了居民自己管理社区内部公共事务。在该项目立项之初,社区居委会明确提出,社区居民自治的最终目标就是要实现楼道卫生、邻里关系等方面的自我维护。居委会和H社会工作机构会对楼道自我管理实际情况进行评比,并颁发“楼道之星”奖状。此外,H社会工作机构为了吸引和带动社区居民参与,还提供了一些与居民楼道自我管理并不直接相关的一般性社区康乐服务(如广场舞班、健身气功班、唱歌班、朗读班等)(项目有关信息源自H社会工作机构提供的项目标书和服务计划书)。

随着项目的发展,社区居委会与H社会工作机构项目负责人发现,项目服务对象在参与各类社区自治服务后志愿精神获得极大提升。项目服务对象对参与社区的自我管理表现出更强烈的意愿。由于社区志愿精神获得提升成为该项目意外性的结果,因而在开展结项评估之前,社区居委会和H社会工作机构就评估目标达成新的共识,除了项目的客观效果“社区自我管理”(获得“楼道之星”)之外,主观效果“社区志愿精神”也被纳入评估体系。

(二) 项目逻辑及假设

通过对案例的梳理,H社会工作机构的项目逻辑可以用图1来表述。H社会工作机构提供的两种服务具有本质上的差异。社区自治服务以协商自治为内涵,强调服务对象自主参与和管理社区内有关事务。一般性社区康乐服务则以满足服务对象的兴趣爱好需求为主要目标。服务性质不同对于参与其中的服务对象所产生的影响也有所不同。相较于参与一般性社区康乐服务的服务对象,参与社区自治服务的服务对象可能更容易实现居民社区自我管理的主观效果和客观效果。基于这一项目逻辑,本研究提出该项目的服务内容与服务效果之间关系的研究假设。

假设1:相较于参与一般性社区康乐服务的服务对象,参与社区自治服务的服务对象更容易培育起志愿精神(主观效果)。

假设2:相较于参与一般性社区康乐服务的服务对象,参与社区自治服务的服务对象更容易获得“楼道之星”(客观效果)。

五、 实证分析

(一) 样本和服务对象类型分析

1. 数据来源和样本特征

本研究以N市W社区居民自治项目的服务对象为研究对象进行全部抽样。具体而言,本研究借助H社会工作机构服务签到表、服务记录等确定服务对象名单(总共200人)并发放纸质调查问卷。本研究发放问卷200份,最终回收有效问卷177份,有效回收率為88.50%。其中,男性占比为31.81%、女性占比为68.19%。研究对象中,年龄最长者为87岁、年龄最小的为21岁、平均年龄为63.55岁。社区居住时间最长的为40年、最短的为2年、平均居住时间为25.75年。无宗教信仰者有142人、有宗教信仰者有35人。中共党员有84人、民主党派人士有2人、共青团员有1人、群众有90人。受教育年限最长的为22年(博士)、最短的为0年(没有上过学)。独居者有35人、与家人同住者有142人。

2. 服务对象潜在类别分析

根据项目逻辑,两种性质不同的服务可能会培育出不同类型的服务对象。为确定服务对象可能存在的潜在类别,本研究首先使用潜在类别分析方法(latent class analysis)将服务对象进行类别划分。潜在类别分析是用来探讨类别外显变量(categorical manifest variable)背后的类别潜在变量(categorical latent variable)的最佳技术。①它与因子分析相似,具有简化数据的功能。不同之处在于,因子分析处理的是连续型外显变量,而潜在类别分析中的外显变量和潜在因子均为类别变量。②由于H社会工作机构提供两种社区社会服务,因此本研究假定服务对象存在两个潜在类别(见表1)。我们从表1的模型适配性指标可以看出,模型2-cluster各项适配性指标均小于模型1-cluster。因此,本研究选择两个潜在类别模型作为最佳模型。

3. 服务对象的两种潜在类型

在两个潜在类别模型的基础上,使用EM算法进行迭代计算,得到9个外显变量的条件概率和潜在类别概率(见表2)。根据条件概率,虽然类别1在各个外显变量上并没有突出的表现,但是相对于该类别其他外显变量,广场舞班和唱歌班的概率高出很多。对应于H社会工作机构提供服务的类型(一般性社区康乐活动),我们可以将其命名为“活动型服务对象”。类别2在“社区文化墙改造”“楼道充电安全防范”“社区邻里活动策划”“银发互助”“社区安全培训”等几个外显变量上呈现出较高的概率。对应于H社会工作机构提供服务的类型(社区自治服务),我们可以将其命名为“参与型服务对象”。

从潜在类别概率来看,活动型服务对象的比重大于参与型服务对象。二者概率分别为0.772和0.228。此外,根据表3中不同类型服务对象各自所占样本的比重可知,活动型服务对象(137人,占比为77.40%)明显多于参与型服务对象(40人,占比为22.60%)。两类不同的服务对象分别体现出不同的社区参与内涵,可能对该项目要实现的自治目标产生不同的效果。因此,我们需要进一步检验服务效果。

(二) 满意度作为效果评价指标的困境检验

1. H社会工作机构服务效果检验

根据分析步骤的第一步,本研究以项目的主观效果变量(志愿精神)和客观效果变量(“楼道之星”)作为因变量,以服务对象实际参与情况作为核心自变量建立回归模型。主观效果变量“志愿精神”通过“在没有物业的情况下,社区的公共卫生环境应该由社区居民进行自我管理”“社区的公共事务应该由社区居民进行自我监督和管理”“社区公共议题应该由社区居民自主挖掘并解决”等三个题目来测量。每个题目的答案设置为“非常不同意”“比较不同意”“没感觉”“比较同意”“非常同意”,赋值分别为1~5分。利用探索性因子分析发现,三个题目可以构成一个因子,因子负荷为0.818、0.807、0.780,alpha值为0.864。在进行回归分析之前,本研究计算该因子的因子分(factor score),然后将其转化为取值[0,100]的连续型变量。在此基础上建立多元线性回归模型(模型1)。客观效果变量“楼道之星”采用题目“您是否被评上过‘楼道之星的称号?”此题目是二分变量(1=被评上,2=没有被评上)。因此,我们建立Logit模型(模型2)。此外,核心自变量由服务类型转化为两类不同性质的服务对象。本研究将其处理为类别变量放入统计模型。统计结果详见表4。

根据表4的统计结果,模型1中,在控制其他变量的情况下,核心自变量“参与型服务对象”与主观效果变量“志愿精神”具有显著正向联系(Beta=0.327, P<0.001)。这说明相较于参与一般性社区康乐服务的服务对象,参与社区自治服务的服务对象更容易培育起志愿精神(主观效果),假设1成立。模型2中,在控制其他变量的情况下,核心自变量“参与型服务对象”与客观效果变量“楼道之星”之间具有显著正向联系(Odds Ratio=3.257,P<0.05)。这说明相较于参与一般性社区康乐服务的服务对象,参与社区自治服务的服务对象更容易获得“楼道之星”(客观效果),假设2成立。假设1和假设2的成立说明H社会工作机构提供了有效的服务。这一结果为本研究后续有关检验提供了前提。

2. 满意度作为效果评价指标的稳定性检验

根据分析步骤的第二步,在服务有效的前提下检验满意度在不同群体或者个体之间的稳定性。由此,本研究以满意度为因变量,以反映个人特质的人口学变量(性别、年龄、居住时间、宗教信仰、政治面貌、受教育经历、居住状况)为自变量建立回归模型。本研究使用“您对参与的各类社区服务(或活动)是否满意?”来进行测量。题目选项包括“非常不满意”“比较不满意”“没感觉”“比较满意”“非常满意”,赋值分别为1~5。为理解的便捷性,本研究将其视为连续变量建立多元线性回归模型(见表5)。在模型3中,性别、年齡、社区居住时间、宗教信仰、政治面貌、受教育经历和居住状况等个人特质变量与满意度之间均无显著的统计联系。由此说明,本研究中满意度不随个人特质而发生变化,因而在测量上具有一定的稳定性。

3. 满意度作为效果评价指标的逻辑检验

根据分析步骤的第三步,本研究以满意度为因变量,项目的主观效果变量(志愿精神)和客观效果变量(“楼道之星”)作为自变量建立回归模型(见表6)。模型4的统计结果显示,当满意度在不同特质的人之间具有稳定性的情况下,主观效果变量“志愿精神”与满意度之间具有显著正向联系,而客观效果变量是否获评“楼道之星”与满意度之间并没有显著联系。根据这一统计分析结果,满意度可以被主观效果变量预测,但是不能被客观效果变量预测。基于此,满意度作为社会服务效果评价指标具有条件性,不能一概而论。

六、 结论与讨论

为回应“满意度能作为社会服务效果评价指标吗?”这一问题,本研究从满意度的内涵、满意度与服务效果的逻辑关系等方面进行梳理和分析,进而从学理的角度确定了其作为社会服务效果评价指标存在的困境。在经验层面,根据N市W社区自治服务项目经验资料的统计分析结果(模型1到模型4),本研究得出以下研究发现:作为一种常用且主观倾向性明显的社会服务效果评价指标,(1)满意度在不同特质的人之间具有较强的稳定性,推论1不成立;(2)满意度可以被服务的主观效果预测,可以作为其替代指标;(3)满意度不能被服务的客观效果预测,不能作为其替代指标。结合(2)和(3)可知,推论2部分成立。为何满意度可以被主观效果变量预测呢?本研究认为,这与两者都属于服务对象主观态度有关。虽然用于测量满意度和主观效果变量的题目不同,但是二者都根源于服务对象参与服务后的主观评价。正是基于这种具有同源性的主观评价,使得两个看似不同的变量之间存在联系。

基于这些研究发现,满意度可以在社会服务效果评价中起到一定的作用。但是,实务工作者和评估者不可随意使用满意度对社会服务的效果进行评价。使用满意度评价社会服务的效果的前提是区分出评价的是主观效果还是客观效果。值得进一步强调的是,纵使本研究得出结论认为满意度可以作为评价社会服务主观效果的指标,但是这并不意味着实务工作者和评估者可以随意使用满意度。实务工作者和评估者不能忽略更加精准的效果评估方法。本研究始终坚持认为,社会服务的效果评估必定是在排除所有干扰因素的情况下,检验服务与所欲达到结果之间的净因果联系。因此,社会服务效果评估就应该在更加精准的方法指导下展开,比如采用实验对照设计(服务开始前)、倾向值分析(截面数据)等更加严谨的评估设计和统计分析方法。满意度只能作为既没有良好的设计又无熟练的统计分析能力时的“救火员”,以解效果评估的燃眉之急。

本研究亦有不足,建议未来研究应该从以下几个方面进行拓展。第一,从测量的角度看,问卷设计、调查情境等因素,都可能会影响满意度结果的稳定性,因此未来研究应该从问卷内容的设计、调查环境的控制等方面做好前期准备工作,将因内容和调查环境导致的测量偏差控制在较小的范围内。第二,在应对满意度自评异质性时,除了按本研究的方法从总体上检验其在不同特质的人之间是否具有显著性差异,还应该考虑到诸如个人参与服务动机、社会赞许效应等因素所带来的影响。第三,在方法上需要使用专门针对主观变量的“情境锚定法”(anchoring vignettes)①②对满意度的主观回答进行校正。进行检验时,我们应该充分尊重满意度变量类型,通过拟合更为恰当的层级定序probit模型(Hierachical Ordered Probit Model, HOPIT)进行检验。第四,因不同群体及其所面临的问题不同,政府购买社会服务在服务形式、服务内容、服务目标等方面均存在较大差异,因而后期研究应当以面向不同群体、包含不同内容、具有不同目标的项目作为研究案例进行检验。即便如此,作为探索性研究,本研究所提供的研究思路、分析步骤等均对该领域后续研究具有启发意义。

(责任编辑:徐枫)

猜你喜欢

效果评估社会服务满意度
2021国庆档总票房43.85亿元 满意度创历史新高
16城市公共服务满意度排行
短期海外游学项目实施效果调查和建议
企业培训效果评估策略探讨
科研、教学与社会服务协同培养应用型创新人才
从眼动实验看中原服饰文化传播与社会服务
浅谈高职院校经济社会服务能力建设
浅谈不可移动石质文物表面污染物的清洗
基于顾客满意度的供应链绩效测评