APP下载

基于CTT 和IRT 的遗忘频率-10 量表的汉化及信效度检验

2023-10-01姜叶琳蒋园园于林杰彭田田

护理研究 2023年18期
关键词:信效度效度信度

姜叶琳,蒋园园,于林杰,彭田田

南京大学医学院附属鼓楼医院,江苏 210008

记忆是日常生活中个体获得大量知识和技能的关键,也是人类适应环境和生存发展的基础[1]。记忆自我效能感(memory self-efficacy,MSE)是指一个人在需要记忆的情况下对记忆的掌握感和有效使用记忆的能力,是反映个体对自身记忆功能有效性的一种信念,是维持个体记忆水平的重要因素[2-3]。已有研究表明,病人记忆自我效能感与记忆表现间存在正相关关系,记忆自我效能感越高的个体对自己的记忆力越自信[4],有信心能完成记忆任务的个体能获得更好的记忆表现[5-7]。但随着年龄增长,个体记忆自我效能感会出现减退,进而导致记忆功能下降,使个体社会参与度变差,生活质量下降,给家庭和社会带来沉重负担[8-9]。因此,及时、准确评估病人的记忆自我效能显得尤为重要。目前我国尚缺乏新颖、有效的记忆评估方法,针对记忆自我效能感的专项测评工具较少[10-11]。2004 年,Zelinski 等[12]以记忆功能问卷(Memory Functioning Questionnaire,MFO)[13]为基础,开发了遗忘频率-10 量表(Frequency of Forgetting-10 Scale,FoF-10)用于病人记忆自我效能的评估,该量表简短、施测便捷,具有良好的信效度,曾先后在多国病人中使用。本研究旨在对英文版FoF-10进行汉化,以经典测量理论(classical test theory,CTT)和项目反应理论(item response theory,IRT)为基础,运用传统测量方法和Rasch 模型分析汉化后的量表信效度,为我国临床病人记忆自我效能感的评估提供参考。

1 对象与方法

1.1 研究对象

采用方便抽样法选取2021 年6 月—2022 年3 月南京市某三级甲等医院记忆门诊的280 例病人作为研究对象。纳入标准:年龄≥18 岁;意识清楚,具有一定的读写能力,能自行或在别人帮助下理解量表内容;知情同意,自愿参与问卷调查。排除标准:患有急危重症及传染病等无法参与调查;失访或不能配合完成研究。纳入病人均自愿参与研究并签署知情同意书。

1.2 研究工具

1.2.1 一般资料调查表

采用自行设计的一般资料调查表进行资料收集,内容涉及病人年龄、性别、民族、文化程度、婚姻状况、生活安排、目前职业、家庭月收入、医疗付费方式、疾病诊断等。

1.2.2 FoF-10

1.2.2.1 量表介绍

FoF-10 由Zelinski 等根据MFO 中的一般遗忘频率量表通过Rasch 模型编制而成。一般遗忘频率量表是用于衡量成年人记忆自我效能感的评估工具,共33个条目,由4 部分组成,其中一般记忆评定等级1 个条目、遗忘频率18 个条目、阅读时遗忘频率10 个条目、记忆过去事件4 个条目。FoF-10 是单维度记忆自我效能感测量量表,包括一般记忆评定(1 个条目)、遗忘频率(5个条目)、阅读遗忘频率(2个条目)及记忆过去事件(2个条目)4 部分内容,共10 个条目,各条目采用Likert 7 级计分法(1~7 分),得分越高表明病人的记忆自我效能感越好。英文版FoF-10 的Cronbach's α 系数为0.94,且效度良好[12]。量表涵盖的测量信息量与一般遗忘频率量表相当,同时兼具简短、施测便捷、信效度高的优势。

1.2.2.2 量表翻译

在获得原量表作者授权后,参照Brislin 翻译模式[14]对量表进行汉化。1)正译:由2 名双语人员将英文版FoF-10 独立翻译为中文版量表,其中1 名正译者具有临床专业素养,从事病人记忆功能研究,了解FoF-10内容;另1 名正译者不了解FoF-10,为英语专业高级教师,对英语语言敏感,能够准确识别量表各条目的语义异同。2)审核:将2 份正译的中文版量表进行对比,不一致的部分由第3 位双语人员参与讨论确定,准确记录讨论意见,形成FoF-10 中文版1。3)回译:由另外2名未接触过FoF-10 的双语专家独立对FoF-10 中文版1 进行回译,其中1 名回译者具有国外留学经历,为医学博士;另1 名回译者母语为英语,为副教授职称。4)校对:由具备国外留学经历的护理专家对2 份回译稿件进行校对,当语句一致率<70%时循环进行翻译、回译,直至确定FoF-10 回译版1。5)文化调试:另邀请1 名博士学位的神经内科主任和1 名翻译人员组成文化调试小组,对所有翻译版本条目进行比较、分析、讨论、修改意见汇总,形成符合我国语言环境的FoF-10中文版2。

1.2.2.3 专家函询

为保证翻译量表质量和内容的有效性,采用德尔菲法进行2 轮专家函询。选取2 名护理学教授、2 名认知功能学教授、2 名神经内科主任作为函询专家,6人均工作10 年以上,具有副高级及以上职称。请专家分别对量表项目与主题相关度、项目语言简明度及清晰度、项目与源语言等同度等方面进行评价,研究者结合专家意见对量表进行修订形成回译版2,并以邮件形式发给原作者,参考原作者意见再作修改,最终形成用于预调查的FoF-10 中文版3。

1.2.2.4 预调查

采用便利抽样法选取30 例病人进行预调查。纳入标准:年龄≥18 岁;意识清楚,具有一定的读写能力,能自行或在别人帮助下理解量表内容;知情同意,自愿参与问卷调查。排除标准:患有急危重症及传染病等无法参与调查;失访或不能配合完成研究。调查前向病人讲解量表调查的目的、填写要求并与病人签署知情同意书,当场发放预调查量表并回收。结合病人对量表内容的理解程度、填表过程的感受和建议对量表进行最后修改形成中文版FoF-10(Chinese Frequency of Forgetting-10 Scale,CHI-FoF-10),用于正式调查。

1.2.3 一般自我效能感量表(GSES)

GSES 于1981 年编制完成,由Zhang 等[15-16]翻译并修订为中文版本。GSES 包含一个主要因素,具有单维性,Cronbach's α 系数为0.75~0.91[15-17]。量表包括10 个条目,均采用Likert 4 级计分法,“完全不符合”“比较不符合”“比较符合”“完全符合”依次计1 分、2分、3 分、4 分,总分4~40 分,得分越高说明个体的信心越足,<10 分说明个体的自信心很低甚至有点自卑,>30 分说明个体的自信心非常高。

1.3 资料收集方法

正式调查前告知病人本次调查的目的、主要内容及保密性,与病人签署知情同意书后发放问卷进行调查。共发放问卷290 份,填写时间为3~5 min,回收有效问卷280 份,问卷有效回收率为96.6%,符合单维度Rasch 分析在IRT 中的样本量要求[18-20]。另外,选取30 例病人,间隔14 d 后再次进行调查,用于测定量表的重测信度。

1.4 量表的信效度检验

1.4.1 基于CTT 的信效度分析

CTT 数据分析一般包括量表的信度分析和效度分析两方面,本研究通过重测信度、Cronbach's α 系数评价量表的信度,若二者均>0.7,认为量表具有良好的信度。本研究通过内容效度、效标关联效度及结构效度评价量表的效度,其中,效标效度采用Pearson 相关性、受试者工作特征(ROC)曲线下面积(AUC)检验,结构效度采用探索性因子分析检验,若数据分析显示KMO 值>0.6,Bartlett's 球形检验值符合标准,则表明量表数据适合进行探索性因子分析[21-22]。

1.4.2 基于IRT 的Rasch 分析

Rasch 模型的主要特征是被试者能力和条目难度可在同一单维度量尺上进行标定,以更客观、更直接的方式体现个体、条目及两者间的对比,量表潜在特质的单维性是能进行Rasch 分析的一个重要前提条件[20]。通过Rasch 分析可以确定量表的模型拟合度、信度及难度等,常见的模型拟合度指标包括分离指数、均方拟合统计量(MNSQ)、PT-measure 及T 值等,其中均方拟合统计量的合理范围是0.50~1.50,拟合统计量越接近1.00 表示数据与模型拟合程度越高;PT-measure取值范围通常为0.40~0.80;当|T|<2.0 时,代表条目测量内容指向同一概念[23]。Rasch 模型中信度一般通过项目信度和样本信度表示,二者取值范围为0.000~1.000,数值越接近1.000 表示量表信度越高;量表难度通过怀特图呈现,怀特图将被试者能力和条目难度放在同一把标尺上,有利于直接体现个体能力和项目难度的适配性。

1.5 统计学方法

将回收的问卷逐一编号,录入并整理,定性资料用频数及百分比(%)表示,符合正态分布的定量资料以均数±标准差(±s)表示,分别采用SPSS 25.0 和Winsteps 4.8.2 进行基于CTT 的信效度分析和基于IRT 的Rasch 分析,逐一比对量表各条目,以P<0.05为差异有统计学意义。

2 结果

2.1 病人一般资料

280 例病人,年龄56~91(69.1±6.53)岁;男166 例(59.3%),女114 例(40.7%);文化程度:小学及以下88例(31.4%),初中78 例(27.9%),高中58 例(20.7%),专科23 例(8.2%),本科及以上33 例(11.8%);家庭月收入:≤3 000 元35 例(12.5%),3 001~<5 000 元134例(47.9%),5 000~<10 000元89例(31.8%),≥10 000元22 例(7.8%)。

2.2 基于CTT 的信效度分析

2.2.1 效度分析

2.2.1.1 内容效度

CHI-FoF-10 条目水平的内容效度指数(I-CVI)为0.830~1.000,量表水平的内容效度指数(S-CVI)为0.915。

2.2.1.2 效标关联效度

以GSES 作为CHI-FoF-10 的效标量表,二者Pearson 相关性分析结果显示,CHI-FoF-10 评分与GSES评分呈正相关(r=0.848,P<0.001)。以GSES≤20 分表示自我效能不足,绘制CHI-FoF-10 预测记忆自我效能水平的ROC 曲线,计算AUC 为0.869[95%CI(0.809,0.929)],当CHI-FoF-10 评分为37.5 分时,约登指数最大(0.721),灵敏度为0.909,特异度为0.812,见图1。

2.2.1.3 结构效度

CHI-FoF-10 的KMO 值为0.892,Bartlett's 球形检验符合标准(χ2=2 372.668,P<0.001),表明CHI-FoF-10适合做因子分析。运用探索性因子分析检验量表的结构效度,利用主成分分析法(PCA)共提取1 个特征值>1 的公因子,累积方差贡献率为65.590%,各条目在该维度上的载荷均>0.40,说明CHI-FoF-10 中所有条目均指向同一个潜在变量,具有单维性和良好的结构效度。CHI-FoF-10 因子分析结果见表1。

表1 CHI-FoF-10 因子分析结果

2.2.2 信度分析

在280 例病人中随机选取30 例病人,间隔2 周后再次填写CHI-FoF-10,结果显示,重测信度为0.954;CHI-FoF-10 的Cronbach's α 系数为0.941。说明CHI-FoF-10的重测信度与内部一致性均较高,信度良好,能够为区分病人的记忆自我效能感提供可靠支持。

2.3 基于IRT 的Rasch 分析

对等级量表进行Rasch 分析前需保证量表中的项目具有单维性,探索性因子分析结果显示,CHI-FoF-10各条目均指向同一潜在特质,量表具有单维性,可以对量表进行Rasch 模型分析。

2.3.1 数据-模型拟合度分析

经Rasch 分析可知CHI-FoF-10 的项目信度为0.99,样本信度为0.93,均较高;CHI-FoF-10 的项目分离指数为8.90,个人分离指数为3.57,说明样本和条目代表性较好。CHI-FoF-10 的均方拟合统计量、T 值、PT-measure 见表2。

表2 CHI-FoF-10 的均方拟合统计量、T 值、PT-measure

2.3.2 怀特图分析

怀特图分析结果显示,量表条目难度分布大约为4个Logits,个体能力分布大约为6 个Logits,详见图2。

图2 CHI-FoF-10 怀特图

3 讨论

本研究以CTT 和IRT 为基础,分别运用传统测量方法和Rasch 分析共同评价CHI-FoF-10 的整体质量,打破了传统测量方法中模型拟合数据的局限性,使得测量结果更为准确,为开发记忆自我效能感测量工具提供了依据。

3.1 CHI-FoF-10 效度良好

通常认为量表I-CVI>0.78、S-CVI>0.90 表示量表具有较好的内容效度[24]。本研究CHI-FoF-10 的I-CVI 为0.830~1.000,S-CVI 为0.915,表明其内容效度较好。探索性因子分析采用主成分分析法提取1 个特征值>1 的公因子,累积方差贡献率为65.590%,各条目在该维度上的载荷(0.760~0.878)均>0.40,说明该量表中所有条目均指向同一个概念,具有单维性,结构效度良好。单维性检验是进行Rasch 分析的前提,通过Rasch 模型的拟合分析可知,个人分离指数和项目分离指数均>2.00[25],说明样本和条目代表性较好;CHI-FoF-10 的10 个条目未加权均方拟合统计量为0.75~1.22,加权均方拟合统计量为0.77~1.24,二者范围均属于0.50~1.50,验证了CHI-FoF-10 符合Rasch 模型的分析要求,区分效度较好;量表拟合分析中绝大部分条目|T|<2.0,符合有效参考范围,表明该量表测试内容反映同一概念,能够对受试者的记忆自我效能感进行预测;各条目的PT-measure 相关系数为0.76~0.82,在标准范围内,说明各条目与量表间相关性较好,综合拟合分析的各项指标可知CHI-FoF-10数据-模型拟合度较好。CHI-FoF-10 与GSES 相关性分析结果显示,CHI-FoF-10 效标关联效度良好,AUC为0.869[95%CI(0.809,0.929)],通过ROC 曲线确定截断值为37.5 分,说明CHI-FoF-10 总分<37.5 分时,受试者可能存在遗忘频率增加、记忆自我效能感不足的风险,施测人员可根据受试者的具体情况进行提前干预。

3.2 CHI-FoF-10 信度良好

传统测量方法通常使用Cronbach's α 系数表示量表的内部一致性信度,通过重测信度评价量表稳定性,当Cronbach's α系数>0.8,Pearson相关系数绝对值趋近于1时,表示量表具有较好的信度。本研究中CHI-FoF-10的Cronbach's α系数为0.941,两次测量的Pearson相关系数为0.954,说明CHI-FoF-10 的内部一致性信度和重测信度均较好。在Rasch 模型分析中,由数据-模型拟合度分析可知CHI-FoF-10 的项目信度为0.99,样本信度为0.93,二者均大于0.60,汉化后的量表信度在可接受范围,与原量表整体信度(0.94)相近,显示出较高水平的信度。通过基于CTT 的信效度分析和基于IRT的Rasch 分析双重验证,表明CHI-FoF-10 信度良好。

3.3 CHI-FoF-10 难度适中

通过CHI-FoF-10 怀特图可知,被试者能力呈正态分布,分布跨度约为6 个Logits,量表条目难度分布均匀,分布跨度大约为4 个Logits,条目4(忘记物品放置点)难度最大,最易发生遗忘;条目5(忘记前往某地的路线)难度最小,较少发生遗忘。大部分被试者能力集中分布在4 个Logits 左右,说明量表难度与被试者水平能较好地对应,小部分被试者记忆能力超出量表难度范围,可能与小部分被试者记忆自我效能感的个体差异有关。

4 小结

本研究以CTT 和IRT 为基础,通过传统信效度分析和Rasch 分析结果表明,CHI-FoF-10 信效度较好,数据-模型拟合度较好,量表条目难度与病人能力水平分布合理,整体分布跨度大致对应,量表质量较好。CHI-FoF-10 条目内容简单易懂,测量方便快捷,符合我国文化背景,通过绘制ROC 曲线计算约登指数最大值为0.721,对应截断值为37.5 分,可用于测定国内病人的记忆自我效能感,为判断病人的记忆能力提供参考,为实现中老年记忆障碍病人早筛查、早发现、早干预的目标提供参考。本研究的局限性在于受条件限制未能开展大样本的多中心研究,病人均来自同一所医院记忆门诊,在施测过程中发现样本以中老年病人为主,因此未来研究可进一步扩大研究对象,验证量表的普适性,以促进CHI-FoF-10 的推广及使用。

猜你喜欢

信效度效度信度
叙事安全教育材料的初步编制与信效度检验
《广东地区儿童中医体质辨识量表》的信度和效度研究
青少年网络素养问卷的修订及信效度检验
慈善募捐规制中的国家与社会:兼论《慈善法》的效度和限度
科技成果评价的信度分析及模型优化
耳鸣残疾问卷中文版的信度和效度检验及其临床应用
被看重感指数在中国大学生中的构念效度
沉思反应问卷中文版在大学生中的信效度检验
外语形成性评估的效度验证框架
中文版脑性瘫痪儿童生活质量问卷的信度