一种基于Newton迭代法的累积Logistic回归模型参数估计
2020-02-15印明昂王钰烁孙志礼
印明昂, 王钰烁, 孙志礼, 郭 兵
(东北大学 机械工程与自动化学院, 辽宁 沈阳 110819)
累积Logistic回归又称为有序多分类Logistic回归、次序Logistic回归[1],其具有模型变量少、分类效率高的特点.近年来,该方法在医药、金融及制造等领域得到了广泛的应用.文献[2]选取2015年3月至2017年4月接受培非格司亭(Pegfilgrastim)联合化疗的166例癌症案例,采用多变量有序Logistic回归分析,确定符合Pegfilgrastim预防以维持相对剂量强度的预测因素.文献[3]基于发动机健康变化的Logistic回归模型,实现了贝叶斯状态估计的健康状态序列更新,进而预测引擎未来的健康变化.文献[4]通过审查2003至2011年外来资本流入的综合影响,检验了次序Logistic回归模型应用于基于柯布-道格拉斯生产函数的实证经济增长研究的可行性.
在应用领域日益扩展,数据数量和维度不断增大的现状下,目前,累积Logistic回归模型的参数估计通常采用统计学软件SPSS或SAS的自带功能实现.本文基于Newton迭代法提出一种累积Logistic回归模型的参数估计方法,对其中比较敏感的迭代初值选取及迭代过程Hessian矩阵奇异问题进行了自适应控制,最后利用美国凯斯西储大学轴承数据库(CWRU)[5]数据对该算法模型与SPSS模型进行了对比验证.
1 参数估计
1.1 迭代格式的构建
设(x,y)为有序J分类样本,其中输入观测值x为nM矩阵,n代表容量,M代表维度;有序输出观测值y为n1列向量,其元素yi,i∈{1,2,,n},yi可取值为1,2,,J.则第i个输入xi=[xi1,xi2,,xiM]的前j(j∈{1,2,,J})类累积Logistic表达式为[6]
(1)
其中:p(yi≤j|xi)为累积概率(简记为pij),且有p(yi≤J|xi)=1;αj为截距,对于累积Logistic模型共有J-1个;βm为回归系数,所有分类的系数……