杨鹏伟

(武汉大学数学与统计学院, 湖北武汉 430072)

1 引言

1.1 不同分布下的样本

假设输入空间(X,d)是Rn中的紧度量空间, 输出空间Y ⊂R, 样本空间Z = X ×Y.非一致分布下, 每一学习时刻t = 1,2,··· 产生的样本点zt= (xt,yt) ∈Z 服从联合概率分布ρ(t)(x,y), (x,y) ∈Z, 这里序列不一定相同. 在Smale, Zhou[1]提出的学习框架下, 假设在X 上的边缘分布序列以多项式速度收敛于Hölder 空间Cs(X)(0

定义1.1称概率分布序列以多项式速度收敛于(Cs(X))∗中的概率分布ρX. 如果存在C >0,b>0 使得

由对偶空间(Cs(X))∗的定义, 条件(1.1)等价于

指数b 衡量不同分布的差异程度, 当b=∞时, 条件(1.1)是独立同分布.

对于满足衰减条件(1.1)的实际情况已在文献[1, 3]有详细讨论. 例如, 真实的抽样分布ρX被噪声干扰并且随着时间t 增加而噪声水平下降, 那么在不同时刻对应的抽样概率分布收敛于ρX. 另外, 通过迭代和随机密度核形成的积分算子, 反映了由动力系统诱导出不同分布的表现形式. 这些例子都说明研究满足(1.1)衰减的分布是具有实际应用性的.

1.2 分位数回归

对于任意的0<τ <1, 定义随机变量Y 的τ 分位数函数Q(τ)为

其中F(y)是Y 的分布函数. Koenker, Bassett[4]提出线性分位数回归理论, 扩展了经典的最小二乘回归. Koenker[5]进一步提出分位数回归可提供更多关于因变量的分布信息, 例如: 长尾性、厚尾性、多峰性. 分位数回归描述因变量的条件分布, 不仅仅分析因变量的条件期望,并且对不同τ 刻画了概率分布的具体性质.

在学习理论框架下, ρ 是Z 上的一个Borel 概率测度. 给定x ∈X 时, ρx(y),y ∈Y 是ρ的条件概率分布. 分位数回归的目标函数fρ,τ(x)在x 的值定义为: ρx(·)的τ - 分位数是v,即存在v ∈Y 满足

1.3 在线分位数回归算法

再……