异方差和多重共线性的影响
2014-09-21严威
严威
摘要：通过蒙特卡洛实验，在计量经济学软件R中实现数据生成过程，当古典线性回归模型基本假定中的同方差假定和无多重共线性假定被违背时，参数的显著性检验是否依然有效。
关键词：线性回归；异方差；多重共线性；参数的显著性检验
中图分类号：F830 文献标识码：A
文章编号：1005-913X（2014）08-0026-02
Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.
Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter
一、引言
在计量经济学中，古典线性回归模型的基本假定是对参数和模型进行显著性检验的基础，如果违背了其中任意一条或多条假定，假设检验的结果将不再有效，甚至可能会得到完全错误的结论。
许多计量经济学教科书对此给出了严谨的数学证明，这里不再赘述。笔者试图从另一个角度，即运用数据生成过程，以参数的显著性检验为研究对象，探讨存在异方差和多重共线性时，检验结果是否有效。
第二章，简单地介绍一下古典线性回归模型的基本假定中的“同方差”假定和“无多重共线性”假定，为后续的论述打下基础。第三章，介绍数据生成过程，利用一个简单的二元回归模型，生成所有需要的变量，用来进行回归和检验。第四章分别讨论不同条件下的检验结果和结论。
二、同方差假定和无多重共线性假定
可以看出，由于假定方差σ2为常数，随机误差项是“同方差的”，每个Y是以相同的方差分布在其均值周围，这就是古典线性模型中的“同方差”假定，如果该假定被违背，则称“存在异方差”。
另外，古典线性回归模型还假定，解释变量X2与解释变量X1之间没有较强的线性关系，即“无多重共线性”假定。如果该假定被违背，则称“存在多重共线性”。
三、数据生成过程
这里，随机误差项εi的方差被设置为x1iα，只有当α=0时，该模型才不存在异方差，否则就会存在异方差。
第四，将生成的解释变量Y对解释变量X1和X2进行二元回归，采用普通最小二乘法估计每一个参数，并依次对各个参数进行显著性检验，检验其在5%显著水平下是否显著。
第五，重复以上步骤1～步骤4，为了增加研究结论的准确性和可靠性，重复次数设置为3000。
第六，统计在这3000次回归分析中，参数的显著性检验结果显著的比例。
在整个数据生成过程中，存在异方差与否，取决于选择的参数α是否为0，例如当α=0时，不存在异方差，而当α=1时，则存在异方差。
存在多重共线性与否，取决于选择的参数θ是否足够大，例如当θ=5，不存在多重共线性，而当θ=0.01时，则存在多重共线性。
四、结论
由于被解释变量Y是由两个解释变量X1和X2共同生成，也就是说，X1和X2对Y均有显著性影响，参数的显著性检验结果应该为显著，这是“真实情况”。
下面依次来看，在不同条件下，检验结果是否与“真实情况”一致，据此推断：在不同条件下，参数的显著性检验是否依然有效。
（一）不存在异方差和多重共线性
为了方便比较，首先考察古典线性回归模型基本假定成立的情形，即，不存在异方差也不存在多重共线性，令α=0，θ=5。
结果见下表：
由此可以看出，当不存在异方差和多重共线性时，参数的显著性检验结果全部为显著，这与“真实情况”完全吻合，说明此时参数的显著性检验完全有效。
（二）存在异方差
由此可以看出，当存在多重共线性时，参数的显著性检验结果显著的比例非常低，这与“真实情况”不符，说明此时参数的显著性检验失效。值得注意的是，对常数项进行显著性检验的结果似乎依然有效，这是由于X2的生成函数中缺少截距项造成的。
综上所述，当存在异方差或多重共线性时，参数的显著性检验结果显著的比例大幅降低，说明在此条件下，参数的显著性检验失效。
参考文献：
[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.
[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.
[责任编辑：金永红]
摘要：通过蒙特卡洛实验，在计量经济学软件R中实现数据生成过程，当古典线性回归模型基本假定中的同方差假定和无多重共线性假定被违背时，参数的显著性检验是否依然有效。
关键词：线性回归；异方差；多重共线性；参数的显著性检验
中图分类号：F830 文献标识码：A
文章编号：1005-913X（2014）08-0026-02
Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.
Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter
一、引言
在计量经济学中，古典线性回归模型的基本假定是对参数和模型进行显著性检验的基础，如果违背了其中任意一条或多条假定，假设检验的结果将不再有效，甚至可能会得到完全错误的结论。
许多计量经济学教科书对此给出了严谨的数学证明，这里不再赘述。笔者试图从另一个角度，即运用数据生成过程，以参数的显著性检验为研究对象，探讨存在异方差和多重共线性时，检验结果是否有效。
第二章，简单地介绍一下古典线性回归模型的基本假定中的“同方差”假定和“无多重共线性”假定，为后续的论述打下基础。第三章，介绍数据生成过程，利用一个简单的二元回归模型，生成所有需要的变量，用来进行回归和检验。第四章分别讨论不同条件下的检验结果和结论。
二、同方差假定和无多重共线性假定
可以看出，由于假定方差σ2为常数，随机误差项是“同方差的”，每个Y是以相同的方差分布在其均值周围，这就是古典线性模型中的“同方差”假定，如果该假定被违背，则称“存在异方差”。
另外，古典线性回归模型还假定，解释变量X2与解释变量X1之间没有较强的线性关系，即“无多重共线性”假定。如果该假定被违背，则称“存在多重共线性”。
三、数据生成过程
这里，随机误差项εi的方差被设置为x1iα，只有当α=0时，该模型才不存在异方差，否则就会存在异方差。
第四，将生成的解释变量Y对解释变量X1和X2进行二元回归，采用普通最小二乘法估计每一个参数，并依次对各个参数进行显著性检验，检验其在5%显著水平下是否显著。
第五，重复以上步骤1～步骤4，为了增加研究结论的准确性和可靠性，重复次数设置为3000。
第六，统计在这3000次回归分析中，参数的显著性检验结果显著的比例。
在整个数据生成过程中，存在异方差与否，取决于选择的参数α是否为0，例如当α=0时，不存在异方差，而当α=1时，则存在异方差。
存在多重共线性与否，取决于选择的参数θ是否足够大，例如当θ=5，不存在多重共线性，而当θ=0.01时，则存在多重共线性。
四、结论
由于被解释变量Y是由两个解释变量X1和X2共同生成，也就是说，X1和X2对Y均有显著性影响，参数的显著性检验结果应该为显著，这是“真实情况”。
下面依次来看，在不同条件下，检验结果是否与“真实情况”一致，据此推断：在不同条件下，参数的显著性检验是否依然有效。
（一）不存在异方差和多重共线性
为了方便比较，首先考察古典线性回归模型基本假定成立的情形，即，不存在异方差也不存在多重共线性，令α=0，θ=5。
结果见下表：
由此可以看出，当不存在异方差和多重共线性时，参数的显著性检验结果全部为显著，这与“真实情况”完全吻合，说明此时参数的显著性检验完全有效。
（二）存在异方差
由此可以看出，当存在多重共线性时，参数的显著性检验结果显著的比例非常低，这与“真实情况”不符，说明此时参数的显著性检验失效。值得注意的是，对常数项进行显著性检验的结果似乎依然有效，这是由于X2的生成函数中缺少截距项造成的。
综上所述，当存在异方差或多重共线性时，参数的显著性检验结果显著的比例大幅降低，说明在此条件下，参数的显著性检验失效。
参考文献：
[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.
[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.
[责任编辑：金永红]
摘要：通过蒙特卡洛实验，在计量经济学软件R中实现数据生成过程，当古典线性回归模型基本假定中的同方差假定和无多重共线性假定被违背时，参数的显著性检验是否依然有效。
关键词：线性回归；异方差；多重共线性；参数的显著性检验
中图分类号：F830 文献标识码：A
文章编号：1005-913X（2014）08-0026-02
Abstract： This paper uses a Monte Carlo experiment to study the effect of heteroscedasticity and multicollinearity on the availability of significance test of parameters， the data generating process is running in econometric software R.
Keywords： Linear Regression； Heteroscedasticity； Multicollinearity； Significance Test of Parameter
一、引言
在计量经济学中，古典线性回归模型的基本假定是对参数和模型进行显著性检验的基础，如果违背了其中任意一条或多条假定，假设检验的结果将不再有效，甚至可能会得到完全错误的结论。
许多计量经济学教科书对此给出了严谨的数学证明，这里不再赘述。笔者试图从另一个角度，即运用数据生成过程，以参数的显著性检验为研究对象，探讨存在异方差和多重共线性时，检验结果是否有效。
第二章，简单地介绍一下古典线性回归模型的基本假定中的“同方差”假定和“无多重共线性”假定，为后续的论述打下基础。第三章，介绍数据生成过程，利用一个简单的二元回归模型，生成所有需要的变量，用来进行回归和检验。第四章分别讨论不同条件下的检验结果和结论。
二、同方差假定和无多重共线性假定
可以看出，由于假定方差σ2为常数，随机误差项是“同方差的”，每个Y是以相同的方差分布在其均值周围，这就是古典线性模型中的“同方差”假定，如果该假定被违背，则称“存在异方差”。
另外，古典线性回归模型还假定，解释变量X2与解释变量X1之间没有较强的线性关系，即“无多重共线性”假定。如果该假定被违背，则称“存在多重共线性”。
三、数据生成过程
这里，随机误差项εi的方差被设置为x1iα，只有当α=0时，该模型才不存在异方差，否则就会存在异方差。
第四，将生成的解释变量Y对解释变量X1和X2进行二元回归，采用普通最小二乘法估计每一个参数，并依次对各个参数进行显著性检验，检验其在5%显著水平下是否显著。
第五，重复以上步骤1～步骤4，为了增加研究结论的准确性和可靠性，重复次数设置为3000。
第六，统计在这3000次回归分析中，参数的显著性检验结果显著的比例。
在整个数据生成过程中，存在异方差与否，取决于选择的参数α是否为0，例如当α=0时，不存在异方差，而当α=1时，则存在异方差。
存在多重共线性与否，取决于选择的参数θ是否足够大，例如当θ=5，不存在多重共线性，而当θ=0.01时，则存在多重共线性。
四、结论
由于被解释变量Y是由两个解释变量X1和X2共同生成，也就是说，X1和X2对Y均有显著性影响，参数的显著性检验结果应该为显著，这是“真实情况”。
下面依次来看，在不同条件下，检验结果是否与“真实情况”一致，据此推断：在不同条件下，参数的显著性检验是否依然有效。
（一）不存在异方差和多重共线性
为了方便比较，首先考察古典线性回归模型基本假定成立的情形，即，不存在异方差也不存在多重共线性，令α=0，θ=5。
结果见下表：
由此可以看出，当不存在异方差和多重共线性时，参数的显著性检验结果全部为显著，这与“真实情况”完全吻合，说明此时参数的显著性检验完全有效。
（二）存在异方差
由此可以看出，当存在多重共线性时，参数的显著性检验结果显著的比例非常低，这与“真实情况”不符，说明此时参数的显著性检验失效。值得注意的是，对常数项进行显著性检验的结果似乎依然有效，这是由于X2的生成函数中缺少截距项造成的。
综上所述，当存在异方差或多重共线性时，参数的显著性检验结果显著的比例大幅降低，说明在此条件下，参数的显著性检验失效。
参考文献：
[1] Gujarati and Porter， Basic Econometrics， 5th ed.， McGraw-Hill， New York， 2009.
[2] Jan Kmenta， Elements of Econometrics， 2nd ed.， Macmillan， New York， 1986， p.431.
[责任编辑：金永红]
