多重共线性如何分析?
创始人
2024-04-14 02:39:20

判断标准

常见的直观判断方法共有四个,如下:
(1)某些自变量的相关系数值较大(比如大于0.8)等,可以利用pearson相关系数检验法一般是利用解释变量之间的线性相关程度判断,一般标准是系数大于0.8则认为可能存在多重共线性。
(2)如果增加一个变量或者删除一个变量,回归系数的观测值变化很大。
(3)如果说F检验通过,并且决定系数值也较大,但是t检验并不显著,也可能存在多重共线性。
(4)回归系数的正负符号与专业知识相反或与实际分析结果不符,也会存在多重共线性的可能。
以上方法可能会存在误差,更多偏向于主观,还有一种正规检验方法,观察回归分析中的VIF值(方差膨胀因子),这个检验方法更为严谨、准确。通常的判断标准是VIF值大于10即具有多重共线性,有的文献也说大于5即有共线性。
其中VIF值如下:
VIF=(1−R2)−1
从公式中我们发现VIF和R方是有直接关系的。
当VIF>5, 1- R2 <0.2, R2 >0.8;
当VIF>10, 1- R2 <0.1, R2 >0.9;
从上式可以看出,VIF若大于10其R方相对应也大于0.9,若VIF大于5其R方相对于大于0.8,如果存在这种现象,可以认为该自变量是其他自变量的近似线性组合,也就是说,在自变量之间存在高度相关的现象。

处理多重共线性

处理多重共线性经验式做法:

(1)删除不重要的共线性变量

但是删除变量后可能会导致模型和原本分析的模型不一样,可能会出现决策错误等现象。

(2)增加样本容量

多重共线性有可能与样本量过少有关,所以如果存在也可以加大样本量。但是加大样本量具有局限性比如实验已经结束或者其它原因。

(3)变量转换

构造一个新的变量,这一新变量是多重共线性变量的函数,然后用这个新的变量代替多重共线性的变量,但是要注意组合后的数据需要有实际意义否则模型不好解释。

其它处理方法:

  1. 岭回归
    岭回归分析是一种修正的最小二乘估计法,当自变量系统中存在多重共线性时,它可以提供一个有偏估计量,这个估计量虽有微小偏差,但它的精度却能大大高于无偏估计。
    如果使用SPSSAU进行分析岭回归一般有两个步骤:岭回归通过引入k个单位阵,使得回归系数可估计;单位阵引入会导致信息丢失,但同时可换来回归模型的合理估计。针对岭回归:其研究步骤共为2步,分别是结合岭迹图寻找最佳K值;输入K值进行回归建模。
  2. 逐步回归
    逐步回归分析方法视自变量对因变量的影响显著性大小从大到小逐个引入回归方程,从处理角度来看逐步回归比岭回归和主成分回归要好一些。逐步回归面临着检验的显著性水平的选择困难它通常得不到最优变量子集,可以利用SPSSAU进阶方法中逐步回归进行分析。

3.主成分回归
主成分回归根据主成分分析的思想提出的。主成分估计和岭回归类似都是一种有偏估计。主成分分析利用降维的思想对数据信息进行浓缩,将多个分析项浓缩成几个关键概括性指标;剔除对系统影响微弱的部分。通过对各个主成分的重点分析,来达到对原始变量进行分析的目的。主成分回归就是用对原变量进行主成分分析后得到的新的指标来代替原变量,再使用最小二乘法进行回归分析。由于对原变量的综合,就可以起到克服多重共线性所造成的信息重叠的作用,从而消除多重共线性对回归建模的影响。

4.偏最小二乘法

偏最小二乘法不仅可以用单变量回归分析方法,也可以用于多变量回归分析方法,一般情况下处理样本量相对较小,自变量多的数据。

相关内容

热门资讯

北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
tag是什么意思 tab是什么... 一、B端基础控件的认识控件一词,直译的话可以翻译成 “用来控制的元件”,是我们对 B 端系统进行信息...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
tag是什么意思 tab是什么... 一、B端基础控件的认识控件一词,直译的话可以翻译成 “用来控制的元件”,是我们对 B 端系统进行信息...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...