회귀분석 - 3. 유의성 검증, 결정계수

１.    회귀모형의 통계적 유의성 검증

(1)     F-검정으로 확인

(2)     F – statistic(F-통계량)이 크다

１)       기울기(회귀계수)가 크다

２)       가파르다

３)       변수 간에 유의미한 인과관계가 존재 <=> p-value < 0.05

４)       F값이 0에서 얼마나 가까운지를 확률적으로 측정한 값 p-value는 상대적으로 작아진다(반비례)

 

２.    회귀계수의 유의성 검증

(1)     t-검정으로 확인

(2)     t-통계량 = 회귀계수/표준오차

(3)     t-통계량이 크다 = 표준오차가 작다, 회귀계수가 크다 = 유의미한 인과관계 검증

 

３.    모형의 설명력

(1)     회귀선에 데이터들이 밀접하게 분포하고 있는지를 나타내는 것

(2)     인과관계의 정도(강도)를 알 수 있다.

(3)     설명력이 좋다 = 데이터들의 분포가 회귀선에 밀접하게 분포한다

(4)     결정계수로 설명력 판단

(5)     결정계수 = SSR/SST = (1-SSE)/SST = 회귀모형에서 설명되는 변동/총변동

(6)     단순선형회귀분석에서 결정계수는 상관계수의 제곱과 같다

(7)     결정계수는 0보다는 크거나 같고 1보다는 작거나 같다.

(8)    결정계수가 1에 가까울수록 회귀선에 밀접하게 분포 = 모형의 예측력이 높다

(9)     0.6 ~ 0.8 정도면 어느 정도의 설명력이 있다고 본다

(10)   수정된 결정계수

１)       SSR/SST는 독립변수의 수가 많아질수록 증가한다. 즉, 종속변수에 영향을 주지 않는 독립변수가 모형에 포함되어도 결정계수는 커진다.

２)       이를 보완하기 위해 수정된 결정계수 사용

３)