회귀분석 계통도 0 - 하나의 가계도, 다양한 자손들

 

 회귀분석(regression)은 다양하게 발전해 왔지만,  공통적으로 갖는 목적이 있다.  즉 독립변수로 종속변수를 예측하는 것이다.  우리가 흔히 접하는 선형 회귀분석은 이러한 다양한 회귀분석방법의 출발점이다.  이것에서, 데이터의 성격에 맞추어 다양한 파생 모델이 나왔다. 어떤 모형은 계수 추정 방식을 바꾸고, 어떤 모형은 종속변수의 분포 가정을 바꾸며, 또 어떤 모형은 데이터의 계층 구조를 반영한다.  데이터의 특성이나 분석목적에 따라 다양하게 변신해 온 것이다.  따라서 한 연구자가 이 모든 회귀모형을 사용할 가능성은 없다고 본다. 다만 다른 사람의 분석결과를 이해하려면  각 회귀분석의 특성들은 알아둘 필요가 있다.. 

 

워낙 다양하기 때문에 이것을 분류하기도 쉽지 않다. 사회과학자의 입장에서  사용 용도와 해석방법의 특성을 토대로 대략 다음과 같이 구분해 볼 수 있다.  이러한 그림은 다양한 회귀모형의 전반적인 형태를 이해하는데 도움을 줄 것이다. 

 

 

첫 번째 범주는 선형회귀(OLS)의 확장형이다.  대부분의 회귀 가정이 유지되며 해석 방식도 선형회귀와 동일하다.

두 번째는 일반화 선형모형(GLM) 계열로, 종속변수가 범주형이거나 분포가 비선형인 경우에 사용한다.  확률로 예측되는 특성을 갖고 있어 계수의 해석이 직관적이지 않다.

세 번째는 계층적 또는 다수준 구조(Multilevel)를 다루는 회귀로,   데이터의 계층구조를 반영한 분석이 필요할 때 사용한다.   예컨대 근로자에 대한 데이터를 이용하여 공장단위의 특성과 개인 단위의 특성을 같이 분석할 때 사용한다. 

 

네 번째,  제한된 종속변수 회귀는  종속변수의 관측이 제한되었거나 누락된 경우, 즉 특정 값들이 아예 측정되지 않은 상황(예: 선택편향, 검열된 값 등)에 사용되는 모형이다. 

 

다섯번째,  비선형 ( Nonlinear / Flexible Models) 회귀는 변수 간의 관계를 직선으로 제한하지 않고,곡선 형태까지 반영할 수 있는 기법이다.  예: Spline, GAM, Polynomial Regression 등

 

마지막으로   Bayesian Regression은 사전 정보(prior)를 반영할 수 있어서 소표본 상황에서 유용하게 활용될 수 있다.

 

시계열 회귀나 도구변수 회귀 등은 별도로 분리하지 않았다.  이들 기법은 기법 자체가 다르기 보다는 데이터의 형태가 특별하다고 보았다.   

---

회귀모형 선택의 유연성과 연구자의 판단

 

흔히 분석 자체보다 기법에 초점을 두고 적용조건이 까다롭거나 해석이 어려운 회귀모형을 "고급 기법"으로 간주하는 경향이 있다.  그리고 그런 기법을 사용해야 수준 높은 연구고, 일반적인 선형회귀분석을 사용하면 연구의 가치가 적은 것처럼 여기기도 한다.  데이터 분석은 연구를 위한 수단이지 연구 자체가 아니다.  데이터 구조와 분석 목적에 맞는 모형을 선택하고, 그 해석을 정확히 수행하는 것이 중요하다.  

 

그런데, 선형회귀를 사용할 것인지, 아니면 특수한 조건을 고려한 회귀모형을 선택할 것인지는  데이터와 기법의 적합성만을 가지고 결정하기도 어렵다.  

 

선형회귀는 기본 가정(선형성, 등분산성, 정규성 등)을 충족하는 경우에 가장 해석이 쉽고 효율적이다.  그러나 실제 연구에서는 이러한 가정이 완벽하게 충족되지 않는 경우도 많다. 그렇다고 이 때, 반드시 특수 회귀모형을 사용해야 하는 것은 아니다. 

 

가정이 다소 위배되더라도 선형회귀가 연구 목적에 더 적합할 수도 있고, 반대로 자료의 특수성을 반영한 회귀모형이 더 타당할 수도 있다.

 

어느 한 가지 방식이 항상 정답은 아니며, 모형 선택은 결국 연구자의 판단과 해석 목적에 따라 달라진다.   필자는 기법 숭배는 경계해야 하며, 분석 목적에 가장 부합하는 모형을 선택하는 것이 중요하다고 본다.