회귀모형 계통 1 - 선형 회귀와 그 변형 : 회귀분석의 출발점이자 확장의 기반

 

 

1. 선형회귀와 그 변형들 – 회귀분석의 출발점이자 확장의 기반

회귀분석의 출발점은 최소제곱법(OLS, ordinary least squares)을 기반으로 한 고전적인 선형 회귀다. 이는 종속변수가 연속형 변수일 때, 설명변수와의 선형 관계를 통해 그 값을 예측하거나 설명하는 모형이다.  

이 고전적 형태에서 발전한 다양한 변형들이 있다. 이들은 공통적으로 종속변수의 구조는 유지하면서, 추정 방식이나 목적함수를 변형하는 방식이다.

• 리지 회귀(Ridge): 변수 간 다중공선성 문제를 완화하기 위해 계수를 축소하는 L2 패널티를 추가한다. 고전적 선형회귀와 비슷하되, 회귀 계수들의 크기가 선형회귀와 비교해서 줄어든다.
• 라쏘 회귀(Lasso): 일부 계수를 0으로 수축시켜 변수 선택까지 수행하는 L1 패널티를 사용한다. 고전적 선형회귀에 비해 회귀계수가 0으로 나오는 경우가 많아진다. 즉 유의한 변수 수가 감소한다.  독립변수를 선정하는 방식으로도 쓰인다.
• 강건 회귀(Robust regression): 이상값(outliers)에 덜 민감한 손실함수를 사용하여 추정의 안정성을 높인다. 극단값들이 회귀분석 결과에 영향을 주는데 이것을 배제하는 것이 필요하다고 판단할 때 사용한다.
• 분위 회귀(Quantile regression): 조건부 평균이 아닌, 조건부 중위수 또는 특정 분위수(25%, 75% 등)를 예측하는 모형이다. 특히 데이터의 분포가 비대칭이거나 이상값에 민감한 경우 유용하며, 절대편차를 최소화하는 방식으로 계수를 추정한다.

이러한 모형들은 각각의 목적에 따라 손실함수나 패널티를 바꾸지만, 기본적으로는 선형회귀의 구조를 유지하면서 특정 상황에 맞게 유연성을 높인 변형들이다. 따라서 '변형된 선형회귀' 또는 '선형회귀의 확장' 계열로 묶어 설명할 수 있다.

이들 모형은 모두 선형회귀의 기본 구조를 바탕으로 변형된 것이기 때문에, 기본 가정과 해석은 선형회귀와 본질적으로 다르지 않다. 즉

 

*회귀계수의 해석 방식(단위 변화당 결과의 선형적 증가/감소)이나,

*모형의 설명력(R² 또는 pseudo-R²)

 

을 해석하는 틀은 회귀계수의 의미나   방식이  동일하다.  따라서 분석자는 각 모형이 어떤 상황에서 필요한지만 명확히 이해하고 적절한 회귀모형을 선택하면 된다.
 

---

---