데이터 분석의 첫걸음 - 데이터 전처리

데이터 분석에서 가장 중요한 첫걸음은 바로 전처리다. 분석을 위한 데이터 준비 작업이 제대로 이루어져야만, 이후의 분석이 정확하고 효율적으로 진행될 수 있다. 데이터 전처리는 각 변수의 분포 형태, 결측값, 극단값 등을 파악하고, 데이터를 분석에 적합한 형태로 변환하는 작업을 포함한다. 

 

데이터 분석 방법은 매우 다양하며, 계속해서 새로운 기법들이 개발되고 있다. 모든 기법을 다 알 필요는 없지만, 주요 기법을 사용할 때 그 목적을 잘 이해하는 것이 중요하다. 분석 목적에 맞는 기법을 선택하고, 분석 결과를 제시할 때 어떤 산출물을 중점적으로 보여줘야 할지 판단하는데 도움이  되기 때문이다.

 

사회과학 분야에서의 자료 분석 목적은 다음 7가지로 구분해 볼 수 있다.

 

1. 데이터 전처리: 데이터의 분포와 특성을 검토하고 분석할 수 있는 형태로 처리

2. 두 변수 간 관계 분석: 두 변수 간의 관계를 파악하고 분석

3. 혼란변수 통제 후 독립변수 영향 분석: 혼란 변수의 영향을 배제하고, 독립변수의 직접적인 영향을 파악.

4. 예측 및 분류: 많은 변수를 사용하여 목표 변수의 값을 예측하고 분류하는 모델 구축.

5. 인과 과정 분석: 독립변수의 영향을 직접/간접으로 구분하고, 영향이 미치는 과정을 찾아냄.

6. 차원 줄이기: 데이터를 저차원으로 축소하여 분석과 해석을 용이하게 함.

7. 군집분석: 유사한 특성을 가진 데이터를 유형화.

 

데이터 전처리는 이 중에서 가장 중요하다. 이 과정이 잘못되면 분석 결과가 왜곡될 수 있다. 예컨대  소득분석을 해 보니 A집단이 B집단보다 예상과 달리 높게 나타났는데,  확인하니 A집단에서 월소득이 다른 사람의 20배가 넘은 응답이 있어서 그렇게 나타날 수도 있다.  수업이나 교과서에서는 데이터 분석이 중요하다고 하지만 실제 분석에서는 그렇지 않은 경우가 많다. 우리가 분석결과를 가지고 현실을 파악하려면  데이터 분석결과를 신뢰할 수 있어야 하는데, 에러 때문인지 현상이 그러하기 때문인지 구분되지 않는 경우도 있기 때문이다. 그래서 데이터 분석보다 전처리 과정이 훨씬 많은 시간을  차지하는 경우도 많다.  그렇지만 전처리가 되어야 분석을 효율적으로 진행할 수 있으며, 정확한 결과를 도출할 수 있다.

 

전처리에서 검토해야할 사항은 결측값, 이상값, 분포 형태의 세 가지다.

 

. 결측값(Missing Values):

결측값은 데이터 분석에서 매우 중요한 문제다. 예를 들어 결측값이 5% 이하로 적은 경우, 분석결과에 큰 영향을 미치지 않을 수 있지만, 결측값이 많으면 분석 결과가 왜곡될 수 있다. 예컨대 소득이 낮은 사람의 결측이 많으면, 소득 평균이 실제보다 올라간다.

 

결측값을 처리하는 방법은 크게 두 가지로 나눌 수 있다.

1. 무시하고 분석: 결측값을 그대로 두고 분석을 진행하는 방법이다.

2. 결측값 추정: 결측된 값을 추정하여 채워 넣는 방식이다. 이 방법은 결측값이 무작위로 나타나는지, 특정 집단이나 특성에 따라 달라지는지 등을 파악하고, 그에 맞는 방법을 선택해야 한다. 결측값 패턴을 파악하고 추정하는 데 SPSS의 <무응답 분석> <다중대체>이나 R의 패키지들(예: VIM(), missForest())을 사용할 수 있다. (자세한 설명은 별도 글에서 다룬다).

 

이상값(Outliers):

이상값은 데이터에서 정상적이지 않은 값들을 의미하며, 이 값들은 분석 결과에 영향을 미칠 수 있다. 이상값을 파악하고 처리하는 방법은 다음과 같다:

 

1. 이상값 무시: 이상값이 평균이나 표준편차에 영향을 미쳐 분석 결과를 왜곡할 수 있다.

2. 이상값 대체: 이상값을 허용 가능한 최대값으로 바꾸거나(Winsorizing), 잘못 입력된 값으로 확인되면 삭제한다.

3. 강건 통계 사용: 이상값에 민감하지 않은 통계를 사용하는 방법이다. 예를 들어 비모수 통계 등의 강건 통계 (Robust Statistics)를 활용하는 방법이 있다.

 

이상값을 파악하는 방법은 상자수염 그림 (Box-whisker Plot), Z-값, 회귀 분석 잔차 등을 이용할 수 있으며, SPSS에서는 이상값을 자동으로 식별할 수 있는 기능을 제공한다.

 

분포의 형태

분포의 형태가 좌우 대칭인지, 또는 한쪽으로 치우쳐 있는지에 따라 분석결과가 달라질 수 있다. 분포형태는 빈도분포, 중앙값, 평균 등의 기술통계를 통해 파악할 수 있으며, 왜도(Skewness)와 첨도(Kurtosis)를 통해서도 알 수 있다. 왜도는 +면 우측의 꼬리가 길고, -면 좌측의 꼬리가 길다. Kurtosis는 3 이상이면 탑처럼 뾰족하게 올라간 모양이 되며, 이상 값들이 많을 수도 있다.

분포의 형태가 비정상적인 경우, 이를 정규분포에 맞게 변형하거나 비정상적인 분포에 덜 민감한 분석 방법의 사용 등으로 대처할 수 있다.  예를 들어 왜도가 큰 값을 보이는 경우, 데이터를 로그 변환하거나 제곱근 변환하는 방법도 생각해 볼 수 있다. 이런 변형은 SPSS, JAMOVI, JASP 등에서 제공되는 함수들을 이용하면 된다.

 

자동화된 전처리

대규모 데이터에서는 전처리 작업에 시간이 많이 소요될 수 있다. 예측 모델을 구축할 때, 이러한 전처리를 자동으로 진행하는 기능을 활용할 수 있다. 예를 들어, SPSS의 <변환> 메뉴에서 제공하는 "모형화를 위한 데이터 준비" 기능은 결측값, 극단값, 분포 형태를 자동으로 탐색하고, 이를 변형하는 작업을 자동으로 처리할 수 있다.

이러한 자동화된 전처리 방법은 예측 모델링에서 매우 유용하지만, 이론적 검증이 필요한 경우 연구자가 직접 데이터의 특성을 분석하고 처리하는 것이 더 정확할 수 있다.

 

이렇게 전처리 단계에서부터 시작하여 데이터 분석의 여러 기법을 활용할 수 있다. 각 기법과 도구는 데이터의 특성이나 분석 목적에 맞게 적절히 선택되어야 하며, 전처리 작업을 잘 수행하면 후속 분석이 더욱 효과적으로 이루어질 수 있다.