통계적으로 유의하지 않게 나왔을 때: 분석의 검증력을 검토해야

데이터 분석에서는 종종 이론적 예측과 다른 결과가 나올 수 있다. 그 이유는 이론이 틀렸기 때문일 수도 있지만, 분석의 검증력이 부족해서 실제 효과를 제대로 찾아내지 못했기 때문일 수도 있다.

검증력(power)은 실제로 존재하는 차이나 관계가 있을 때, 이를 발견해 낼 수 있는 능력을 말한다.  검증력이 약하면, 실제로 효과가 있더라도 통계적으로 유의하게 나오지 않을 수 있다.  이론이 옳더라도, 데이터 분석이 그것을 입증해주지 못하는 것이다.  그래서 분석의 결론을 내리기 앞서, 분석이 충분한 검증력을 확보하고 있었는지를 살펴보아야 한다.  다음은 검증력을 높일 수 있는 다섯 가지 방법이다.

 

 

1. 유의수준  조정

일반적으로 사용되는 유의수준(α)은 0.05이지만, 연구 목적에 따라 0.1로 완화할 수도 있다.  새로운 패턴이나 관계를 탐색하는 것이 필요한 분야에서는 유의도 수준을 낮추는 것이 도움이 된다. 또한 실용적 판단이 중요한 연구(예: 정책평가, 교육실험 등)에서는 작은 효과라도 놓치지 않는 것이 필요하다. 

---

2. 표본 크기 확대

표본 수가 많을수록 검증력은 높아진다. 표본이 크면 작은 효과도 통계적으로 유의하게 감지할 수 있기 때문에, 검증력을 높이기 위한 가장 직관적이고 효과적인 방법은 표본을 늘리는 것이다. 예를 들어, 소규모 집단에서만 실시한 설문조사에서는 실제로 존재하는 효과가 유의하지 않았지만,  규모를 확장하면 유의한 차이가 나타날 수 있다.

---

3. 측정 오류 축소

측정 도구의 신뢰도가 낮거나 문항이 모호할 경우, 측정 오류가 커지고 검증력이 떨어지게 된다.   측정 도구의 타당도와 신뢰도 그리고 문항 수 등이 적절했는지 검토해 보고 필요하면 이를 개선해야 한다.

예컨대 특정 태도를 측정하는 문항이 1개뿐이라면 검증력이 낮아지지만, 유사한 문항을 5개 이상 구성해 평균을 내면  신뢰도가 높아진다. 

---

4. 효과 크기 극대화

검증력은 효과 크기(effect size)가 클수록 높아진다. 효과 크기를 키우는 방식은 연구 유형에 따라 다르다.

• 실험 연구의 경우, 처치(treatment)의 강도를 조절하거나 대조집단과의 차이를 극대화해서 효과 크기를 키울 수 있다. 예를 들어,  위협적인 방법이 설득효과가 있는지 알아보는 실험의 경우 위협의 강도 차이를 더 크게 느끼도록 실험처치를 할 수 있다. 
• 반면, 사회조사나 관찰 데이터를 이용한 연구에서는 독립변수를 인위적으로 조절할 수 없기 때문에, 독립변수의 변동 폭이 충분히 확보되었는지를 살펴야 한다. 만약 독립변수가 거의 일정하다면 그것의 효과도 크게 나타나지 않아 찾아내기 어렵게 된다. 

---

5. 적절한 분석 방법 선택

분석 방법의 선택도 검증력에 영향을 준다. 

예를 들어, 실제로는 비선형적인 관계가 상호작용효과가 존재하고 있는데, 회귀식에서 이를 반영하지 않고  일반 선형회귀를 실시한다면,  검증력이 낮아질 수 있다. 또한, 종속변수가 정규분포를 따르지 않거나, 데이터에 이상값(outlier)이 많을 때도 분석 결과가 제대로 나오지 않는다. 데이터의 특성(분포, 척도, 이상값 등)을 사전에 충분히 탐색하고, 그에 맞는 분석 모형을 선택하는 것이 중요하다.

 

분석이 아무리 정교해 보여도, 실제로 존재하는 효과를 찾아내지 못한다면 연구의 의미가 낮을 수 밖에 없다. 

분석 결과가 기대와 달랐을 때, 단순히 "효과가 없다"고 단정하기보다는 먼저 검증력이 충분했는지를  표본크기, 효과크기, 분석 방법 등을 검토해야 한다.  중요한 현상을  ‘검증력 낮은 분석’ 때문에  찾아내지 못하는 것은 바람직하지 않다.