유의도 검증의 한계: 효과 크기를 같이 보아야

유의도 검증은 표본에서 발견된 패턴이 전체 집단에서도 존재하는지를 확인하는 방법이다. 이를 위해 유의확률(p-value) 을 계산하며, 이 값이 충분히 작으면 해당 패턴이 실제로 존재한다고 판단한다. 일반적으로 p < 0.05이면 실제 현상이 존재한다고 보고, 그보다 크면 우연한 결과로 간주한다. 대부분의 통계 기법은 유의확률을 자동으로 계산해 주며, 많은 연구자가 이를 분석 결과를 판단할 때 사용한다.

 

그러나 유의도 검증에는 몇 가지 중요한 한계가 있다.

 

첫째로 유의확률이 낮다고 해서 효과가 크거나 중요한 것은 아니다.

유의확률이 낮다는 것은 단지 해당 효과가 ‘확실히 존재한다’는 것을 의미할 뿐이고, 그 효과가 크거나 의미 있다는 것과는 별개다. 하지만 p-value가 작으면 결과가 중요하다고 해석하는 오류가 종종 발견된다. 이는 유의확률의 본래 의미를 잘못 이해한 것이다.

 

표본이 커지면 같은 관계에서도 유의확률이 낮아진다.

동일한 변수 간의 관계라도 표본 크기가 커지면 p-value가 작아진다. 예를 들어, 작은 표본에서는 유의미하지 않던 관계도 표본이 커지면 유의한 것으로 나타날 수 있다. 따라서 p-value만 보고 결과를 해석하면, 실제로는 미미한 관계를 중요한 것처럼 착각할 위험이 있다.

 

유의수준 0.05는 절대적인 기준이 아니다.

유의수준(p < 0.05)은 연구 관행에 따라 널리 사용되고 있지만, 이를 절대적인 기준으로 삼는 것은 적절하지 않다. 연구의 성격과 분석 방법에 따라 유의수준도 조정될 필요가 있다. 유의수준이 너무 낮으면 지나치게 보수적으로 접근해 새로운 발견을 놓칠 수 있고, 반대로 너무 높으면 신뢰도가 낮은 결과를 받아들일 위험이 있다.

 

데이터 규모가 커질수록 유의확률의 의미가 사라진다.

현대 사회에서는 데이터의 수집과 분석 기술이 발전하면서 다루는 데이터의 크기가 점점 커지고 있다. 예를 들어, 국가통계에서 표본 크기가 몇 만명인 경우도 있고 빅데이터는 말할 필요도 없다. 표본이 커지면 아주 미미한 차이도 유의미한 것으로 나타나기 때문에, 유의확률만으로 결과의 중요성을 판단하기 어려워진다. 즉, 데이터가 커질수록 유의도 검증의 실용성이 떨어진다.

 

유의확률과 함께 효과 크기 ( https://skcho.tistory.com/10 )를 고려해야 한다.

이러한 문제를 해결하기 위해서는 유의확률(p-value)뿐만 아니라 효과 크기(effect size)도 함께 제시해야 한다. 효과 크기는 표본 크기의 영향을 받지 않으며, 변수가 실제로 얼마나 중요한지를 나타내는 지표다. 연구 결과의 실질적인 의미를 정확히 이해하려면 반드시 효과 크기를 함께 고려해야 한다. 학문 분야에 따라서는 효과크기가 본격적으로 사용되기도 한다.

과거에는 표본 크기가 작아 유의확률만 제시해도 큰 문제가 없었지만, 대규모 데이터를 다루는 현재는 효과 크기가 필요하다. 최근에 나온 JASP나 JAMOVI 같은 GUI 기반 소프트웨어에서는 효과 크기를 기본적으로 제공한다.

이제는 통계 분석에서 중요한 것이 p-value가 0.05 이하인지 확인하는 것이 아니라, 그 결과가 실제로 얼마나 의미 있는지를 평가하는 것이다. 유의도 검증에 의존하는 대신, 효과 크기를 함께 고려하는 데이터 분석이 정착될 필요가 있다