크론바흐 알파가 어느 정도면 측정 신뢰도가 있는 것으로 보고, 분석의 다음 단계로 넘어가도 될까?
많은 연구에서 '소외도', '만족도', '공동체 의식' 과 같은 개념들을 측정할 때 신뢰도를 높이기 위해 여러 문항을 사용하는 경우가 많다. 이 때, 측정의 신뢰도를 크론바흐 알파 값을 통해서 제시한다. 그러면 알파 값이 얼마 이상이어야 하는가?
- 크론바흐 알파란
크론바흐 알파(Cronbach's alpha)는 여러 문항(질문)으로 구성된 척도가 하나의 개념(construct)을 얼마나 일관되게 측정하고 있는지를 평가하는 내적 일관성 지표다. 값은 0~1 사이이며, 값이 클수록 문항 간 일관성이 높다는 것을 나타낸다.
- 해석 기준
알파값의 해석에 대해서 Nunnally (1994)는 두 가지 경우로 나누어 설명하고 있다. (아래는 해당 부분의 원문).
. 연구의 초기단계에서는 alpha= 0.7 정도도 사용가능하고,
. 집단 간 차이 등을 분석할 경우에는 alpha =0.8 정도면 충분하고,
. 개개인별 수준을 평가할 경우: alpha > 0.9 가 최소한의 수준이며,
. 해당 개인에 대해 중요한 결정이 내려진다면 0.95이상이 이상적이라고 한다.
A satisfactory level of reliability depends on how a measure is being used. In the early stages of predictive or construct validation research, time and energy can be saved CHAPTER 7: THE ASSESSMENT OF RELIABILITY 265 using instruments that have only modest reliability, e.g., .70. If significant correlations are found, correc[ions for attenuation will estimate how much the correlmions will in crease when reliabilities of measures are increased. If these corrected values look promising, it will be worth the time and effort to increase the number of items and re duce measurement error in other ways. It can be argued that increasing reliabilities much beyond .80 in basic research is often wasteful of time and money. Measurement error attenuates correlations very little at that level. Strenuous and unnecessary efforts at standardization in addition to increasing the number of items might be required to obtain a reliability of, say, .90.
출처. J. C. Nunnally and I. H. Bernstein.(1994). Psychometric Theory. 3rd. ed. p265-266.
사회과학은 대부분 종속변인의 값을 개인별 판단이 아니라 집단간 차이 등을 보기 위해 사용한다. 따라서 0.8 이상이면 된다고 볼 수 있다. 또 그는 측정척도가 0.8정도의 신뢰도를 가지면 신뢰도를 높이기 위해 많은 노력을 할 필요는 없다고도 한다. 여기서 많은 노력이란 문항 수를 증가하는 등의 방법을 말한다. 그러나 파일롯 테스트 등의 경우가 아니라면 0.8 정도는 되어야 한다고 볼 수 있겠다. 신뢰도가 0.8이라는 것은 측정점수의 변화와 측정하고자 하는 진짜 값이 64%정도 공통변량을 갖는다는 것이고, 0.7이라는 것은 이 수치가 50%라는 것이다. 따라서 낮더라도 0.8가까이는 나와야 할 것 같다.
그러면 신뢰도가 낮을 때는 어떻게 해야 하는가?
여러 가지 방법이 있겠지만 다음과 같은 방안들이 우선 가능하다.
1) 문항을 증가한다
- 일반적으로 문항 수를 증가하면 신뢰도 값은 증가한다.
2) 신뢰도를 낮추는 문항을 삭제한다
- 문항 중에 응답자들이 잘못 의미를 해석한 문항이 있을 수 있다. 이런 문항은 제거한다.
3) 요인분석을 통해 해당 문항들이 단일 요인을 측정하는지 확인한다. 만약 단일 요인으로 분류되지 않는 문항이 있다면 제거한다.
- 동일한 요인을 측정한다고 가정했지만, 실제 응답과정에서 응답자들이 다르게 해석했을 수도 있다. 제거한다.
4) 응답 중에 이상값이 없는지 확인한다. 코딩오류나 응답오류인지 확인하고, 그렇다면 제거한다.
- 척도는 문제없더라도 응답자 중에 일부가 무성의하게 응답했거나 잘못 생각하여 문항을 잘못 해석했을 수도 있다.
신뢰도 α가 낮다는 것은 관측점수 X가 진점수 T를 잘 대변하지 못한다는 뜻이며, 이는 X를 독립변수나 종속변수로 활용하여 관계를 분석할 때 그 관계가 실제 관계를 나타내지 못할 수가 있는 것이다. 이럴 경우 측정을 다시 하거나, 아니면 분석의 1종오류를 낮추기 위해 p값을 예컨대 0.01등과 같이 낮게 설정하는 것도 고려해 볼 수 있다.
참고문헌.
Nunnally, J. C. (1994).Psychometric Theory (3rd. ed.). chap.7. p.265.
'요청 사항 (분석 관련)' 카테고리의 다른 글
요인 부하치 해석 기준 (0) | 2025.03.28 |
---|---|
챗 지피티에게 통계 분석을 시켜보니: 가능성과 한계 (0) | 2025.03.25 |
통계적으로 유의하지 않게 나왔을 때: 분석의 검증력을 검토해야 (2) | 2025.03.24 |
회귀분석, 어떻게 선택할까? - 종속변수에 따른 회귀모형 선택법 (0) | 2025.03.24 |
회귀분석에서 다공선성 파악 및 대처 방법 (0) | 2025.03.21 |