동등성 검증 (Equivalence Test) 실행방법 (JASP 이용 TOST test)예

Jasp에서 확장메뉴 중 Equivalence Test 모듈을 이용해서 동등성 검증을 해 보자.

한국인의 의식가치관 조사에서 성별을 독립변수로 그리고 자유주의적 가치관 점수 (7점만점)를 종속변수로 해서 ‘남녀간에 자유주의적 가치관에 차이가 없다’는 것을 검증하였다.

 

먼저 t-test에서 Leven의 Equality of variance를 실한 결과 결과에서 보듯이 등변량 가정이 유지되었다.

레빈의 등변량 검증

 

 

 

Equivalence test 메뉴화면은 다음과 같이 한 화면에서 모든 선택을 할 수 있다.

 

테스트 옵션은 다음과 같이 선택한다

1) 등변량 가정이 유지되었으므로 Student를 택한다. 등변량 가정이 유지될 수 없으면 Welch를 택하면 된다.

2) 동등성 영역(Equivalence Region)은 효과크기 0.1로 하였다. d=0.1은 매우 약한 효과에 해당된다. 그래서 이 정도 차이면 무시할 만한 차이라고 보겠다는 의미다.

3) 동등성을 판단하는 기준은 Cohen’s d로 하였다. 원점수로 하여도 된다.

4) 유의도 수준은 p=0.05를 기준으로 한다.

 

이렇게 선택하면 나서 오른쪽 메뉴에서 결과물을 선택한다.

1) 평균, 표준편차 등 기술통계치를 보기 위해 Descriptives에 체크하였다.

2) 동등성 범위를 그림으로 그려달라고 체크하였다.

3) 종속변수에 무응답이 있으면 분석에서 제외하는 것으로 체크했다. 

이렇게 하면 화면의 우측에 있는 결과창에 다음과 같이 분석결과가 나온다.

 

아래의 테스트 결과에 보면   p= 0.679로 영가설이 부정되지 않았다. 즉 동등하다는 것이 입증되었다.

 

동등성 검증은 t 분포를 이용한다. 미리 설정한 동등성 구간 안에  d값의 신뢰구간이 포함되는가를 통해 검증한다.  동등성 구간은 위에서 분석옵션을 선택할 때 넣었다.

두 번째 표는 신뢰구간을 이용해서 검증해 준다. 첫번째 표와 동일한 것을 다른 방식으로 보여주는 것이다.  코헨의 d 값의 신뢰구간이 나와있는데, -0.058 < d < 0.066 이다.  앞서 설정한 동등성 영역 즉   -0.1 <d <0.1에 포함되어 있다. 즉 남자와 여자의 가치관은 같다고 볼 수 있다. 

 

세 번째 표는 두 집단의 사례수, 평균값, 표준편차 등을 보여준다.

 

마지막으로 동등성 영역 그림표가 나온다. 회색빛 상자가 동등성 영역이다. 그리고 상자안의 상하한선이 신뢰구간을 보여준다. 이 그림에서도 남녀간의 차이는 동등영역 안에 있고, 따라서 차이가 없다는 것을 보여준다.

 

이상에서 보듯이 표 두개와 그림 모두 같은 내용을 각기 다르게 보여준 것이다.

 

동등성 검증은 결국 효과차이 d와 그것의 신뢰구간을 구한 다음, 이것이 미미한 차이라고 설정한 동등성 영역내에 포함되는가를 보는 것이다. 동등성 영역을 얼마로 할 것인가가 중요한데, 이것은 그 분야의 특성에 따라 다를 것이다. 여기서는 d=0.1로 했지만 d=0.2가 일반적이며, 엄밀한 기준이 필요하지 않을 경우 0.3정도로 할 수 있을 것이다.