두 집단 평균 비교, 독립표본 t검정과 Mann-Whitney 중 무엇을 쓰나요?

독립표본 t검정과 Mann-Whitney U 검정이 무엇인가요?

둘 다 서로 다른 두 집단(예: 남·여)을 비교하는 검정이에요. 독립표본 t검정은 두 집단의 평균이 다른지 봐요. 각 집단의 값이 대체로 정규분포에 가깝고 두 집단의 퍼진 정도(분산)가 비슷하다고 가정해요. Mann-Whitney U 검정은 두 집단의 값을 합쳐 순위를 매긴 뒤, 한 집단의 값이 다른 집단보다 대체로 큰지 봐요(Mann & Whitney, 1947). 정규분포를 가정하지 않아요.

샘플 데이터의 성별과 수면시간으로 보면 다음과 같아요. 수면시간에 답한 178명(남 95명, 여 83명)의 값을 한데 모아 작은 값부터 순위를 매겼어요. 값이 같으면 순위를 평균해요.

t검정은 수면시간 열로 집단 평균을 계산해요(남 6.66시간, 여 7.29시간). Mann-Whitney U 검정은 순위 열로 집단 평균 순위를 계산해요(남 76.44위, 여 104.45위). 여 집단의 값이 큰 쪽에 더 많이 있다는 뜻이에요. 두 검정 모두 「여 집단이 더 높다」는 같은 방향을 가리키지만, 하나는 값의 크기를 쓰고 다른 하나는 값의 순서만 써요.

그래서 두 검정은 묻는 질문이 조금 달라요. t검정의 결론은 「두 집단의 평균이 다르다」이고, Mann-Whitney U 검정의 결론은 「한 집단의 값이 다른 집단보다 대체로 크다」예요.

무엇을 보고 고르나요?

네 가지를 봐요. 정규성, 등분산, 극단값, 측정 수준이에요. 흔히 쓰는 기준은 다음과 같아요.

정규성은 집단별로 봐요(Field, 2018). Shapiro-Wilk 검정(Shapiro & Wilk, 1965)의 p가 .05보다 작으면 정규분포에서 벗어났다고 판정하고, 왜도·첨도를 함께 봐요. 값에서 집단 평균을 뺀 잔차로 한 번에 보는 방식도 있어요. 다만 표본이 크면 작은 이탈에도 검정이 유의하게 나와요. 집단당 30~40명을 넘으면(Ghasemi & Zahediasl, 2012) t검정의 p값은 원자료의 분포 모양과 관계없이 유효하다고 알려져 있어요(Lumley et al., 2002; Fagerland, 2012).

등분산은 Levene 검정으로 봐요. p가 .05보다 작으면 두 집단의 분산이 다르다고 보고 Welch의 t검정 값을 써요. Welch의 t검정은 분산이 같을 때도 등분산 가정 t검정과 거의 같은 결과를 내기 때문에, 처음부터 Welch를 기본으로 쓰자는 권고가 있어요(Delacre et al., 2017). 두 집단의 인원이 크게 다를 때(예: 20명 대 100명) 등분산까지 깨지면 등분산 가정 t검정의 p가 더 크게 틀어져서, 이때 Welch가 특히 중요해요(Delacre et al., 2017). 분산이 다르다는 이유로 비모수 검정으로 가지는 않아요.

극단값은 평균과 표준편차를 크게 바꾸지만, 순위에서는 가장 큰 값 하나일 뿐이에요. 200이든 30이든 가장 큰 값이면 순위는 똑같이 마지막이에요. 그래서 순위 검정은 극단값의 크기에 영향을 받지 않아요. 다만 극단값이 입력 실수라면 검정을 바꾸기 전에 값을 먼저 정리해요.

측정 수준은 값이 무엇을 뜻하는지예요. 실제로는 이것부터 봐요. 값이 연속형일 때만 정규성·등분산·극단값을 따지고, 순서만 뜻하는 값이면 정규성 검정 자체가 뜻이 없어요. 등급이나 순위처럼 순서만 뜻하는 값은 평균 자체의 의미가 약해서 Mann-Whitney U 검정을 써요. 여러 문항을 합친 리커트 척도 점수는 연속 변수로 보고 t검정을 쓰는 관례가 있어요(Norman, 2010).

샘플 데이터 세 변수의 점검 결과예요. 나이는 입력 실수로 보이는 200과 1을 그대로 둔 값이에요.

수면시간은 여 집단이, 삶의 만족도는 두 집단 모두 Shapiro-Wilk 검정에서 정규분포를 벗어났다고 나왔어요. 그러나 왜도는 모두 절댓값 1 미만이에요. 집단당 인원도 83명 이상으로 30~40명 기준(Ghasemi & Zahediasl, 2012)을 넘어요. 관례상 t검정의 p값을 그대로 쓸 수 있는 범위예요(Lumley et al., 2002; Fagerland, 2012). 수면시간은 Levene 검정이 유의해서 Welch의 t검정 값을 써요. 나이는 입력 실수 200과 1이 둘 다 남 집단(응답 #5·#40)에 있어서, 남 집단의 왜도가 9.32까지 올라갔어요. 이런 값은 검정을 고르기 전에 입력 실수인지 먼저 확인해요.

샘플 데이터에서 두 검정은 어떻게 나오나요?

세 변수를 두 검정으로 모두 돌린 결과예요. 나이는 입력 실수 200·1을 둔 채와 결측으로 바꾼 뒤를 나란히 두었어요. t와 z의 부호는 남 집단에서 여 집단을 뺀 방향이에요(남이 먼저).

수면시간과 삶의 만족도는 두 검정의 결론이 같아요. 여 집단이 유의하게 높고, 효과크기 d = 0.55와 0.50은 관례상 중간 크기로 봐요(Cohen, 1988). 가정이 크게 어긋나지 않는 데이터에서는 두 검정이 보통 같은 결론을 내요.

나이는 두 검정이 다르게 반응해요. 입력 실수 200(응답 #5)과 1(응답 #40)은 둘 다 남 집단에 있어요. 이 두 값을 두면 남 집단의 평균이 24.32에서 25.93으로, 표준편차가 1.84에서 18.30으로 바뀌고, t는 0.12에서 0.81로, d는 0.02에서 0.12로 커져요. 이번 데이터에서는 결론(유의하지 않음)이 바뀌지 않았지만, 통계량은 값 두 개에 이만큼 달라져요. Mann-Whitney U 검정은 200을 「가장 큰 값」, 1을 「가장 작은 값」으로만 다루기 때문에 p가 두 경우 모두 .944로 같아요.

정규성이 어긋나면 무조건 Mann-Whitney인가요?

아니에요. Shapiro-Wilk 검정이 유의하다는 것과 t검정을 쓸 수 없다는 것은 다른 문제예요. t검정의 p값은 원자료가 아니라 표본 평균의 분포로 계산하는데, 표본이 커지면 이 분포는 원자료 모양과 관계없이 정규분포에 가까워져요(중심극한정리). 그래서 집단당 30~40명을 넘으면(Ghasemi & Zahediasl, 2012) 정규성이 다소 어긋나도 t검정의 p값은 유효해요(Lumley et al., 2002; Fagerland, 2012). Fagerland(2012)는 표본이 클수록 t검정은 정규성에 둔감해지는데 정작 큰 연구에서 비모수 검정을 더 쓰는 현상을 역설이라고 불렀어요.

정규성을 집단별로 보느냐 잔차로 보느냐에 따라 판정이 달라질 수 있어요. 수면시간은 집단별 Shapiro-Wilk 검정에서는 여 집단이 위반으로 나오지만(p = .016), 값에서 집단 평균을 뺀 잔차로 보면 위반이 아니에요(p = .093). 연구친구 결과 화면의 가정 점검 줄은 잔차 방식이에요. 심사에서 집단별 정규성을 물으면 위 정규성 점검 표처럼 집단별 값을 그대로 제시하면 돼요.

분산이 다른 것은 정규성과 별개예요. 그때는 Welch의 t검정이 처리하고, 비모수 검정으로 갈 이유가 아니에요(Delacre et al., 2017).

Mann-Whitney U 검정은 「중앙값 버전의 t검정」이 아니에요. 순위(분포의 위치)를 비교하기 때문에, 두 집단의 분포 모양이나 퍼진 정도가 다르면 중앙값이 같아도 유의하게 나올 수 있어요(Fagerland, 2012). 그래서 결과는 「평균이 다르다」가 아니라 「한 집단의 값이 대체로 더 크다」로 서술해요.

연구친구의 독립표본 t검정 결과 화면에서는 다음과 같아요. 결과 해설의 가정 점검 줄에 Shapiro-Wilk W·p와 Levene F·p가 한 줄로 적혀요. 정규성은 값에서 집단 평균을 뺀 잔차로 계산해서, 수면시간은 W = .99, p = .093으로 위반이 아니고 삶의 만족도는 W = .98, p = .003으로 위반이에요. Levene 검정이 유의한 수면시간은 표와 논문 문장에 Welch의 t검정 값이 들어가고, 등분산 가정 값은 같은 줄에 함께 적혀요. Mann-Whitney U 검정 표와 논문 문단은 잔차 정규성이 위반인 변수에만 결과 해설 아래에 자동으로 붙어요. 그래서 삶의 만족도(잔차 p = .003)에는 붙고, 수면시간(잔차 p = .093)에는 여 집단의 집단별 검정이 유의해도 붙지 않아요. 이때 표본이 크면(문헌 기준 집단당 30~40명) t검정의 p값을 그대로 보고할 수 있다는 안내가 함께 나와요. 검정을 자동으로 바꾸지는 않아요. t검정이 1차 결과이고, 어느 검정을 보고할지는 연구원님이 정해요.

논문에는 뭐라고 쓰나요?

어느 검정을 썼는지와 그 이유(가정 점검 결과)를 먼저 적고, 검정통계량·p·효과크기·집단별 기술통계를 적어요(APA, 2020).

1. 가정 점검 결과. Shapiro-Wilk W와 p, Levene F(1, df)와 p를 적고, 그에 따라 어느 방식을 썼는지 밝혀요. 「Levene 검정 결과 등분산 가정이 충족되지 않아 Welch의 t검정을 적용하였다」처럼 써요.
2. t검정이면 집단별 M(SD)과 n, t(df) = x.xx, p, 평균차의 95% 신뢰구간, Cohen's d를 적어요. Welch의 t검정이면 df를 소수로 적어요(t(160.64)). 연구친구는 평균차의 95% 신뢰구간과 d의 95% 신뢰구간을 둘 다 계산해요(d의 구간은 비중심 t 분포 기준). 두 구간은 다른 값이니 「평균차 95% CI」「d의 95% CI」처럼 무엇의 구간인지 표시해요.
3. Mann-Whitney U 검정이면 U, z, p, 효과크기(rank-biserial r), 집단별 Mdn 또는 평균 순위와 n을 적어요. 방향은 「어느 집단의 값이 대체로 더 컸다」로 써요.
4. 두 검정을 모두 돌렸다면 어느 것을 주 분석으로 보고할지 가정 점검을 근거로 정하고, 다른 하나는 보조 확인으로 적어요.

아래 「논문에 쓰는 문장」은 샘플 데이터의 숫자로 쓴 예예요. 변수 이름과 숫자만 바꿔 쓰면 돼요.

논문에 쓰는 문장

자주 묻는 질문

참고 자료

• Mann, H. B., & Whitney, D. R. (1947). On a test of whether one of two random variables is stochastically larger than the other. Annals of Mathematical Statistics, 18(1), 50–60. · U 검정의 원 논문. 「한 집단의 값이 다른 집단보다 큰 경향」을 검정한다는 정의
• Shapiro, S. S., & Wilk, M. B. (1965). An analysis of variance test for normality (complete samples). Biometrika, 52(3–4), 591–611. · 정규성 검정(Shapiro-Wilk)의 원 논문
• Delacre, M., Lakens, D., & Leys, C. (2017). Why psychologists should by default use Welch's t-test instead of Student's t-test. International Review of Social Psychology, 30(1), 92–101. · Welch의 t검정을 기본으로 쓰자는 권고. 분산이 같을 때도 등분산 가정 t검정과 거의 같은 결과를 낸다는 근거
• Fagerland, M. W. (2012). t-tests, non-parametric tests, and large studies: A paradox of statistical practice? BMC Medical Research Methodology, 12, 78. · 큰 표본에서 t검정이 정규성에 둔감하다는 근거. Mann-Whitney U 검정이 분포 모양이 다를 때 중앙값 검정이 아니라는 지적
• Lumley, T., Diehr, P., Emerson, S., & Chen, L. (2002). The importance of the normality assumption in large public health data sets. Annual Review of Public Health, 23, 151–169. · 표본이 크면 t검정에서 정규성 가정의 중요도가 낮다는 근거
• Ghasemi, A., & Zahediasl, S. (2012). Normality tests for statistical analysis: A guide for non-statisticians. International Journal of Endocrinology and Metabolism, 10(2), 486–489. · 집단당 30~40명 기준의 출처. 표본이 이보다 크면 정규성이 어긋나도 모수 검정을 쓸 수 있다는 안내(연구친구 t검정 결과 화면의 출처와 같아요)
• Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Erlbaum. · Cohen's d 해석의 관례적 기준(0.20 작음, 0.50 중간, 0.80 큼)
• Field, A. (2018). Discovering statistics using IBM SPSS Statistics (5th ed.). Sage. · 집단별 정규성·Levene 검정 절차와 Mann-Whitney U 검정의 해석
• Norman, G. (2010). Likert scales, levels of measurement and the "laws" of statistics. Advances in Health Sciences Education, 15(5), 625–632. · 여러 문항을 합친 리커트 척도 점수를 모수 검정에 쓰는 관례의 근거
• West, S. G., Finch, J. F., & Curran, P. J. (1995). Structural equation models with nonnormal variables: Problems and remedies. In R. H. Hoyle (Ed.), Structural equation modeling: Concepts, issues, and applications (pp. 56–75). Sage. · 왜도 절댓값 2·첨도 절댓값 7 기준
• American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). · 통계 표기(t, df, p, d, U, z, M, SD, Mdn, CI) 관례

함께 보기

• 독립표본 t검정 결과, 어떻게 해석하고 논문에는 어떻게 쓰나요?
• 정규성은 어떻게 확인하나요? 왜도·첨도 기준은 얼마인가요?
• 설문 데이터 이상치, 기준은 무엇이고 어떻게 처리하나요?