서 론

분노는 인간이 경험하는 정서적 스트레스/부정적 정서 가운데 일상적으로 자주 경험된다. 예컨대, 한국[1], 미국[2], 러시아[3]에서 수행된 연구를 살펴보면 한 주에 한 두 번 이상 분노를 경험하는 그룹이 가장 높게 나타났다. 심지어 일기를 사용한 연구[4]에서는 하루에 한 두 번 경험하는 것으로 나타나기도 했다. 이처럼 사람들은 분노를 일상적으로 자주 경험하는 경향이 있다.

뿐만 아니라 분노는 다양한 질병 또는 부적응과 연관이 있는 것으로 나타나고 있다: 암[5], 심장 질환[6], 뇌졸중[7], 당뇨병[8], 고혈압[9], 소화계 질환[10], 요통[11], 불안 장애[12], 우울 장애[13], 간헐적 폭발 장애[14], 외상 후 스트레스 장애[15], 자살[16], 비만[17], 흡연[18], 알코올 중독[19], 도박[20], 가정 폭력[21], 학교 폭력[22], 직장 내 폭력[23], 탈진[24], 교정[25].

이처럼 분노가 일상적으로 쉽게 경험되며, 다양한 질병 또는 부적응과 연관되어 있기 때문에 분노를 객관적으로 측정하기 위한 다양한 척도들이 개발된 바 있다. 그리고 지금까지 개발된 분노 척도 가운데 가장 대표적인 척도는 Spielberger가 개발한 일련의 척도들이다: 상태-특성 분노 척도(The State-Trait Anger Scale, STAS) [26], 분노 표현 척도(The Anger Expression Scale, AX) [27], 상태-특성 분노 표현 척도(The State-Trait Anger Expression Inventory, STAXI) [28].

한편, Spielberger [29]는 STAXI를 더 발전시켜서 상태-특성 분노 표현 척도 2판(STAXI-2)을 개발한 바 있다. 원래 STAXI는 상태 분노(10문항), 특성 분노(10문항), 분노 억제(8문항), 분노 표출(8문항) 및 분노 조절(8문항)을 측정하는 총 44문항으로 개발되었다. 하지만, STAXI-2는 상태 분노를 10문항에서 15문항으로 늘렸다. 이렇게 상태 분노 문항이 증가된 이유는 상태 분노 문항의 세부 검사로서 (1) 상태 분노: 분노 느낌(5문항), (2) 상태 분노: 언어적 양상(5문항), (3) 상태 분노: 신체적 양상(5문항)으로 확대되었기 때문이었다. 또한 분노 표현과 관련해서 분노 조절을 분노 조절/외부와 분노 조절/내부로 구분했다. 여기서 분노 조절/외부는 화가 날 때 얼마나 자주 분노의 ‘외적인 표현’을 조절하는가, 그리고 분노 조절/내부는 화가 날 때 얼마나 자주 ‘내적으로 노력’함으로써 분노를 진정시키는가로 구분했다. 그 결과 STAXI-2는 상태 분노(15문항), 특성 분노(10문항), 분노 억제(8문항), 분노 표출(8문항), 분노 조절/내부(8문항), 분노 조절/외부(8문항), 모두 총 57문항으로 구성되었다.

국내에서도 STAXI-2를 한국 문화에 알맞은 척도로 개발하기 위한 시도가 이루어졌다[30]. 한국판 STAXI-2를 개발하기 위해서 미국판 STAXI-2에 있는 57개 문항을 포함하되, 특성 분노에 관한 추가적인 개념(예: 독성 분노) 포함, 개방형 질문지 수집, 기존의 주요 분노 척도와 관련 문헌 고찰 등을 거쳐 120문항으로 예비 척도를 구성했다. 연구 1에서 120문항으로 구성된 예비 척도를 전국적 표집(N=718명)을 통해 실시한 결과, 분노 경험에 관한 요인 분석에서 상태 분노와 특성 분노가 뚜렷이 구분되어서 나타났다. 반면에 분노 표현에 관한 요인 분석에서 4가지 요인 구조가 명확하게 구분되지 않았다. 이처럼 분노 표현 척도가 명확하게 나타나지 않아서 적절하지 않은 문항들을 제거하고 일부 문항을 추가로 포함하여 110문항으로 구성된 새로운 예비 척도를 구성했다. 연구 2에서 새로이 구성된 척도를 사용해서 전국적 표집(N=806명)을 수집한 후 탐색적 요인 분석을 실시한 결과, 척도에서 가정하는 분노 경험(2요인)과 분노 표현(4요인) 구조가 명확하게 나타났다. 또한 이와 같이 구성된 6가지 하위 척도들의 내적 일치도의 범위가 α=.81에서 α=.94로 나타남으로써 만족스러운 수준의 신뢰도로 나타났다. 아울러, 상관 분석과 성별 차이 검증에서도 전체적으로 한국판 STAXI-2의 구성 개념을 지지하는 것으로 나타났다. 이와 같은 연구 결과는 한국판 STAXI-2가 신뢰성 있고 타당한 측정임을 보여주고 있다.

본 연구는 한국판 STAXI-2가 새로운 집단과 방법에서도 신뢰성 있고 타당한가를 검증함에 의해서 타당화 연구를 수행하고자 한다.

연구방법

1. 참여자 및 표집 방법

본 연구는 두 집단을 대상으로 수행되었다. 우선 일반 집단의 경우 가능한 한 전국적인 편의 표집(N=320명)이 이루어졌으며, 위에서 기술했듯이 앞선 연구[30]와 독립적인 표집으로 구성되어 있다. 연구는 2022년 11월 초에서 중순까지 진행되었으며, 코로나 상황으로 인해서 온라인 검사로 실시되었다. 한편, 분노 표현에 관한 4가지 서로 다른 방식이 교대로 제시되었음에 불구하고 일곱 문항 이상에 같은 반응(예: 모든 문항에 대해 2에 반응)을 한 자료(13명)를 삭제한 결과 307명의 자료가 최종 분석에서 사용되었다. 일반 집단 참여자를 지역별로 분석한 결과 비교적 전국적으로 골고루 포함되었다: 서울(4.6%), 부산(13.4%), 경기도/인천(9.8%), 강원도(2.3%), 충청북도(1.0%), 충청남도/대전/세종(8.1%), 경상북도/대구(7.2%), 경상남도/울산(25.4%), 전라북도(13.0%), 전라남도/광주(9.1%), 제주도(6.2%). 참여자를 성별로 분석한 결과, 여자가 약 4/5정도(여자 81.8%, 남자 18.2%)로 많이 포함되어 있었으며, 연령은 15세에서 64세의 범위로 나타났다.

한편, 정신건강의학과 환자 집단은 서울에 위치한 대학교 병원의 외래 환자 94명과 병동 환자 6명이 참여하였으며, 2022년 11월에 진행되었다. 질문지는 일반 집단과 동일하였으나 정신건강의학과 환자들이 보다 안정적으로 그리고 성실하게 참여할 수 있도록 온라인 검사 대신 질문지를 직접 인쇄해서 실시했다. 참여자의 성별은 남자(50명)와 여자(50명)가 동수로 참여하였으며, 평균 나이가 43.5세로 나타났다. 전문의에 의해 내려진 주요 진단은 기분 장애(50명), 불안 및 신체화 장애(12명), 중독 관련 장애(19명), 스트레스 관련 장애(8명), 기타 장애(11명)로 나타났다. 한편, 환자 집단 가운데 정신분열증 환자 2명과 66세 이상 17명을 제외한 결과 81명이 분석에서 사용되었다¹⁾.

2. 조사 실시 및 절차

연구를 수행하기 전에 대학교와 대학병원으로부터 각각 기관심의위원회(institutional review board, IRB)의 승인(대학교: 2-1040781-A-N-012021128HR; 대학병원: 2021-12-031HR)을 얻고 자료 수집을 수행하였다. 다수의 연구자가 전국 각 지역 별로 참여하였고, 연구자들의 노력에 의해 연구 목적에 동의하는 참여자가 온라인 검사 또는 질문지에 응답했다. 모든 검사는 사전동의서를 취득한 후 무기명으로 실시되었으며, 두 가지 점이 강조되었다: (1) 충분한 시간과 방해를 받지 않는 공간에서 응답, (2) 있는 그대로 ‘솔직한’ 응답. 참여자들은 (1) 3분 스트레스 관리 강의 동영상 무료 시청과 (2) 검사 결과가 무료로 제공되는 혜택이 주어졌다.

3. 측정 도구

1) 한국판 STAXI-2

앞에서 소개한 한국판 STAXI-2를 사용하였다. 한국판 STAXI-2는 4점 Likert 척도로 평정되었으며, 상태 분노는 ‘정도’로 측정했으며, 특성 분노 및 분노 표현은 ‘빈도’로 측정했다. 구체적으로 상태 분노는 ‘1: 전혀 아니다, 2: 조금 그렇다, 3: 상당히 그렇다, 4: 매우 그렇다’로 측정했으며, 특성 분노와 분노 표현은 ‘1: 거의 전혀 아니다, 2: 가끔 그렇다, 3: 자주 그렇다, 4: 거의 언제나 그렇다’로 측정하였다.

2) 정서적 스트레스 검사

수렴 타당도와 변별 타당도를 살펴보기 위해서 정서적 스트레스 검사[31]를 사용하였다. 정서적 스트레스 검사는 분노, 불안, 우울을 상태와 특성으로 구분해서 측정하고 있으며, 분노, 불안, 우울의 반대 개념으로 가정되는 다양한 개념(예: 특성 분노의 반대 개념인 관용적 특성)을 함께 측정하고 있다: 상태 분노(7문항), 특성 분노(7문항), 상태 불안(7문항), 특성 불안(7문항), 상태 우울(7문항), 특성 우울(7문항), 친밀한 상태(2문항), 관용적 특성(2문항), 평안한 상태(2문항), 안정적 특성(2문항), 행복한 상태(2문항), 활기찬 특성(2문항). 연구[32]에 의하면 모든 하위 검사에서 전반적으로 매우 뚜렷하게 구분되는 요인 구조로 나타났다. 또한 각 하위 검사의 내적 일치도가, 2문항으로 구성된 관용적 특성(α=.65)을 제외하고는, 모든 하위 검사에서 .70 이상으로 나타났다: 상태 분노(α=.93), 특성 분노(α=.89), 상태 불안(α=.93), 특성 불안(α=.87), 상태 우울(α=.91), 특성 우울(α=.93), 친밀한 상태(α=.75), 관용적 특성(α=.65), 평안한 상태(α=.77), 안정적 특성(α=.81), 행복한 상태(α=.79), 활기찬 특성(α=.85). 한편, 정서적 스트레스 검사는 6점 Likert 척도로 평정되도록 구성되어 있다: 1: 전혀 아니다, 2: 상당히 아니다, 3: 조금 아니다, 4: 약간 그렇다, 5: 상당히 그렇다, 6: 매우 그렇다.

4. 분석 방법

자료의 분석은 IBM SPSS 26 (Statistical Package for the Social Sciences for Windows 26.0)으로 이루어졌으며, 탐색적 요인 분석, 내적 일치도, 상관 분석, 차이 검증을 실시했다.

결 과

앞에서 언급했듯이 본 연구는 한국판 STAXI-2가 또 다른 집단이나 또 다른 방법을 사용해서도 신뢰롭고 타당한가를 검증하는데 목적이 있다. 이러한 목적을 위해서 본 연구에서는 다음과 같은 결과를 살펴보고자 한다. 우선 신뢰도와 타당도에 관한 가장 핵심적인 검증 방법으로 (1) 요인 분석과 내적 일치도를 살펴보게 된다. 아울러, 추가적인 타당도 검증으로 (2) 수렴 타당도와 변별 타당도 및 (3) 일반 집단과 환자 집단 간의 차이 검증을 살펴보게 된다. 또한 추가적인 신뢰도 검증으로 (4) 검사-재검사 신뢰도를 살펴보게 된다.

1. 분노 경험에 관한 요인 분석 및 내적 일치도

분노 경험에 관한 탐색적 요인 분석을 위해서 Principal Axis Solution과 Promax Rotation으로 분석하였다. 이때 본 연구가 미국판 STAXI-2에 기초해서 개발되고 있기 때문에 요인 수는 이론적 근거에 기초해서 2요인(상태 분노, 특성 분노)으로 분석했다. KMO (Kaiser-Meyer-Olkin)가 .90으로 나타났으며, Bartlett의 구형성 검정에 의한 χ² (300)이 4895.196 (p＜.001)로 나타나 요인 분석을 위한 가정을 충족하였다. 요인 분석을 실시한 결과, 두 가지 요인이 전체 변량의 49.31%를 설명하고 있었으며(Eigenvalues=9.33, 3.00), Table 1에서 보듯이 분노 경험의 두 요인(상태 분노, 특성 분노)이 명확하게 구분되어서 나타났다.

Table 1에서 보듯이 분노 경험의 두 가지 하위 검사의 내적 일치도를 분석한 결과 만족스러운 수준으로 나타났다: 상태 분노(σ=.93), 특성 분노(σ=.87). 이러한 결과는 한국판 STAXI-2의 상태 분노와 특성 분노가 타당한 구성 개념이며 만족스러운 수준의 내적 일치도가 나타남으로써 신뢰롭고 타당한 척도임을 보여주고 있었다.

2. 분노 표현에 관한 요인 분석 및 내적 일치도

분노 표현에 관한 요인 분석을 위해서도 Principal Axis Solution과 Promax Rotation으로 분석하였으며, 분노 경험과 마찬가지로 이론적 근거에 기초해서 4요인(분노 억제, 분노 표출, 분노 조절/내부, 분노 조절/외부)으로 분석했다. KMO (Kaiser-Meyer-Olkin)가 .87로 나타났으며, Bartlett의 구형성 검정에 의한 χ² (300)이 3611.025 (p＜.001)로 나타나 요인 분석을 위한 가정을 충족하였다. 분석 결과, 네 요인이 전체 변량의 42.26%를 설명하고 있었으며, 전반적으로 한국판 STAXI-2 개발 연구[30]와 동일한 양상으로 나타났다. 다만, 예외적으로 분노 억제의 한 문항(‘내가 인정하고 싶은 것보다 화가 더 많이 나 있다’)이 분노 억제(.47) 뿐만 아니라 분노 표출(.42)에도 .40 이상으로 나타났다. 하지만, 이 문항을 제외하고는 4요인으로 명확하게 구분되는 요인 구조로 나타났다.

Table 2에서 보듯이 분노 표현의 4가지 하위 검사에 관한 내적 일치도를 산출한 결과 역시 만족스러운 수준으로 나타났다: 분노 억제(σ=.81), 분노 표출(σ=.81), 분노 조절/내부(σ=.89), 분노 조절/외부(σ=.81). 이런 결과는 한국판 STAXI-2에서 측정하고 있는 4가지 분노 표현 검사 역시 신뢰할 수 있고 타당한 척도임을 보여주고 있었다.

3. 수렴 타당도와 변별 타당도

한국판 STAXI-2와 정서적 스트레스 검사 간에 상관 분석을 실시하였으며, 그 결과가 Table 3에서 제시되어 있다. 앞에서 기술한 바 있듯이 정서적 스트레스 검사[31]는 분노, 불안, 우울을 함께 측정하고 있어서 분노 이외에도 불안과 우울과의 연관성을 살펴볼 수 있게 된다. 더 나아가 분노에 대한 반대 개념(친밀한 상태-상태 분노, 관용적 특성-특성 분노)을 비롯해서 평안한 상태, 안정적 특성, 행복한 상태, 활기찬 특성을 함께 측정하고 있다. 따라서 상태 분노나 특성 분노와 매우 유사한 개념부터 정반대의 개념까지 다양한 요인과의 연관성을 살펴볼 수 있게 된다.

Table 3에서 보듯이 한국판 STAXI-2의 상태 분노가 정서적 스트레스의 상태 분노와 가장 높은 상관 관계로 나타났으며(r=.67), 마찬가지로 한국판 STAXI-2의 특성 분노가 정서적 스트레스의 특성 분노와 가장 높은 상관 관계로 나타났다(r=.71).

한편, 한국판 STAXI-2의 상태 분노와 다소 다른 개념인 상태 불안(r=.43), 상태 우울(r=.41), 특성 분노(r=.39), 특성 불안(r=.33), 특성 우울(r=.40)과 중간 정도의 상관으로 나타났다. 마찬가지로 한국판 STAXI-2의 특성 분노와 다소 다른 개념인 특성 불안(r=.52), 특성 우울(r=.33), 상태 분노(r=.37), 상태 불안(r=.31), 상태 우울(r=.37)과 중간 정도의 상관으로 나타났다. 흥미롭게도 한국판 STAXI-2의 상태 분노와 정서적 스트레스의 상태 검사 간의 상관이 특성 검사와의 상관에 비해 높게 나타났다: 상태 분노(r=.67)＞특성 분노(r=.39); 상태 불안(r=.43)＞특성 불안(r=.33); 상태 우울(r=.41)＞특성 우울(r=.40). 마찬가지로 한국판 STAXI-2의 특성 분노는 전반적으로 정서적 스트레스의 특성 검사와의 상관이 상태 검사와의 상관에 비해 높게 나타났다: 특성 분노(r=.71)＞상태 분노(r=.37); 특성 불안(r=.52)＞상태 불안(r=.31); 특성 우울(r=.33)＜상태 우울(r=.37).

더 나아가 한국판 STAXI-2의 상태 분노는 반대 개념으로 간주될 수 있는 친밀한 상태(r=−.24)를 비롯해서 관용적 특성(r=−.16), 평안한 상태(r=−.41), 안정적 특성(r=−.28), 행복한 상태(r=−.30), 활기찬 특성(r=−.26)과 유의하게 역상관으로 나타났다. 마찬가지로 한국판 STAXI-2의 특성 분노는 반대 개념으로 간주될 수 있는 관용적 특성(r=−.29)을 비롯해서 친밀한 상태(r=−.17), 안정적 특성(r=−.30), 평안한 상태(r=−.27), 활기찬 특성(r=−.25), 행복한 상태(r=−.20)와 유의하게 역상관으로 나타났다. 이때 위에서 기술된 양상과 마찬가지로 한국판 STAXI-2의 상태 분노가 정서적 스트레스의 상태 검사와의 상관에서 특성 검사에 비해 더 높은 역상관으로 나타났다: 친밀한 상태(r=−.24)＞관용적 특성(r=−.16); 평안한 상태(r=−.41)＞안정적 특성(r=−.28); 행복한 상태(r=−.30)＞활기찬 특성(r=−.26). 그리고 한국판 STAXI-2의 특성 분노도 정서적 스트레스의 특성 검사와의 상관에서 상태 검사에 비해 더 높은 역상관으로 나타났다: 관용적 특성(r=−.29)＞친밀한 상태(r=−.17); 안정적 특성(r=−.30)＞평안한 상태(r=−.27); 활기찬 특성(r=−.25)＞행복한 상태(r=−.20).

이런 결과는 한국판 STAXI-2에서 측정하고 있는 구성 개념이 정서적 스트레스 검사와의 상관에서 유사한 개념 일수록 상관이 높으며, 서로 다른 개념일수록 상관이 낮으며, 더 나아가 반대 개념일 경우 역상관으로 나타남으로써 수렴 타당도와 변별 타당도를 확인할 수 있었다. 따라서 한국판 STAXI-2에서 측정하고 있는 구성 개념이 타당함을 추가적으로 보여주고 있었다.

4. 일반 집단과 환자 집단 간 차이 검증

일반적으로 환자 집단은 일반 집단에 비해서 분노가 높다[28,29]. 이러한 가설을 검증하기 위해서 서울에 위치한 H 대학교병원 정신건강의학과 환자 100명에게 한국판 STAXI-2 검사가 실시되었다. 앞에서 기술한 대로 총 100명이 참여하였으나 정신분열증 환자 2명과 66세 이상 17명을 제외한 결과 81명이 분석에서 사용되었다. 한편, 일반 집단과 환자 집간 간 동질성을 확보하기 위해 가능한 한 성과 연령 변인을 짝지어서 구성하였다. 이렇게 구성된 두 집단에 관한 차이 검증을 실시했으며, 그 결과가 Table 4에 제시되었다.

Table 4에서 보듯이 환자 집단이 일반 집단에 비해서 상태 분노와 특성 분노는 물론 분노 억제 및 분노 표출에서 모두 높게 나타났다. 한편, 분노 조절/내부와 분노 조절/외부에서는 두 집단 간에 차이가 나타나지 않았다. 이러한 결과는 일반적으로 상태 분노, 특성 분노, 분노 억제, 분노 표출이 높을수록 부적응 또는 불건강과 연관되어 나타나고 있다는 점에서 볼 때 한국판 STAXI-2의 구성 타당도를 부가적으로 지지하고 있었다.

5. 검사-재검사 신뢰도(N=30)

우선, 앞에서 기술한 바 있듯이(Table 1, 2) 각 하위 검사에 관한 내적 일관성을 측정한 결과 모두 만족스러운 수준의 내적 일치도를 보여주고 있었다[33]. 이곳에서는 한국판 STAXI-2의 시간적 안정성을 측정하기 위해서 검사재검사를 추가로 살펴보았다. 이때 한국판 STAXI-2 개발 연구[30,34]와 본 타당화 조사에 모두 참여한 일부 표집을 통해서 분석되었다. 참고로 한국판 STAXI-2는 비록 무기명으로 진행되었으나, 스트레스 관리 동영상/분노 관리 동영상 시청을 원하거나 또는 자신의 검사 결과를 알고 싶은 참여자들은 검사 말미에 이메일을 적도록 안내하였다. 이처럼 한국판 STAXI-2 개발 연구와 타당화 조사에 모두 참여한 표집을 검색한 결과 30명으로 나타났으며, 4주 간격으로 검사-재검사를 실시했다.

Table 5에서 보듯이 한국판 STAXI-2를 4주 간격으로 상관을 산출한 결과 세 가지 측면에서 흥미로운 검사-재검사 신뢰도를 보여주고 있었다. 첫째, 상태 분노를 제외하고는 모두 r=.60 이상으로 나타나서 STAXI-2가 4주 동안 안정된 검사 결과를 보여주고 있었다. 둘째, 구성 개념과 일치하게 분노 경험 가운데 상태 분노(r=.47)에 비해서 특성 분노(r=.67)의 상관이 높게 나타났다. 이러한 결과는 상태 분노가 상황에 따라 달라질 수 있는 반면, 특성 분노가 지속적인 성향을 나타나고 있음을 보여주고 있었다. 셋째, 분노 조절/외부의 경우 r=.90으로 나타나고 있어서 분노 조절/외부 방식이 상황에 따라 달라지기보다는 개인적 성향일 수 있음을 암시하고 있었다.

요약하면, 타당도와 관련해서 (1) 분노 경험(2요인)과 분노 표현(4요인)의 요인 구조가 뚜렷하게 구분되어 나타나고 있으며, (2) 수렴 타당도와 변별 타당도가 확인되고 있으며, (3) 전반적으로 환자 집단이 일반 집단에 비해 분노가 높게 나타남으로써 한국판 STAXI-2가 타당한 평가 도구임을 보여주고 있었다. 또한 신뢰도와 관련해서 (1) 한국판 STAXI-2의 6가지 하위 척도에서 만족스러운 수준의 내적 일치도가 산출되었으며, (2) 검사-재검사 신뢰도를 4주 간격으로 측정한 결과 전반적으로 r=.60 이상으로 나타남으로써 한국판 STAXI-2가 신뢰성 있는 검사임을 보여주고 있었다.

고 찰

본 연구에서 한국판 STAXI-2가 또 다른 집단과 방법에서도 신뢰롭고 타당한 척도인가를 검증하였다. 그 결과, (1) 탐색적 요인 분석에서 뚜렷하게 구분되는 2가지 분노 경험(상태 분노 및 특성 분노)과 4가지 분노 표현(분노 억제, 분노 표출, 분노 조절/내부 및 분노 조절/외부)으로 나타났으며, (2) 한국판 STAXI-2와 정서적 스트레스 검사 간의 상관 분석에서 한국판 STAXI-2와 유사할수록 상관이 높고, 다를수록 상관이 낮으며, 반대 개념일수록 역상관이 나타나서 수렴 타당도와 변별 타당도가 확인되었으며, (3) 환자 집단의 분노가 일반 집단에 비해 전반적으로 높게 나타남으로써 한국판 STAXI-2가 타당한 검사임을 보여주고 있었다. 또한 (4) 한국판 STAXI-2의 6가지 하위 척도의 내적 일치도가 σ=.81에서 σ=.93으로 나타남으로써 매우 높은 수준의 내적 일치도를 보여주고 있으며, (5) 검사-재검사 신뢰도를 4주 간격으로 측정한 결과 전반적으로 r=.60 이상으로 나타남으로써 신뢰로운 검사임을 보여주고 있었다. 이런 결과는 한국판 STAXI-2가 신뢰할 수 있고 타당한 척도임을 다시 한 번 보여주고 있었다. 이제 아래에서 본 연구 결과와 관련해서 몇 가지 핵심 주제를 논의하면 다음과 같다.

첫째, 본 연구는 한국판 STAXI-2 개발 과정에서 타당화 연구로 진행되었다. 간략하게 한국판 STAXI-2 개발 연구[30]에서 나타난 결과와 비교하면 다음과 같다. 요인 분석 결과를 살펴보면 개발 연구와 마찬가지로 분노 경험과 분노 표현에서 명확하게 구분되는 2요인과 4요인 구조로 나타났다. 다만, 예외적으로 한 문항(‘내가 인정하고 싶은 것보다 화가 더 많이 나 있다’)이 분노 억제와 분노 표출에 모두 .40 이상으로 나타났다. 또한 내적 일치도를 살펴보면 거의 동일한 수준으로 나타났다(개발 연구/타당화 연구: 상태 분노(.94/.93), 특성 분노(.86/.87), 분노 억제(.81/.81), 분노 표출(.81/.81), 분노 조절/내부(.89/.89), 분노 조절/외부(.81/.81)). 이러한 결과는 새로운 표집에 기초한 타당화 연구에서도 한국판 STAXI-2가 신뢰롭고 타당한 결과를 보여주고 있다. 더 나아가 앞에서 기술하였듯이 타당화 연구에서는 수렴타당도와 변별타당도, 일반 집단과 환자 집단 간 차이 검증, 그리고 검사-재검사 신뢰도를 살펴본 결과, 한국판 STAXI-2가 매우 신뢰롭고 타당한 검사임을 추가로 보여주고 있었다.

둘째, 한국판 STAXI-2는 국내에서 예전에 개발된 한국판 STAXI [35] 뿐만 아니라, 서양에서 개발된 STAXI-2[36], 동양에서 개발된 STAXI-2 [37]에 비해서 전반적으로 더 양호한 척도임을 보여주고 있다. 우선, 요인 구조를 살펴보면 제한적인 표집수(N=307)임에도 불구하고 전반적으로 한국판 STAXI-2가 가장 명확히 구분되는 요인 구조를 보였다. 또한 내적 일치도에서도 보다 양호한 결과로 나타났다: 한국판 STAXI-2 (.81∼.93); 한국판 STAXI (.69∼.90); 스웨덴판 STAXI-2 (.75∼.89); 중국판 STAXI-2 (.68∼.91). 다만, 이러한 결과는 미국 원판 문항에 기초해서 구성된 척도가 아니라 이론적 보완과 문화적 차이를 고려한 방법을 적용했을 때 비로소 나타났다.

셋째, 한국판 STAXI-2는 한국 문화에 알맞은 검사를 개발하는 과정에서 미국판 STAXI-2와 비교해서 11문항이 교체되었다(특성 분노, 2문항; 분노 억제, 1문항; 분노 표출, 2문항; 분노 조절/외부, 6문항). 예컨대, 분노 경험과 관련해서 특성 분노에서 ‘일이 좌절되면 누군가를 때리고 싶다’ 대신 ‘화가 나면 오래 간다’가 포함되었다. 또한 분노 표현과 관련해서 ‘속으로는 부글부글 끓지만 드러내지 않는다’ 대신 ‘속으로 불평한다’(분노 억제), ‘문을 꽝 닫는 식의 행동을 한다’ 대신 ‘상대방에게 따진다’(분노 표출), ‘내 행동을 자제한다’ 대신 ‘차를 마시면서 진정하려고 노력한다’(분노 조절/외부) 등이 포함되었다.

넷째, 척도 개발에서 가장 중요한 요소는 척도에 관한 이론적 정립이다. 이와 관해서 Clark과 Watson [38]은 다음과 같이 이론의 중요성을 강조하고 있다: ‘[검사 개발] 초기의 필수적인 단계는 개념적 모델을 구체적으로 정립하는 것이다. … 우리의 논점은 척도 개발 전에 이론과 구조적 주제에 관해서 심각하게 고려할수록 후속적으로 개발되는 척도가 실질적으로 공헌할 가능성이 높아진다는 사실이다’(pp. 1414-1415). 한국판 STAXI-2 개발 연구[30]에서 기술하고 있듯이 한국판 STAXI-2는 특성 분노 개념을 보완하기 위해서 ‘독성 분노’(toxic anger) [39] 문항을 추가했다. 참고로 ‘독성 분노’란 분노의 정도가 매우 강하거나, 빈도가 아주 잦거나, 기간이 과도하게 오래가는 분노를 의미하며 한국판 STAXI-2 개발 과정에서 ‘화가 나면 오래 간다’ 등을 포함시켰다. 이와 같이 독성 분노 문항을 포함시킨 이유는 일반적으로 특성 분노가 상태 분노에 비해서 다양한 질병과 밀접하게 나타나고 있기 때문이다[40,41]. 예컨대, 대단위 지역 주민(13,000명 정도에서 14,000명 정도)을 대상으로 수행한 전향적 연구에서 특성 분노(10문항)에 기초하여 세 집단으로 구분한 결과, 가장 높았던 집단이 가장 낮았던 집단에 비하여 관상동맥질환의 발생 위험률이 약 3배 정도 높게 나타났으며[40], 뇌졸중 발생 위험률 역시 유사하게 나타났다[41]. 그런데 미국 원판의 특성 분노 문항을 살펴보면 강도와 빈도는 어느 정도 반영되어 있으나 기간에 관한 문항이 전무했다. 따라서 한국판 STAXI-2 개발 연구에서 이에 관한 문항을 포함시킨 바 있다. 한편, 한국판 STAXI-2 개발 연구[30,34]에서 보고된 바 있듯이 요인 분석 결과 미국판 STAXI-2에 포함되었던 특성 분노 문항(‘Feel like hitting someone when frustrated’)이 상태 분노에 교차되어서 나타났다. 더 나아가 세 가지 번안 문항(‘원하는 대로 안 되면 누군가를 때리고 싶다’, ‘일이 막히면, 누군가를 때리고 싶다’, ‘일이 좌절되면, 누군가를 때리고 싶다’)으로 포함시켰으나, 요인 분석 결과 매번 상태 분노에 교차되어 나타났다. 이러한 결과에 기초해서 한국판 STAXI-2에는 미국판 STAXI-2와 달리 특성 분노 문항에 ‘화가 나면 오래 간다’가 교체되어서 포함되었다. 이 사례에서 볼 수 있듯이 비록 세계적인 척도의 경우에도 보다 양호한 검사 개발을 위해서 보다 진전된 이론적 정립이 필요함을 보여주고 있다.

다섯째, 외국에서 개발된 척도를 한국 문화에 적절하게 표준화하기 위해서는 역번역[42] 대신 구성개념 동질성(construct equivalence) [43]을 추구해야 한다. 예컨대, ‘삶의 질’이 한 문화에서는 ‘물질적 풍요’일 수 있으나, 또 다른 문화에서는 ‘신속한 응급처치’일 수 있다[44]. 구체적으로 STAXI와 관련해서 살펴보면, ‘분노 억제’라는 구성 개념이 미국에서는 ‘속에서 화가 끓어도, 밖으로 내색하기 않는다’일 수 있으나, 한국에서는 ‘상대의 시선을 피한다’일 수 있다[35]. 마찬가지로 분노 표출이 미국에서는 ‘문을 꽝 닫는 식의 행동을 한다’일 수 있으나, 한국에서는 ‘상대방에게 따진다’일 수 있다[30]. 이와 관련해서 역번역의 문제점이 다음과 같이 지적되고 있다: ‘하나의 언어에서 다른 언어로 단순히 번역하는 것은 그 도구가 다른 문화에서 사용하기에 타당하고 적절하다는 점을 보장하지 못한다. … 역 번역은 권장되지 않는다. … 그것은 서로 다른 언어 간에 인위적인 의미 유사성을 제공하겠지만 새로운 언어에서 가장 최고의 번역을 제공하지는 못한다’(pp. 720-726) [44]. 관련해서 앞에서 소개했던 중국판 STAXI-2 개발 연구[37]는 중국판 STAXI-2 개발의 어려움을 다음과 같이 호소한 바 있다: ‘일반적으로 영어 척도에 대한 중국어 번역은 원척도와 일치하지 않게 나타나고 있고 … 본 연구에서도 그와 유사한 양상이 나타났다. 실제로 여러 문항들에서 요인 부하량이 과도하게 낮거나 교차되어서 나타났기 때문에 제거되었다’(p. 8). 더 나아가 문제를 해결하기 위해서 ‘보다 더 많은 문항’을 포함하고 ‘문화에 알맞은 문항’이 도입되어야 할 필요성을 언급한 바 있다. 하지만, 만약 역번역을 고집할 경우 단순히 ‘더 많은 문항’을 포함시켜도 문제를 해결할 가능성이 낮다. 반면에 ‘문화에 알맞은 문항’이 구성개념 동질성을 의미한다면 문제를 해결할 가능성이 높다고 볼 수 있겠다.

한편, 비록 본 연구가 한국판 STAXI-2 타당화 연구이지만, 한국판 STAXI-2는 한국판 STAXI [35,45-47]의 연장선에서 개발되었다. 따라서 이곳에서 한국판 STAXI와 관련해서 몇 가지 언급할 필요가 있겠다. 첫째, 일부 연구자들이 STAXI를 단순히 번안해서 사용하고 있는 바, 이러한 척도는 한국의 문화에 적절하지 않을 가능성이 크다. 둘째, 원저자나 출판사의 허가 없이 번안하여 사용하는 것은 미국의 출판사로부터 저작권 침해의 문제가 제기될 가능성이 있으므로 주의할 필요가 있겠다. 끝으로 한국판 STAXI의 연구가 다섯 차례에 걸쳐서 수행되다 보니, 잘못된 정보가 참고 문헌으로 전해지고 있음을 목격하고 있으며, 한국판 STAXI에 대한 정확한 참고 문헌[35]을 유념할 필요가 있겠다²⁾.

본 타당화 연구의 제한점으로는 표집수(N=307)가 제한적일 뿐 아니라 여성(81.8%)이 남성(18.2%)에 비해서 압도적으로 많이 포함되어 있다는 점이다. 다행스러운 점은 한국판 STAXI-2의 최종적인 개발은 본 논문에서 보고되고 있는 타당화 연구 이외에도 다른 표집을 포함해서 수행되고 있다. 그 결과, 전체적으로 성별 편포가 다소 완화되고 있으며(여성 68.6% vs. 남성 31.4%), 남자 표집수가 400명 이상으로 나타나고 있다. 따라서 척도 개발을 위한 표집 크기가 300명 이상이면 양호한 검사로 간주할 수 있다는 기준[48]에 비추어 볼 때 큰 문제가 되지 않다고 볼 수 있겠다. 결론적으로 한국판 STAXI-2가 완벽한 척도가 아니지만, 다양한 분야에서 신뢰롭고 타당하게 분노를 측정할 수 있는 척도로 활용될 수 있겠다. 특히 장차 의학, 간호학, 심리학을 비롯해 중독, 조직, 교육, 교정 등 다양한 분야에서 한국판 STAXI-2가 유용하게 사용될 수 있기를 기대해 본다.

Acknowledgments

Notes

1) 한국판 STAXI-2는 미국판과 마찬가지로 65세 이하에게 사용하도록 개발되었기 때문에 66세 이상은 자료 분석에서 제외되었다.

2) 한국판 STAXI는 Spielberger 박사가 첫 번째 저자에게 요청함으로써 개발되었고, 정식 계약에 의해 국내에서 출판이 예정되었다. 하지만, 첫 번째 저자가 2001년에 안식년으로 미국에 갔다가 예정한 것과 달리 오랫동안 체류하게 되었다. 이러한 상황에서 저자의 허락없이 한국판 STAXI가 여러 연구자들에 노출된 후 지금까지 연구용으로 사용되어 왔다. 하지만, STAXI가 상황에 따라 정식 출판될 수 있으므로 한국판 STAXI를 사용하고자 한다면 첫 번째 저자 또는 학지사 인싸이트에 연락하기를 정중하게 요청한다.

Conflicts of interest

The authors declared no conflict of interest.

Funding

None.

References

• 1. Chon KK. A preliminary study on anger. Journal of Rehabilitation Psychology. 1999;6(1):173-190.
• 2. Averill JR. Anger and aggression: An essay on emotion. New York, NY: Springer-Verlag; 1982.
• 3. Kassinove H, Sukhodolsky DG, Tsytsarev SV, Solovyova S. Self-reported anger episodes in Russia and America. Journal of Social Behavior and Personality. 1997;12(2):301-324.
• 4. Anastasi A, Cohen N, Spatz D. A study of fear and anger in college students through the controlled diary method. The Pedagogical Seminary and Journal of Genetic Psychology. 1948;73(2):243-249. https://doi.org/10.1080/08856559.1948.10533474Article
• 5. Sipilä R, Hintsa T, Lipsanen J, Tasmuth T, Estlander A, Kalso E. The relationship between anger regulation, mood, pain, and pain-related disability in women treated for breast cancer. Psychooncology. 2019;28(10):2002-2008. https://doi.org/10.1002/pon.5182ArticlePubMed
• 6. Aghaei M, Ghorbani N, Rostami R, Mahdavi A. Comparison of anger management, anxiety and perceived stress in patients with cancer and Coronary Heart Disease (CHD). Journal of Medicine and Life. 2015;8(Special Issue 4):97-101.PubMedPMC
• 7. Smyth A, O’Donnell M, Hankey GJ, Rangarajan S, Lopez-Jaramillo P, Xavier D, et al. Anger or emotional upset and heavy physical exertion as triggers of stroke: The INTERSTROKE study. European Heart Journal. 2022;43(3):202-209. https://doi.org/10.1093/eurheartj/ehab738ArticlePubMedPMC
• 8. Mohseni M, Lindekilde N, Forget G, Burns RJ, Pouwer F, Schmitz N, et al. Trait anger, hostility, and the risk of Type 2 diabetes and diabetes related complications: A systematic review of longitudinal studies. Current Diabetes Reviews. 2023;19(4):73-82. https://doi.org/10.2174/1573399818666220329185229Article
• 9. Kim AS, Jang MH, Park KH, Min JY. Effects of self-efficacy, depression, and anger on health-promoting behaviors of Korean elderly women with hypertension. International Journal of Environmental Research and Public Health. 2020;17(17):6296. https://doi.org/10.3390/ijerph17176296ArticlePubMedPMC
• 10. Çakmak BB, Özkula G, Işıkli S, Göncüoğlu İÖ, Öcal S, Altınöz AE, et al. Anxiety, depression, and anger in functional gastrointestinal disorders: A cross-sectional observational study. Psychiatry Research. 2018;268:368-372. https://doi.org/10.1016/j.psychres.2018.06.046ArticlePubMed
• 11. Burns JW, Gerhart JI, Bruehl S, Peterson KM, Smith DA, Porter LS, et al. Anger arousal and behavioral anger regulation in everyday life among patients with chronic low back pain: Relationships to patient pain and function. Health Psychology. 2015;34(5):547-555. https://doi.org/10.1037/hea0000091ArticlePubMedPMC
• 12. Utreja D, Rizvi SH. Exploring the relationship between state, trait anger and anxiety in anxiety disorders. The International Journal of Indian Psychology. 2019;7(1):1034-1059. https://doi.org/10.25215/0701.117Article
• 13. Town JM; Falkenström F, Abbass A, Stride C. The anger-depression mechanism in dynamic therapy: Experiencing previously avoided anger positively predicts reduction in depression via working alliance and insight. Journal of Counseling Psychology. 2022;69(3):326-336. https://doi.org/10.1037/cou0000581ArticlePubMed
• 14. Fernandez E, Johnson SL. Anger in psychological disorders: Prevalence, presentation, etiology and prognostic implications. Clinical Psychology Review. 2016;46(4):124-135. https://doi.org/10.1016/j.cpr.2016.04.012ArticlePubMed
• 15. Worthen M, Rathod SD, Cohen G, Sampson L, Ursano R, Gifford R, et al. Anger and posttraumatic stress disorder symptom severity in a trauma-exposed military population: Differences by trauma context and gender. Journal of Traumatic Stress. 2015;28(6):539-546. https://doi.org/10.1002/jts.22050ArticlePubMed
• 16. Dillon KH, Van Voorhees EE, Elbogen EB. Associations between anger and suicidal ideation and attempts: A prospective study using the National Epidemiologic Survey on alcohol and related conditions. Journal of Psychiatric Research. 2020;122:17-21. https://doi.org/10.1016/j.jpsychires.2019.12.011ArticlePubMedPMC
• 17. Zeeck A, Stelzer N, Linster HW, Joos A, Hartmann A. Emotion and eating in binge eating disorder and obesity. European Eating Disorders Review. 2011;19(5):426-437. https://doi.org/10.1002/erv.1066ArticlePubMed
• 18. Yalcin BM, Unal M, Pirdal H, Karahan TF. Effects of an anger management and stress control program on smoking cessation: A randomized controlled trial. Journal of the American Board of Family Medicine. 2014;27(5):645-660. https://doi.org/10.3122/jabfm.2014.05.140083ArticlePubMed
• 19. Walitzer KS, Deffenbacher JL, Shyhalla K. Alcohol-adapted anger management treatment: A randomized controlled trial of an innovative therapy for alcohol dependence. Journal of Substance Abuse Treatment. 2015;59:83-93. https://doi.org/10.1016/j.jsat.2015.08.003ArticlePubMedPMC
• 20. Maniaci G, Picone F, Van Holst RJ, Bolloni C, Scardina S, Cannizzaro C. Alterations in the emotional regulation process in gambling addiction: The role of anger and alexithymia. Journal of Gambling Studies. 2017;33(2):633-647. https://doi.org/10.1007/s10899-016-9636-4ArticlePubMed
• 21. Iverson KM, McLaughlin KA, Adair KC, Monson CM. Anger-related dysregulation as a factor linking childhood physical abuse and interparental violence to intimate partner violence experiences. Violence and Victims. 2014;29(4):564-578. https://doi.org/10.1891/0886-6708.vv-d-12-00125ArticlePubMedPMC
• 22. Bonoti F, Andreou E, Mantzari S, Tsoungou V. Drawing an angry perpetrator and a sad target: Children’s understanding of emotions of school bullying perpetrators and target. International Journal of Bullying Prevention. 2023;https://doi.org/10.1007/s42380-023-00167-9Article
• 23. Jahanzeb S, Fatima T, De Clercq D. When workplace bullying spreads workplace deviance through anger and neuroticism. International Journal of Organizational Analysis. 2021;29(4):1074-1090. https://doi.org/10.1108/IJOA-03-2020-2094Article
• 24. Lee HY, Jang MH, Jeong YM, Sok SR, Kim AS. Mediating effects of anger expression in the relationship of work stress with burnout among hospital nurses depending on career experience. Journal of Nursing Scholarship. 2021;53(2):227-236. https://doi.org/10.1111/jnu.12627ArticlePubMedPMC
• 25. Schamborg S, Tully RJ, Browne KD. The use of the State-Trait Anger Expression Inventory-II with forensic populations: A psychometric critique. International Journal of Offender Therapy and Comparative Criminology. 2016;60(11):1239-1256. https://doi.org/10.1177/0306624X15577932ArticlePubMed
• 26. Spielberger CD, Jacobs G, Russell S, Crane R. Assessment of anger: The State-Trait Anger Scale. In JN Butcher, CD Spielberger (Eds.), Advances in Personality Assessment. 2nd ed. Hillsdale, N.J: LEA; 1983, p. 159-187.
• 27. Spielberger CD, Johnson EH, Russell SF, Crane RS, Jacobs GA, Worden TJ. The experience and expression of anger: Construction and validation of an anger expression scale. In MA Chesney, RH Rosenman (Eds.), Anger and Hostility in Cardiovascular and Behavioral Disorders. New York, NY: Hemisphere/McGraw-Hill; 1985, p. 5-30.
• 28. Spielberger CD. Manual for the State‐Trait Anger Expression Scale (STAXI). Odessa, FL: Psychological Assessment Resources; 1988.
• 29. Spielberger CD. State‐Trait Anger Expression Inventory-2: Professional manual. Odessa, FL: Psychological Assessment Resources; 1999.
• 30. Chon KK, Suh K, Yi J, Roh S, Kim S, Lee Y, et al. The Korean adaptation of the State-Trait Anger Expression Inventory-2: Initial development. The Korean Journal of Health Psychology. 2023;28(2):537-559. https://doi.org/10.17315/kjhp.2023.28.2.014Article
• 31. Chon KK, Suh K, Cho Y. Emotion Stress Inventory Manual for Adult. Seoul: Insight Inc; 2020.
• 32. Chon KK, Suh K, Kim W, Lee K, Yi Y, Bae J, et al. Development and validation of the Emotional Stress Inventory. The Korean Journal of Health Psychology. 2020;25(1):75-95. https://doi.org/10.17315/kjhp.2020.25.1.005Article
• 33. Nunnally JC. Psychometric Theory. 2nd ed. New York, NY: McGraw-Hill; 1978.
• 34. Chon KK, Roh S, Suh K, Yi J. The Korean adaptation of the State-Trait Anger Expression Inventory-2 (K-STAXI-2) Manual. Seoul: Insight Inc.; In Preparation.
• 35. Chon KK, Hahn DW, Lee CH. Korean adaptation of the State-Trait Anger Expression Inventory (STAXI-K): The case of college students. Korean Journal of Health Psychology. 1998;3(1):18-32.
• 36. Lindqvist JK, Daderman AM, Hellstrom A. Swedish adaptations of Novaco Anger Scale-1988, the Provocation Inventory, and the State-Trait Anger Expression Inventory-2. Social Behavior and Personality: An International Journal. 2003;31(8):773-788. https://doi.org/10.2224/sbp.2003.31.8.773Article
• 37. Maxwell JP, Sukhodolsky DG, Sit CHP. Preliminary validation of a Chinese version of the State-Trait Anger Expression Inventory-2. Asian Journal of Social Psychology. 2009;12(1):1-11. https://doi.org/10.1111/j.1467-839X.2008.01264.xArticle
• 38. Clark LA, Watson D. Constructing validity: New developments in creating objective measuring instruments. Psychological Assessment. 2019;31(12):1412-1427. https://doi.org/10.1037/pas0000626ArticlePubMedPMC
• 39. Gentry WD. Anger-free: Ten basic steps to managing your anger. New York, NY: William Morrow and Company; 1999.
• 40. Williams JE, Paton CC, Siegler IC, Eigenbrodt ML, Nieto FJ, Tyroler HA. Anger proneness predicts coronary heart disease risk prospective analysis from the Atherosclerosis Risk in Communities (ARIC) study. Circulation. 2000;101(17):2034-2039. https://doi.org/10.1161/01.CIR.101.17.2034ArticlePubMed
• 41. Williams JE, Nieto FJ, Sanford CP, Couper DJ, Tyroler HA. The association between trait anger and incident stroke risk: The Atherosclerosis Risk in Communities (ARIC) study. Stroke. 2002;33(1):13-19. https://doi.org/10.1161/hs0102.101625ArticlePubMed
• 42. Brislin RW. Back-translation for cross-cultural research. Journal of Cross-Cultural Psychology. 1970;1(3):185-216.ArticlePDF
• 43. Hambleton RK. Issues, designs and technical guidelines for adapting tests into multiple languages and cultures. In RK Hambleton, PF Merenda, CD Spielberger (Eds.), Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Mahwah, NJ: Lawrence Erlbaum Associates; 2005, p. 3-38.
• 44. Bolaños-Medina A, González-Ruiz V. Deconstructing the translation of psychological tests. Meta: Journal des traducteurs/Translators’ Journal. 2012;57(3):715-739. https://doi.org/10.7202/1017088arArticle
• 45. Chon KK. Development of the Korean State-Trait Anger Expression Inventory (II). The Korean Journal of Rehabilitation Psychology. 1996;3(1):53-69.
• 46. Chon KK, Hahn DW, Lee CH, Spielberger CD. Korean adaptation of the State-Trait Anger Expression Inventory: Anger and blood pressure. Korean Journal of Health Psychology. 1997;2(1):60-78.
• 47. Chon KK, Kim DY, Yi J. Development of the STAXI-K: IV. Korean Journal of Art Therapy. 2000;7(1):33-50.
• 48. Boateng GO, Neilands TB, Frongillo EA, Melgar-Quiñonez HR, Young SL. Best practices for developing and validating scales for health, social, and behavioral research: A primer. Frontiers in Public Health. 2018;6:149. https://doi.org/10.3389/fpubh.2018.00149ArticlePubMedPMC

Figure & Data

References

Citations

Citations to this article as recorded by  

• A Multinational Comparison Study of the Patient‐Reported Outcomes Measurement Information System Anxiety, Depression, and Anger Item Bank in the General Population
  Jiseon Lee, Yeonjung Lim, Dong Gi Seo, Minji K. Lee, Benjamin D. Schalet, Felix Fischer, Matthias Rose, Danbee Kang, Juhee Cho
  International Journal of Methods in Psychiatric Research.2025;[Epub]     CrossRef