Testing equality of coeficients from two different regressions

지금부터 설명할 식이 아마도 내가 해결하고자 하는 문제 (조건에 따라 서로 다른 효과를 보이는 regression 식을 어떻게 식별할 수 있을지)의 열쇠가 될 거 같아 정리를 해보려고 한다.

본인은 이 방정식을 사용하여, ““만약 사람들의 유전자형 (genotype)에 따라 질병과 관련된 유전자의 발현 (이런 유전자형을 eQTL이라고 함)이 달라질 수 있다면, 결론적으로 유전자형이 유전자의 발현에 미칠 수 있는 effect를 계산할 수 있을 텐데, 그렇다면 정상 상태에서 유전자형이 유전자의 발현에 미치는 effect와, 질병 상태에서 유전자형이 유전자의 발현에 미치는 effect가 다른 eQTL이 있는지를, linear regression의 Beta 값 비교를 통해 풀려고 한다.””

링크

위 링크를 해석 및 정리하였다.

해석본 - 질문

아마도 이것은 기초적인 문제일 것으로 보이지만, 저는 제가 실질적으로 두 개의 다른 회귀 (regression) 식으로부터 온 회귀 계수 (coefficient)의 동일성 (equality)를 어떻게 실질적으로 평가하는지를 잘 모른다는 것을 깨달았습니다.

이것을 해결하는데 길을 밝혀주실 누군가가 있을까요?

더 구체적으로, 저는 아래와 같이 두 개의 regression 식을 제안합니다.

1: y1 = (X1 * Beta1) + e1
2: y2 = (X2 * Beta2) + e2

여기서 X1은 regression 식 i의 design matrix를 의미하고, Beta1은 regression 식 i의 coefficient vector를 의미합니다. X1과 X2가, 차원의 수를 포함하여 잠재적으로 매우 다르다는 것을 저는 강조합니다.

저는 여기서 beta1의 추정값과 beta2의 추정값이 같은지 다른지를 확인하는 것에 관심이 있습니다.

만약에 이것들이 같은 종류 (예를 들면 같은 조건에서의 데이터가 input으로 들어간)의 regression 식에서 나온 것이라면, 이건 사소한 일일 것입니다. 그러나 만약 어떤 하나가 다른 하나와 다른 종류 혹은 조건에서 나온 것이라면, 저는 어떻게 해야 할 지 잘 모르겠습니다. 누구라도 관련 아이디어를 저에게 제공해주실 수 있나요?

… 이하 생략 …

해석본 - 답변

흔한 분석은 아니지만 정말 흥미롭네요. fair하지 않을 수도 있지만 합리적이고 잘 accept 되고 있는 기술을 제공할려고 합니다. 이 접근법은 Z-test로부터 옵니다.

Z = (beta1 - beta2) / root((SEbeta1)^2 + (SEbeta2)^2)

이 방정식은 Clogg, C. C., Petkova, E., & Haritou, A. (1995). Statistical methods for comparing regression coefficients between models. American Journal of Sociology, 100(5), 1261-1293. 에서 제공되었고, Paternoster, R., Brame, R., Mazerolle, P., & Piquero, A. (1998). Using the correct statistical test for equality of regression coefficients. Criminology, 36(4), 859-866. 에 의해 인용되었습니다.

이후 이 답변이 많은 수의 추천을 받았고, 실제 impact factor가 높은 저널지의 연구자들도 이 식을 활용하는 것을 확인했다. 하지만 본인의 통계적인 지식이 부족했기 때문에 이것이 과연 합당한 방법인가에 대한 생각이 계속 들었고, 따라서 위 논문들을 읽어보기로 했다.

전자의 논문은 access가 막혀있었기 때문에 후자의 논문을 먼저 읽어봤다 (1998, 3377회 인용).

abstract : 범죄학자들은 종종 regression에서의 맥락에서 독립변수와 종속변수간의 interaction effect를 분석하는데 관심이 있다. 예를 들어, “다른 관련 요인을 일정하게 유지할 때, 비행을 일으키는 동료가 자신이 비행 행위를 할 가능성에 미치는 영향은 남성이라는 조건과 여성이라는 조건에서 동일한가?” 또는 “주어진 치료 프로그램의 효과가 초범자와 재범자간에 비교 가능한가?”. 이러한 interaction effect를 조사하는데 자주 사용되는 전략은, 독립적인 샘플들 간에 두 회귀 계수의 차이를 검정하는 것이다. 즉, beta1 = beta2인 것인가? 전통적으로 범죄학자들은 이러한 계수 비교를 할 때 기울기 차이에 대해 t 혹은 z test를 수행한다. 이 전략이 적절하다는 데에 많은 사람들이 동의하지만, 두 회귀 계수의 차이에 대한 표준 오차를 어떻게 추정할지에 대해서는 혼란이 있었다. 범죄학자들은 경험적 (empirical)인 work에서 이 표준 편차의 두 가지 다른 추정치를 사용했다. 이 논문에서 우리는 이러한 추정치 중 하나는 정확하고 다른 하나는 틀렸다는 점을 지적한다. 잘못되었다고 지적한 추정치는 귀무 가설 Beta1 = Beta2를 기각하는데에 유리하게끔, 그 test를 편향시킨다. 불행히도 이러한 잘못된 추정치를 사용하는 것은 범죄학에서 꽤 널리 퍼져있다. 우리는 올바른 통계 검정에 대한 공식을 제공하고 문헌에서 두 가지 예를 들어 편향된 추정치가 어떻게 잘못된 결론으로 이어질 수 있는지 설명한다.

The Competing Formulas

위에서 논의한 바와 같이, 범죄학 연구에서 두 회귀 계수 차이에 대해 자주 적용되는 가설 검정은 ztest이다.

방정식 1.

z = (Beta1 - Beta2) / (root(V1(SEb1^2) + V2(SEb2^2) / (V1 + V2)))

여기서, V1과 V2는 자유도를 의미하고, SEb1^2와 SEb2^2는 그룹1과 그룹2에서의 각각의 coefficient variance를 말한다.

우리의 시뮬레이션 working에서 우리는 이것이 두 회귀 계수의 차이에 대한 잘못된 공식임을 발견했다. 왜냐면 두 회귀 계수의 차이에 대한 표준 오차가 편향성이 있었기 때문이다. 이 공식을 사용하면 Beta1 = Beta2라는 귀무 가설을 기각할 확률이 보고된 alpha level보다 컸다. 따라서 실제로는 아무 차이가 없는데도 추정된 계수에 비롯하여 그룹 차이가 있다고 잘못 결론 내릴 수가 있다. 게다가 두 그룹의 표본 크기가 매우 다를 때 이러한 편향이 특히 두드러질 가능성이 있음을 발견했다.

Clogg et al (1995)의 연구를 바탕으로, 이 통계적 검정에 대한 올바른 공식은 다음과 같아야 한다.

방정식 2.

Z = (Beta1 - Beta2) / root(SEb1^2 + SEb2^2)

다른 곳에서 자세히 설명했듯이 (Brame et al., 1998), 이 공식에서의 표준 편차 추정치는 편향이 없다. 따라서 연구자는 두 회귀 계수의 차이에 대해 관심이 있을 때 위의 식을 사용할 것을 권장한다.

Applications

우리는 이전에 발표된 범죄학 연구에 대해 두 방정식을 적용하여 결과의 의미를 파악한 간단한 예를 제공하고자 한다.

남성과 여성의 범죄에 동일한 인과 요인이 작용하는지 조사한 논문에서, Smith와 Paternoster는 몇 가지 예외를 제외하고 남성의 범죄 행위 참여와 빈도를 설명하는 요인이 여성의 경우와 유사하다는 결론을 내렸다. 설명한 예외 중 하나는 그들이 behavioral dimen-sion이라고 부르는 것의 효과였다. 즉, 범죄 행위를 저지르는 친구가 자신의 주변에 얼마냐 있느냐 하는 비율이다. 그들은 이 비율이 남성과 여성의 마리화나 사용에 positive한 effect를 미쳤지만, 남성이라는 변수의 effect가 여성이라는 변수의 effect 보다 상당히 컸다는 것을 발견했다. 방정식 1을 사용하여 smith와 paternoster는 Beta_males = Beta_females라는 귀무 가설을 기각했다. 하지만 우리가 방정식 2를 사용했을 때에는, 귀무 가설을 기각할 수 없음을 발견했다. 따라서 올바른 통계적 검정을 기준으로, 비행 청소년 동료가 있느냐 없느냐에 따라 자신이 비행 행위에 미치는 영향은 남성과 여성에게 유사하다는 결론을 내릴 수 있었다.

… 이하 생략 (또 다른 연구에서도 귀무가설을 기각할 수 없음에도 편향을 일으킬 수 있는 방정식을 사용함으로써 귀무가설을 기각하고 대립가설을 채택했더라 하는 말이 계속 이어진다.) …

마무리

논문에서는 결과적으로 방정식 2를 사용하는 것을 강력히 권장한다고 하며 논문을 마무리 했다.

이 논문이 방정식 2 사용을 권장한다 했을 뿐이지 방정식 2가 어떻게 만들어졌는지까지를 설명한 것은 아니었다.

따라서 해당 방정식을 만든 논문 (위에서 설명한 전자의 논문)을 읽어보려 했지만, 양이 너무 많다. 당장 내일 모레 발표가 있고 금요일에 발표가 또 하나 있기 때문에 이 논문까지 읽음으로써 완벽을 꾀하기에는 시간이 많지 않다고 판단하여 읽지 않기로 했다.

어쨋거나 다른 수많은 사람들 (2000회, 3000회)이 많이 사용한 방정식이고, 2016년 부근에도 사람들이 좋다고 말을 하고 있으며 (물론 논의가 있지만), 비교적 최근인 2023년 IF가 높은 저널에서도 이 방정식을 그대로 차용하고 있는 것으로 보면 어느 정도 믿고 이 방정식을 사용해도 될 것이라는 판단을 내렸다.