[14.분석 플랫폼] 모델 검정 공부하기 - 상관 VS 인과

검정으로 어디까지 말할 수 있나.

1부 마지막 편입니다. 그리고 제일 짧고 제일 어렵습니다.

여섯 편 동안 자를 여섯 개 봤습니다. t검정, 카이제곱, 이항검정, 다중검정 보정, 표준오차 보정, 백분위. 이제 그걸로 잰 결과를 들고 보고서에 뭐라고 쓸 것인가를 정리할 차례입니다.

결론부터 말씀드리면 이렇습니다. 여섯 자 전부가 상관까지만 말합니다. 유의하다고 나와도, 보정을 다 해도, q값이 0.001이어도 "A 때문에 B가 됐다"는 말은 여기서 나오지 않습니다.

그런데 보고 자리에서 필요한 건 대개 그 말이거든요. "그래서 뭘 하면 되냐"고 물으니까요. 이 편은 그 간극을 어떻게 다룰 것인가에 관한 이야기입니다.

하나, 오늘 풀 문제

딜 데이터를 봤더니 이런 게 나왔다고 해봅시다.

딜 수 성사율 PE 참여 80 70 % PE 미참여 120 45 % 차이 25 %p, 카이제곱 p < 0.001

숫자는 깨끗합니다. 앞의 여섯 편에서 배운 걸 다 적용해도 살아남아요. 그래서 이렇게 쓰고 싶어집니다.

"PE를 참여시키면 성사율이 올라갑니다" → 그러니 딜 초기에 PE를 끌어들이는 전략을 권고합니다

★ 이 문장이 왜 위험한지가 오늘 글입니다.

숫자는 맞습니다. 검정도 통과했고요. 그런데 저 결론은 데이터가 말해준 게 아닙니다. 제가 데이터에 얹은 해석이지요.

둘, 상관이 있어도 인과가 아닌 세 가지 경우

PE와 성사율이 함께 움직이는 건 사실입니다. 그리고 개인적으로는 PE와 일 하는것을 좋아합니다. 똑똑한 전문가팀이 합류해서 같이 딜 검토를 하면 이래저래 수준이 좋아지거든요. 제가 놓치는 부분, 그들이 놓치는 부분을 서로 보완해 줄 수 있거든요.

그럼에도 아무리 딜 검토를 잘 하더라도, 딜 성사는 돈 쓰는 사람과 파는 사람의 영역이라 마지막에 딜이 성사되지 않는 경우가 많지요. 그 사실을 설명하는 방법이 최소 네 가지인데, 인과는 그중 하나일 뿐입니다.

① 인과 : 우리가 믿고 싶은 것

PE 참여 ──────▶ 성사율 상승 PE 가 들어와서 딜을 잘 굴렸고, 그래서 성사됐다

②③④를 배제하지 못하면 ①이라고 말할 수 없습니다. 그리고 검정은 이 넷을 구분하지 못합니다. 넷 다 똑같이 "상관이 있다"로 나오거든요.

② 교란 : 제3의 원인이 둘 다 밀어올린다

딜 규모 ╱ ╲ ▼ ▼ PE 참여 성사율 큰 딜에는 PE 도 들어오고, 큰 딜은 성사도 잘 된다

이 경우 PE는 큰 딜의 표식일 뿐이고, 성사율을 올리는 건 딜 규모입니다. 작은 딜에 PE를 억지로 넣어봐야 아무 일도 안 일어나지요.

고전적인 예가 아이스크림 판매량과 익사 사고입니다. 같이 늘어나는데, 아이스크림이 사람을 물에 빠뜨리는 게 아니라 여름이 둘 다 늘립니다.

③ 역인과 : 화살표가 반대다

성사될 딜 ──────▶ PE 참여 PE 가 성사율을 올린 게 아니라, 성사될 것 같은 딜을 PE 가 골라 들어왔다

이게 이 사례에서 제일 그럴듯한 설명입니다. PE가 성사율을 올린 게 아니라, 성사될 딜을 PE가 고른 겁니다. PE 심사팀이 일을 잘한다는 증거이지 PE 참여의 효과가 아니에요.

비슷한 예로 "광고를 많이 한 회사가 매출이 높다"가 있습니다. 광고가 매출을 만든 걸까요, 매출이 좋으니 광고비를 쓸 수 있었던 걸까요.

④ 선택편향 : 표본이 이미 걸러져 있다

PE 가 들어왔다 조용히 접은 딜 → 기사가 안 남 → 데이터에 없음 PE 가 들어와 성사된 딜 → 기사가 남 → 데이터에 있음 남은 PE 딜은 이미 성공 쪽으로 걸러진 표본

저희 M&A 리포트가 뉴스 기반이라 이 문제를 늘 안고 있습니다. PE가 들어왔다가 조용히 접은 딜은 기사가 안 납니다. 성사된 딜은 기사가 나고요. 그러면 데이터에 남은 PE 딜은 이미 성공 쪽으로 걸러진 표본입니다.

펀드 성과 분석에서 유명한 문제이기도 합니다. 살아남은 펀드만 모아놓고 전략의 효과를 재면, 전략이 아니라 생존이 답을 만듭니다.

교란변수 원인과 결과 양쪽에 동시에 영향을 주는 제3의 변수. 위 예의 딜 규모.

역인과 화살표 방향이 생각과 반대인 경우.

선택편향 표본이 이미 특정 방식으로 걸러져 생기는 왜곡.

교란 통제 교란변수를 회귀에 함께 넣어 그 영향을 제거하려는 시도.

셋, 통제변수를 넣으면 되는 거 아닌가

여기서 자연스럽게 나오는 반응이 있습니다. "딜 규모를 회귀에 같이 넣으면 되잖아요." 맞습니다. 그게 통제고요.

성사 여부 = β₀ + β₁ × PE 참여 + β₂ × 딜 규모 + β₃ × 업종 + ε β₁ : 딜 규모와 업종이 같을 때, PE 참여에 따른 성사 확률 차이

실제로 이렇게 합니다. 그리고 이게 도움이 됩니다. 다만 여기에 한계가 있습니다.

★ 통제할 수 있는 건 내가 측정한 변수뿐입니다. 측정하지 않은 교란은 그대로 남습니다.

딜 데이터에 안 들어 있는 것들을 떠올려 보면 금방 알 수 있습니다.

매도자의 매각 의지 숫자로 없음 경영진끼리의 신뢰 숫자로 없음 자문사의 역량 숫자로 없음 시장이 그 딜을 보는 온도 숫자로 없음

아래 것들이 PE 참여와 성사 여부에 동시에 영향을 줍니다. 매각 의지가 강한 딜에 PE도 들어오고 성사도 잘 되겠지요. 그런데 이건 숫자로 안 잡히니 회귀에 넣을 수가 없습니다.

그래서 β₁이 유의하게 나와도 "측정한 것들을 통제하고도 남는 관계가 있다"까지입니다. 측정 못 한 게 원인일 가능성은 그대로 살아 있어요.

그리고 통제가 오히려 해가 되는 경우도 있습니다

덜 알려진 함정인데, 결과 이후에 벌어진 변수를 통제하면 없던 상관이 생깁니다.

PE 참여 ──▶ 딜 공표 ◀── 성사 가능성 공표는 둘 다의 '결과'다. 결과를 통제하면 두 원인 사이에 없던 관계가 생긴다

공표는 PE 참여와 성사 가능성 둘 다의 결과입니다. 이런 변수를 통제하면 두 원인 사이에 인위적인 관계가 생겨요. 통제변수를 많이 넣을수록 좋은 게 아닙니다. 무엇을 넣을지는 데이터가 아니라 구조를 보고 정해야 합니다.

넷, 인과가 대체 뭘 뜻하는가

여기까지 오면 이런 생각이 듭니다. 그럼 인과는 어떻게 확인하나. 정의부터 봐야 합니다.

★ 인과란 "그것이 없었다면 결과가 달랐을 것"이라는 뜻입니다.

그래서 인과를 확인하려면 같은 딜을 두 번 봐야 합니다. PE가 들어온 경우와 안 들어온 경우를요.

딜 A, PE 가 들어왔을 때 → 성사 (관측함) 딜 A, PE 가 안 들어왔을 때 → ? (영원히 못 봄) 이 둘의 차이가 '효과'인데, 둘째 줄은 볼 수 없다

그런데 이 물음표는 영원히 볼 수 없습니다. 딜 A는 이미 PE가 들어왔고, 시간을 되돌릴 수 없으니까요. 이걸 인과추론의 근본 문제라고 부릅니다.

그래서 대신 쓰는 것 · 비교군

물음표를 직접 볼 수 없으니 비슷한 딜을 대신 세웁니다. 규모도 업종도 비슷한데 PE만 안 들어온 딜을요.

딜 A 규모 500억 제조업 PE 참여 → 성사 딜 B 규모 480억 제조업 PE 미참여 → 무산 딜 B 를 딜 A 의 '없었다면'으로 쓴다

이게 성립하려면 딜 A와 딜 B가 PE 말고는 같아야 합니다. 그리고 거의 항상 같지 않지요. 그래서 인과 설계라는 게 필요해집니다. "PE 말고는 같다"를 어떻게든 만들어내는 기술이요.

무작위 배정이 가장 확실합니다. 동전을 던져 PE 참여 여부를 정하면, 다른 조건들이 자연히 양쪽에 고르게 섞이니까요. 그런데 딜에 그럴 수는 없습니다. 실험을 못 하는 세계에서 실험을 흉내 내는 방법들, 그게 앞으로 다룰 내용에 포함해보고자 합니다.

반사실 "그 일이 없었다면 어땠을까". 인과의 정의 자체가 이것입니다.

근본 문제 같은 대상의 반사실은 절대 관측할 수 없다는 것. 인과추론의 출발점입니다.

비교군 반사실을 대신할 집단. 처치를 받지 않은 비슷한 대상들.

무작위 배정 처치 여부를 동전으로 정하는 것. 인과 확인의 가장 확실한 방법입니다.

다섯, 그래서 보고서에 뭐라고 쓰나

실무에서 제일 필요한 부분입니다. 말의 강도를 등급으로 나눠 두면 헷갈리지 않습니다.

함께 움직인다 가장 안전합니다. 상관만 확인했을 때 쓸 수 있는 표현입니다.
"PE 참여 딜과 성사율은 함께 움직입니다"

차이가 있다 집단 간 차이를 검정했을 때. 여전히 인과는 아닙니다.
"PE 참여 여부에 따라 성사율에 유의한 차이가 있습니다"

예측에 도움이 된다 실무적으로 아주 유용한 표현입니다. 인과 없이도 참일 수 있어요.
"PE 참여 여부는 성사 예측에 도움이 됩니다"

영향을 준다 여기부터는 인과 주장입니다. 설계가 있어야 씁니다.
"PE 참여가 성사율을 높입니다"

~ 때문이다 가장 강한 주장. 무작위 실험이나 그에 준하는 설계가 필요합니다.
"성사율이 높은 것은 PE 참여 때문입니다"

위 두세 줄까지가 검정으로 갈 수 있는 최대치입니다. 아래 두 줄은 다른 도구가 필요하고요.

세 번째 줄이 실무에서 제일 쓸모 있습니다

"예측에 도움이 된다"는 인과가 아니어도 참일 수 있고, 그래도 충분히 유용합니다.

PE 참여가 성사율을 올리는 게 아니라 성사될 딜을 PE가 고른 것이라 해도, PE가 들어온 딜을 우선 검토하는 건 여전히 합리적입니다. PE 심사팀의 판단을 공짜로 빌려 쓰는 거니까요.

그런데 "PE를 끌어들이자"는 전략은 완전히 다릅니다. 이건 인과를 가정한 개입이거든요. 역인과가 진짜 원인이라면 아무 효과도 없습니다.

★ 읽는 데 쓸 것인가, 개입하는 데 쓸 것인가. 이 구분이 상관과 인과의 실무적 경계입니다.

여섯, 여기서 한계점을 알고 가긴 해야 합니다

① 인과가 아니라고 해서 쓸모없는 건 아닙니다

이 편을 쓰면서 제일 걱정한 게 이겁니다. "인과가 아니면 의미 없다"로 읽힐까 봐요.

전혀 아닙니다. 저희 저평가 스크리너는 인과를 주장하지 않습니다. "PBR이 수익률을 만든다"고 말한 적 없어요. 그냥 어디를 먼저 볼지 순서를 정해주는 도구입니다. 그리고 그것만으로 충분히 쓸모가 있습니다.

문제는 상관을 인과처럼 말할 때 생깁니다. 쓸 때가 아니라요.

② 인과 설계도 가정 위에 서 있습니다

앞으로 다룰 이중차분·회귀불연속 같은 방법들이 인과를 확인해 준다고 했는데, 그것들도 가정이 필요합니다.

이중차분은 "정책이 없었다면 두 집단이 나란히 움직였을 것"을 가정합니다. 회귀불연속은 "컷오프 주변에서는 대상이 사실상 같다"를 가정하고요. 그 가정이 깨지면 결과도 깨집니다.

무작위 실험만이 가정 없이 인과를 줍니다. 그리고 대부분의 실무에서는 실험을 할 수 없지요.

③ 그럼에도 결정은 내려야 합니다

보고 자리에서 "인과는 확인할 수 없습니다"만 말하면 아무도 안 좋아합니다. 저도 그렇고요.

그래서 제가 쓰는 방식은 이렇습니다. 말할 수 있는 것을 최대한 말하고, 그다음에 못 말하는 것을 분명히 적습니다.

"PE 참여 딜의 성사율이 25%p 높습니다(p < 0.001). 다만 PE가 성사 가능성이 높은 딜을 선별해 참여했을 가능성이 있어, 이 차이를 PE 참여의 효과로 보기는 어렵습니다. 딜 선별 기준으로 활용하는 것은 타당하나, PE 유치를 성사 전략으로 삼는 근거로는 부족합니다."

읽는 용도와 개입 용도를 갈라서 적는 것, 이게 제가 찾은 절충안입니다.

일곱, 플랫폼에서는 이렇게 적었습니다

부동산 분석에서 통화량(M2)과 전세 비중이 함께 움직이는 걸 다룬 적이 있습니다. 상관은 뚜렷했고요.

설명 1 통화량 ──▶ 전세 비중 유동성이 전세 시장을 밀어올렸다 설명 2 금리 국면 ──▶ 통화량, 전세 제 3 의 원인이 둘 다 움직였다 (교란) 설명 3 전세 비중 ──▶ 통화량 전세 시장 변화가 유동성 수요를 만들었다 (역인과) 데이터만으로는 셋을 구분할 수 없다

통화량이 전세 비중을 밀어올렸을 수도 있고, 금리 국면이 둘 다 움직였을 수도 있고, 전세 시장 변화가 유동성 수요를 만들었을 수도 있습니다. 데이터만으로는 구분이 안 됩니다.

인과 설계를 시도했다가 접었습니다

합성통제라는 방법을 검토했습니다. 비슷한 조건의 비교군을 인공적으로 만들어 반사실을 추정하는 방법인데요.

합성통제 · 임대차 3법(2020-07) 사례, 데이터 실측 필요한 것 처치 이전 기간의 도너 지역 여럿 가진 것 부동산원 신계열 5 계열, 2021-06 시작 → 처치 이전 관측 0 KB 장기계열은 전국·서울 2 계열 → 도너가 최대 1 개 판정 지금 데이터로는 성립하지 않음 → 구현하지 않음 승격 조건 시도별 지수 10 개 이상을 2015 년부터 확보

할 수 없으면 안 한다고 적어두는 편이 낫습니다. 못하는게 절대 무능이 아닙니다. 그런데 일반적인 상사는 인간이라, 못한다고 하면 그렇게 받아들이기도 하지요. 그걸 따박따박 이래서 안됩니다, 라고 말하면 기분 나빠할 분들이 있습니다. 그래서 사회생활에서는 상사와의 관계가 아주 중요한 겁니다. 통제할 수 없는 변수이거든요.

말할 수 있는 것과 없는 것의 경계를 지키는 일, 이 편은 사실상 그게 전부입니다.

정리하면, 1부 지도가 완성됐습니다

일곱 줄이 다 찼습니다. 그런데 마지막 줄은 자가 아니라 앞의 여섯 줄 전체에 붙는 단서에 가깝습니다.

재는 대상 모델 안을 확신 크기 열어야 하나 t검정 연속형 값 하나 예 t 계수 카이제곱 여러 칸의 빈도 예 χ² V 이항검정 맞음 / 틀림 둘 아니오 p 적중률−기준 다중검정 앞선 검정 결과들 − q − 표준오차보정 관측끼리의 얽힘 − (t 를 고침) − 백분위 한 집단 안의 위치 − − 순위 상관 vs 인과 위 여섯 줄 전부 − 말할 수 있는 것의 한계

앞의 여섯이 아무리 깨끗하게 나와도 마지막 줄은 안 풀립니다. q값이 0.001이든 t가 12든, 그건 "우연이 아니다"까지예요. "그래서 이걸 바꾸면 저게 바뀐다"는 다른 종류의 증거가 필요합니다.

앞으로 다뤄야 할 도구들

이건 산식을 파는 편이 아니라 상황으로 인덱싱한 지도입니다. 어떤 질문 앞에서 어떤 도구를 꺼내는가 그게 중요하지요.

A 실험을 못 할 때 인과를 흉내 내는 법 이중차분(DID) · 회귀불연속(RDD) · 도구변수(IV) · 성향점수매칭(PSM) B 시계열이 서로 따라 움직일 때 정상성과 단위근 · 공적분 · 그레인저 인과 C 내 모델을 얼마나 믿을 것인가 시계열 교차검증 · 부트스트랩 · 확률 캘리브레이션 · 계층 모형과 축소 추정 열한 개 중 플랫폼에서 실제로 쓰는 것 셋 (단위근 · 시계열 교차검증 · 캘리브레이션)

A가 오늘 이야기의 직접적인 후속편입니다. 실험을 할 수 없는 세계에서 자연이나 제도가 대신 만들어 준 실험을 찾아 쓰는 방법들이거든요. 그리고 정직하게 세면 열한 개 중 실제로 쓰는 건 셋뿐입니다. 그것도 그대로 적을 생각이고요.

남는 생각

1부를 마치면서 드는 생각은, 결국 이 여섯 자가 전부 "아니다"라고 말하기 위한 도구였다는 겁니다.

t검정은 "이건 우연일 수도 있다"고 말하고, 다중검정 보정은 "여섯 번 긁었잖아"라고 말하고, 표준오차 보정은 "그 표본은 생각보다 작아"라고 말합니다. 오늘 편은 "그래도 원인이라고는 못 해"라고 하고요. 계속 초를 치는 도구들입니다.

그런데 이게 없으면 반대가 됩니다. 좋은 숫자가 나올 때마다 그게 발견인 줄 알게 되지요. 목수가 자 없이 톱질하면 뭐든 잘 잘린 것처럼 보이는 것과 같습니다.

①편에서 썼던 문장으로 돌아가겠습니다. 모델은 도구고 검정은 자입니다. 여섯 편을 쓰면서 그 문장이 조금 더 분명해졌습니다. 자는 무언가를 만들어 주지 않습니다. 다만 내가 만든 것이 얼마나 잘못됐는지를 알려줄 뿐이지요. 그거면 충분한 것 같습니다.

https://k-valuechain.com/lab

작성: 2026. 8. 이알렉산드로