모델은 '도구'고, 검정은 '자'입니다
일을 하다보면, 항상 가장 어려운 지점이 있습니다.
SO WHAT? 무엇을 할 수 있는가? 무엇을 할 것인가? 무엇을 기대하는가?
이제 이 질문에 대답을 하지 못하면 일을 못하는 사람이 되지요. ㅠ
그래서 어렵지만, 분석할 때 통계모델을 적용해보려고 하지요. 물론 내 인생에는 그걸 잘 못하지만 ㅎㅎ;
여튼, 이것저것 배운거 있다고 모델을 아무리 바꿔도, 그 성적표를 믿어도 되는지 잴 자가 없으면 실제 의사결정이 필요한 업무에서 그 보고는 전부 취미 정도밖에 취급을 못 받습니다.
결국, ① 내가 그 모델을 완벽하게 이해하지 못함 ② 보고를 받는 사람은 더 모름, 이 함정에 빠지게 되는 것이지요. 그래서 M&A 실사 단계를 진행할 때, 글로벌 빅펌 컨설팅회사도 어려운 모델은 사용하지를 못하더군요.
그럼에도 어지간하면 저는 일을 할 때, 항목마다 비유 → 산식 → 산식 읽는 법 → 로직의 한계점 순서로 설득을 준비해 나갑니다. 비유만 있으면 손에 안 남고, 산식만 있으면 외우게 되니까요. 그리고 머리가 안좋아서 그런가 안쓰면 쉽게 까먹으니까요 ㅎㅎ
다시 말하자면
모델은 도구고 검정은 자입니다. 이 문장을 만드는 데 꽤 오래 걸렸습니다.
MBA 다니며 데이터분석을 배울 때는 신세계를 경험한 것만 같은 고양심에 모델이 전부인 줄 알았습니다. 좋은 모델을 고르면 좋은 답이 나오고, 답이 시원찮으면 더 좋은 모델로 갈아타면 된다고 생각했거든요. 그래서 이것저것 돌려 봤습니다. 회귀, 부스팅, 서포트 벡터 머신. 이름은 다 다르고 성적표도 다 달랐습니다. 문제는 그 성적표를 믿어도 되는지를 판단할 능력이 저에게 부족했다는 것이었습니다.
목수가 자 없이 나무를 자르는 장면을 상상해 보시면 됩니다. 톱은 훌륭할 수 있습니다. 손도 빠를 수 있고요. 그런데 얼마나 잘랐는지를 잴 수 없다면 그 톱질은 아무 의미가 없습니다. 통계 검정이 그 자입니다. 눈금이 촘촘하지도 화려하지도 않지만, 그게 없으면 나머지 전부가 취미로 해석한 데이터가 됩니다.
용어
귀무가설 "아무 효과도 없다"는 쪽의 주장. 검정은 언제나 이 가설을 기본값으로 놓고 시작합니다.
유의수준(α) 귀무가설이 맞는데도 틀렸다고 잘못 말할 확률의 상한. 보통 5%로 둡니다.
p값 효과가 없다고 가정할 때, 지금 본 것만큼 극단적인 결과가 우연히 나올 확률.
표본 전체(모집단) 중 실제로 관측한 일부. 통계는 표본으로 전체를 추측하는 일입니다.
PART 1 기초부터 시작합시다
하나 · 벗어남을 떨림으로 나눕니다 — t검정
화살이 과녁 중심을 벗어났다고 해봅시다. 그 벗어남이 실력인지 손떨림인지 어떻게 알까요. 벗어난 거리를 떨림의 크기로 나눠 보면 됩니다. 손이 원래 많이 떨리는 사람이라면 그 정도 벗어남은 그냥 떨림입니다. 손이 거의 안 떨리는 사람이 같은 만큼 벗어났다면 그건 다른 이유가 있는 겁니다.
표준정규분포와 기각역
▁▂▄▆█▆▄▂▁
■▬▁▁▁▁▁▁▁ ▁▁▁▁▁▁▁▬■
가로축은 t값입니다. 가운데가 0, 양 끝이 ±3.
검은 구간이 기각역 — |t| > 1.96 구간이고 넓이를 합치면 전체의 5%입니다. 내 t가 검은 구간에 떨어지면 "우연으로 보기 어렵다"고 말합니다.
그림의 봉우리가 높은 이유는, 효과가 정말 없다면 t가 0 근처에 떨어질 일이 가장 흔하기 때문입니다. 양 끝으로 갈수록 막대가 낮아지는 건 그런 값이 드물다는 뜻이고요. 드물게 발생하는 곳에 내 결과가 발생했다면, 우연이라고 보기 어려워집니다.
t = β̂ / SE(β̂)
자유도가 큰 표본에서 |t| > 1.96 이면 대략 p < 0.05
우선 이 공식으로 시작을 해 봅시다.
>> 추정된 회귀계수 β가 표준오차 단위로 0에서 얼마나 떨어져 있는지를 나타내는 값입니다. 우연이 아닐 거라는 거죠. 그 말을 통계언어로 풀어서 말하면, t값이 크면 귀무가설 β=0에서 멀다는 뜻이고, t-분포에서 해당 값보다 극단적일 확률인 p-값이 작아져 해당 변수의 영향이 통계적으로 유의하다고 판단한다. 이렇게 말합니다.
SE ≈ s / √n (s = 잔차의 표준편차, n = 표본 수)
>> 표본 수 n이 커질수록 표준오차는 줄어들어 추정이 더 정밀해진다는 의미입니다.
다만 이 기준은 t값이 크면 그래서 "효과가 중요하다"는 뜻과는 조금 달라요. 통계적으로 유의하다는 것은 관찰된 차이가 우연일 가능성이 낮다는 판단에 가깝고, 실제 효과의 크기나 실무적 중요성은 계수 값, 표본 특성, 연구 맥락을 함께 봐야 합니다.
자, 쉽지 않습니다. 더 익숙해지려면 용어랑 더 친해지는 과정을 거쳐봅시다.
> 베타(β)는 회귀분석의 회귀계수, 즉 독립변수가 종속변수에 미치는 영향의 크기, 우연인지 아닌지를 보는 것이지요. 참고로 다른거지만 주식투자에서는 시장민감도로 통용됩니다.
> SE는 표준오차, Standard Error, 쉽게 말하면 잔차의 표준편차인데, 표준편차는 원래 데이터가 얼마나 흩어져 있는지를 보는 값이고, 표준오차는 그 데이터를 바탕으로 만든 추정치가 얼마나 믿을만한지를 보는 값입니다.
> 잔차는 실제 관측값과 회귀모형이 예측한 값의 차이. 일반적으로 알려진 회귀분석인 OLS는 Ordinary Least Squares, 즉 최소제곱법이 쓰이는데, 잔차의 제곱합을 최소화해 가장 잘 맞는 회귀선과 회귀계수를 찾는 방법이에요.
> OLS 회귀분석 결과표에는 보통 OLS로 구한 회귀계수, 표준오차, t-통계량, p-값이 함께 나오며, 이 t-검정과 p-값은 "그 계수가 0이 아닌지", 즉 통계적으로 유의한지 판단하는 데 쓰입니다. OLS는 계수를 추정하는 방법이고, t-검정은 유의성을 검정하는 도구, p-값은 그 검정 결과를 해석하는 지표라서 서로 포함 관계라기보다 함께 쓰이는 구성 요소에 가깝습니다. 그리고 R스퀘어는 설명력을 말하고 있지요.
★ 즉, OLS는 회귀계수를 추정하는 방법이고, t-검정은 평균 차이나 회귀계수가 통계적으로 유의한지 검정하는 방법입니다.
용어 복습합시다
추정치 (β̂) 자료에서 계산해 낸 값. 위의 모자 기호는 "참값이 아니라 추정한 값"이라는 표시입니다.
표준오차 (SE) 같은 조사를 다시 했을 때 추정치가 흔들리는 폭. 추정치의 불안정성입니다.
잔차 모델이 예측한 값과 실제 값의 차이. 설명하지 못하고 남은 부분입니다.
자유도 자유롭게 움직일 수 있는 값의 개수. 대략 표본 수에서 추정한 개수를 뺀 값입니다.
다시 산식 읽는 법
t = β̂ / SE(β̂)
분자는 추정치 자체입니다. "PBR이 1 오르면 수익률이 0.4% 내려간다" 같은 값이요. 분모는 그 추정치가 표본마다 얼마나 흔들리는지입니다. 같은 자료를 다시 뽑아 다시 재면 값이 조금씩 달라질 텐데, 그 달라짐의 폭이 표준오차입니다.
그러니까 t는 신호를 잡음으로 나눈 비율입니다. 추정치가 0.4인데 흔들림이 0.2라면 t=2, 흔들림이 0.4라면 t=1입니다. 같은 0.4인데 앞쪽만 신호로 인정받습니다.
분모의 √n도 보셔야 합니다. 표본이 네 배가 되면 표준오차는 절반이 되고 t는 두 배가 됩니다. 단위가 없다는 점도 중요합니다. 수익률로 쟀든 로그로 쟀든 t의 뜻은 같습니다. 서로 다른 분석을 나란히 놓고 비교할 수 있는 이유가 이 무단위성에 있습니다.
그래서 데이터를 많이 수집합니다. 확신을 갖기 위해서지요.
표본이 커지면 t만 커집니다 (효과는 그대로 0.4)
n = 100 ▓▓▓▓▓▓▓▓ t = 2.0
n = 400 ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ t = 4.0
n = 1,600 ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓ t = 8.0
분자(효과 0.4)는 한 번도 변하지 않았습니다. 커진 것은 확신뿐입니다.
그럼에도 데이터를 더 모으면 확신은 커지지만 효과 자체가 커지지는 않습니다.
그리고 표본이 작을 때는 정규분포 대신 꼬리가 두꺼운 t분포를 씁니다. 표준편차를 모르고 추정해서 쓰기 때문에, 그 추정의 불확실성만큼 여유를 더 주는 겁니다. 표본이 커지면 t분포는 정규분포로 수렴하고, 그래서 1.96이라는 익숙한 숫자가 나옵니다. 예를 들어 사람들의 키를 조사할 때 전국민 전체를 재면 모집단 표준편차를 구할 수 있지만, 실제로 일부만 조사한다면 표본표준편차를 구해 모집단의 표준편차를 추정합니다.
설명하기 어려워서, 일단 공식을 찾아봅니다....... 수학의 정석에서 본 적이 있지요. 정규분포는 평균 μ를 중심으로 좌우 대칭이고, 표준편차 σ가 커질수록 곡선이 옆으로 넓게 퍼집니다. t분포는 자유도 ν가 커질수록 표준정규분포와 비슷해지며, 자유도가 작을수록 양 끝 꼬리가 더 두꺼워져요. 저기 확률밀도함수가 종 모양의 그래프인거죠. 수학하시는 분들 항상 존경합니다.
그리하여, 일반적으로 데이터를 막 모아서 OLS를 돌리면, 저게 우연이 아니다 보는 t검정 숫자를 보고, 통계적으로 유의한지 p밸류도 한번 보고, R스퀘어로 설명력이 있는지 보는 그 루틴이 나오는 겁니다.
그리고 여기서부터 분석이 시작합니다.
플랫폼에서 적용한 고급버젼을 잠시 얘기하자면, t검정을 세 곳에 측정해봤습니다
Fama-MacBeth 회귀의 PBR 프리미엄이 t=−2.65, 표준오차를 보정하니 −1.9.
패널 고정효과 회귀의 PBR이 t=−12.5로 실험실 최강.
SVM의 월 클러스터 검정이 t=3.46.
보정 이야기는 다섯째 항목에서 다시 하겠습니다.
그럼 일단 다음편에 이어서.... 카이제곱검정을 정리해 보겠습니다.
https://k-valuechain.com/lab
작성: 2026. 8. 이알렉산드로
댓글
댓글 쓰기