확률을 예측하는 모형
0과 1의 답에서 양성 확률을 학습합니다
이진 분류는 사전에 정의한 두 범주 중 하나를 예측합니다. Y=1을 양성, Y=0을 음성으로 두되 무엇이 양성인지 먼저 명시합니다. 로지스틱 회귀는 이름에 회귀가 있어도 대표적인 분류 확률 모형입니다.
p(X)=P(Y=1|X)=1/[1+exp(−η)], η=β₀+β₁X₁+⋯+βₖXₖ로 씁니다. 선형 예측값 η를 시그모이드로 변환해 0~1의 확률을 얻습니다. 유한한 η에서는 정확히 0이나 1이 되지 않습니다.
확률을 출력하는 단계와 임계값으로 범주를 정하는 단계는 다릅니다. 같은 확률 모형도 누락과 오탐의 비용에 따라 다른 판정 규칙을 사용할 수 있습니다.
오즈와 계수
exp(β)는 확률비가 아니라 오즈비입니다
오즈는 p/(1−p), 로그오즈는 logit(p)=ln[p/(1−p)]입니다. p=0.5이면 오즈 1, p=0.8이면 오즈 4입니다. 로지스틱 모형은 확률 자체가 아니라 로그오즈를 설명변수의 선형식으로 표현합니다.
다른 포함 변수를 고정하고 상호작용이 없을 때 Xⱼ가 1 증가하면 로그오즈는 βⱼ만큼, 오즈는 exp(βⱼ)배가 됩니다. 확률이 βⱼ만큼 증가하거나 exp(βⱼ)배가 된다는 뜻은 아닙니다.
그림 1의 기울기 0.8은 오즈비 exp(0.8)≈2.23입니다. 확률의 기울기는 βⱼp(1−p)로 현재 확률에 따라 달라집니다. 조건부 오즈비는 인과효과나 전체 집단의 단순 오즈비와 자동으로 같지 않습니다.
추정과 가정
관측된 0·1의 우도를 크게 만드는 계수를 찾습니다
조건부 베르누이 모형에서 관측별 우도는 pᵢʸⁱ(1−pᵢ)¹⁻ʸⁱ입니다. 독립 관측의 우도를 곱하거나 로그우도를 더해 최대화합니다. 이는 평균 음의 로그우도, 즉 로그손실을 최소화하는 것과 같습니다.
일반적으로 OLS처럼 한 번의 닫힌 식으로 계수를 구하지 않고 수치 최적화를 사용합니다. 로지스틱 모형은 Y나 잔차가 정규분포일 것을 요구하지 않습니다. 조건부 분산은 p(1−p)이며, 로그오즈 함수의 형태와 관측 의존성·표집 구조를 점검해야 합니다.
설명변수로 두 범주가 완전히 분리되면 비규제 최대우도 계수가 무한대로 발산할 수 있습니다. 희소 범주·공선성·수렴 상태를 확인하고 필요하면 규제나 적절한 추정 방법을 사용합니다. 규제 강도와 전처리는 학습 자료 안에서 선택합니다.
분류 임계값
0.5는 모든 목적에 최적인 기준이 아닙니다
가상 예측 확률을 0.10·0.20·0.35·0.45·0.55·0.65·0.80·0.90, 실제 라벨을 0·0·1·0·1·0·1·1로 둡니다. 이 확률들은 설명을 위해 직접 정했으며 그림 1을 적합해 얻은 결과가 아닙니다.
TP는 맞힌 양성, FP는 잘못 양성이라 한 관측, FN은 놓친 양성, TN은 맞힌 음성입니다. 임계값 0.5에서는 TP=3, FP=1, FN=1, TN=3이고, 0.3에서는 TP=4, FP=2, FN=0, TN=2입니다.
누락 비용이 크면 낮은 임계값을 검토할 수 있지만 오탐 부담도 함께 봅니다. 임계값은 검증 자료와 목적을 이용해 정하고 시험 결과에 반복 맞추지 않습니다. 잘 보정된 확률과 일정한 비용을 가정하면 비용에 따른 결정 규칙을 만들 수 있지만 실제 비용·유병률·업무 용량을 확인해야 합니다.
분류 평가
정확도와 재현율은 다른 질문에 답합니다
정확도=(TP+TN)/n, 정밀도=TP/(TP+FP), 재현율=TP/(TP+FN), 특이도=TN/(TN+FP)입니다. F1=2TP/(2TP+FP+FN)은 정밀도와 재현율의 조화평균이며 TN을 직접 반영하지 않습니다. 분모가 0인 경우의 처리 규칙도 밝혀야 합니다.
위 예제의 0.5 기준 정확도·정밀도·재현율은 모두 0.75입니다. 0.3 기준 정확도는 여전히 0.75지만 정밀도는 2/3, 재현율은 1로 달라집니다. 같은 정확도라도 오류의 구성은 다를 수 있습니다.
양성이 드물면 모두 음성이라 해도 정확도가 높을 수 있습니다. 혼동행렬과 범주 비율을 함께 보고, 집단·시점별 성능과 표본 수를 확인합니다.
확률 평가
정답 범주뿐 아니라 확률의 품질도 봅니다
로그손실=−(1/n)Σ[yᵢln pᵢ+(1−yᵢ)ln(1−pᵢ)]는 확신하며 틀린 예측에 큰 비용을 줍니다. 브라이어 점수=(1/n)Σ(yᵢ−pᵢ)²는 이진 확률의 제곱오차입니다. 둘 다 낮을수록 좋습니다.
가상 8건의 로그손실은 0.4940, 브라이어 점수는 0.1688입니다. 임계값만 바꾸고 확률은 그대로 두면 이 두 값은 바뀌지 않습니다. 수치 계산에서 확률을 작은 값으로 잘라 쓰는 구현은 그 규칙을 확인해야 합니다.
순위와 보정
AUC가 높아도 확률이 잘 맞는다는 뜻은 아닙니다
ROC는 임계값에 따른 위양성률 FP/(FP+TN)과 재현율을 그립니다. ROC-AUC는 양성의 점수가 음성보다 높을 확률로 해석할 수 있으며 동점에는 절반을 부여합니다. 이 가상 자료는 양성·음성 16쌍 중 13쌍에서 순서가 맞아 AUC=0.8125입니다.
PR 곡선은 정밀도와 재현율을 비교하며 양성이 드문 문제에서 유용합니다. 정밀도와 PR 요약은 범주 비율에 영향을 받습니다. AUC는 특정 임계값의 업무 성과나 확률 보정을 대신하지 않습니다.
보정은 0.7이라고 예측한 관측들을 충분히 모았을 때 실제 양성 비율이 약 0.7인지 보는 성질입니다. 작은 구간별 표본에서는 불확실성이 크며, 이 8건만으로 보정을 입증할 수 없습니다. 보정 방법을 학습하거나 선택할 때도 독립 평가 경계를 유지합니다.
다중 변수와 다중 범주
기준·스케일·표집을 함께 확인합니다
연속변수·더미변수·상호작용을 넣을 수 있습니다. 상호작용이 있으면 한 변수의 오즈비는 다른 변수 값에 따라 달라집니다. 세 개 이상 상호 배타적인 범주에는 다항 로지스틱·소프트맥스 모형 등을 사용하며, 여러 라벨이 동시에 가능한 문제와 구별합니다.
재표집이나 클래스 가중치는 학습 목표와 출력 확률의 해석을 바꿀 수 있습니다. 평가 자료를 인위적으로 균형화한 점수를 실제 범주 비율의 운영 성능으로 곧바로 읽지 않습니다. 지역·단지·시간 의존성과 라벨 오류도 점검합니다.
확인 문제
확률·오즈·판정을 구별하세요
- 오즈비 2이면 확률도 2배인가요?
답과 해설
아니요. p′=2p/(1+p)이므로 시작 확률에 따라 달라집니다.
- 임계값을 낮추면 로그손실도 바뀌나요?
답과 해설
확률이 같다면 바뀌지 않습니다. 판정과 확률 평가는 다른 단계입니다.
- AUC가 높으면 0.8 확률이 정확한가요?
답과 해설
AUC는 순위 성능입니다. 확률 보정은 별도로 확인합니다.
- 완전 분리일 때 비규제 추정은 항상 안정적인가요?
답과 해설
계수가 발산할 수 있습니다. 수렴과 자료 구조를 확인하고 규제 등 적절한 방법을 검토합니다.
CH2 Macro에서 읽기
양성 정의와 확률의 대상을 먼저 확인합니다
분류 결과를 읽을 때 무엇을 양성으로 정의했는지, 예측 시점의 입력과 라벨 기준, 임계값 선택과 평가 설계를 확인하세요. 이 장의 가상 확률과 성능은 실제 서비스 결과가 아닙니다.
확률은 특정 조건의 사건에 관한 모형 출력이며 개별 물건의 적정가나 투자 판단의 보장이 아닙니다. 순위·보정·오류 비용을 함께 읽습니다.
정리와 참고자료
확률 추정과 의사결정의 기준을 분리합니다
로지스틱 회귀는 로그오즈를 선형식으로 표현합니다. 오즈비를 확률비로 읽지 말고, 판정 지표·확률 손실·순위·보정을 목적에 맞춰 함께 확인하세요.
다음 29장 「최근접 이웃과 변수의 스케일」로 이어집니다.
모든 그림과 숫자는 별도 가상 예제입니다. 참고자료 확인: 2026-10-09.