CH2 DATA · 통계학 & 데이터 분석

IV. 상관과 회귀

21. 회귀모형의 적합도와 추정의 불확실성

R²와 제곱합

평균만 사용할 때보다 얼마나 줄었는지 봅니다

R²는 관측된 Y의 변동 가운데 적합식이 설명하는 비율입니다. 절편을 포함한 같은 표본의 OLS에서는 SST=Σ(yᵢ−ȳ)², SSE=Σ(yᵢ−ŷᵢ)², SSR=Σ(ŷᵢ−ȳ)²이며 SST=SSR+SSE입니다. 따라서 R²=1−SSE/SST입니다.

총제곱합의 분해그림 1. 공통 자료의 절편 포함 OLS 분해입니다. 막대 전체는 SST이며 길이는 제곱합의 비율을 나타냅니다. 거래의 일정 비율을 정확히 맞혔다는 뜻이 아닙니다.평균만 사용할 때의 제곱합을 나누어 봅니다적합으로 줄어든 부분: 42.1%남은 잔차 부분: 57.9%SST 192,760.67 = SSR 81,217.97 + SSE 111,542.70파랑: SSR / 주황: SSE · 단위: (만원/㎡)²
그림 1. 공통 자료의 절편 포함 OLS 분해입니다. 막대 전체는 SST이며 길이는 제곱합의 비율을 나타냅니다. 거래의 일정 비율을 정확히 맞혔다는 뜻이 아닙니다.

공통 30건의 면적–단가 회귀는 R²=0.4213입니다. 평균만 사용한 기준보다 학습 제곱오차를 약 42.1% 줄였다는 뜻이지, 거래 42.1%를 정확히 맞혔다거나 인과관계의 비율이라는 뜻이 아닙니다.

절편 포함 OLS의 학습 R²는 SST>0이면 0~1입니다. 결과값이 전부 같으면 이 정의의 분모가 0입니다. 절편이 없는 모형이나 별도 검증 자료에서는 이러한 범위·분해가 그대로 적용되지 않을 수 있습니다. 검증 R²는 사용한 기준 평균을 명시해야 하며 음수가 될 수 있습니다.

수정 R²

변수 수를 반영해도 검증 성능은 따로 확인합니다

같은 자료·결과변수에서 중첩 OLS에 설명변수를 추가하면 R²는 감소하지 않습니다. 절편을 포함한 모수 수를 p라 할 때 수정 R²=1−[SSE/(n−p)]/[SST/(n−1)]는 자유도 손실을 반영합니다.

이 단순회귀는 p=2, n−p=28이고 수정 R²=0.4007입니다. 수정 R²는 내려가거나 음수가 될 수 있으며, 이를 최대화했다고 새 자료의 성능이나 인과 타당성이 보장되지는 않습니다. 표본·결측 처리·결과변수 변환이 다른 모형을 숫자만으로 비교하지 않습니다.

원 단위의 오차

R² 옆에 잔차의 크기와 단위를 적습니다

R²는 단위가 없지만 실제 오차의 크기는 말해 주지 않습니다. 이 자료의 학습 MAE=38.16, 학습 RMSE=√(SSE/n)=60.98, 잔차 표준오차 s=√(SSE/(n−p))=63.12만원/㎡입니다. RMSE와 s는 분모가 다릅니다.

같은 R²라도 결과변수의 퍼짐이 큰 자료에서는 원 단위 오차가 클 수 있습니다. 반대로 범위를 좁힌 동질적 표본에서는 작은 오차에도 R²가 낮을 수 있습니다. R²에 보편적인 합격선을 두기보다 목적·표본·원 단위 오차를 함께 봅니다.

MAPE는 평균 절대 백분율 오차입니다. 실제값이 0이면 정의할 수 없고 0 근처에서는 불안정하며, 작은 값에 큰 비중을 줄 수 있습니다. 단위 없는 지표라는 이유만으로 자료·목표가 다른 결과를 무조건 비교하지 않습니다. 예측오차 지표는 뒤 장에서 자세히 다룹니다.

계수의 불확실성

계수의 크기·구간·검정을 함께 읽습니다

고전적 단순회귀에서 기울기의 표준오차는 SE(b₁)=s/√Sxx입니다. 이 자료의 b₁=-0.6843, SE=0.1516, 95% 신뢰구간은 -0.9947~-0.3739입니다. 단위는 (만원/㎡)/㎡입니다.

H₀:β₁=0의 t=b₁/SE(b₁)=-4.515, 자유도 28, 양측 p=0.00010입니다. 절편 포함 단순회귀의 전체 F검정은 F(1,28)=20.388=t²이며 같은 p값을 냅니다. 다중회귀의 전체 F검정은 모든 기울기가 함께 0인지 검정하므로 개별 t검정과 질문이 다릅니다.

작은 p값이 큰 실질적 차이·높은 예측력·인과효과를 뜻하지는 않습니다. 위 구간과 p값은 올바른 선형 평균, 독립·등분산 정규 오차 등 고전적 가정 아래의 계산 예제입니다. 공통 자료가 그 가정을 충족한다고 검증된 것은 아닙니다.

두 종류의 구간

평균을 추정하는 것과 새 관측을 예측하는 것은 다릅니다

같은 면적 x₀에서 평균 반응 E[Y|X=x₀]을 추정할 수도 있고, 새 거래 한 건 Y새를 예측할 수도 있습니다. 중심 적합값 ŷ₀는 같아도 불확실성의 대상이 다릅니다.

신뢰구간과 예측구간그림 2. 고전적 가정 아래의 점별 95% 구간입니다. 전체 곡선을 동시에 95%로 덮는 띠가 아닙니다. 음수 하한도 숨기지 않았으며, 이는 이 모형의 적용 한계를 점검할 단서입니다.평균의 95% 신뢰구간과 새 관측의 95% 예측구간0100200300-1000100200300400500가로: 면적(㎡) / 세로: 단가(만원/㎡)파랑 띠: 평균 / 주황 띠: 새 관측 · 각 X별 점별 구간
그림 2. 고전적 가정 아래의 점별 95% 구간입니다. 전체 곡선을 동시에 95%로 덮는 띠가 아닙니다. 음수 하한도 숨기지 않았으며, 이는 이 모형의 적용 한계를 점검할 단서입니다.

h₀=1/n+(x₀−x̄)²/Sxx로 두면, 평균 반응의 신뢰구간은 ŷ₀±t₀.₉₇₅,ₙ₋₂·s√h₀, 새 관측 한 건의 예측구간은 ŷ₀±t₀.₉₇₅,ₙ₋₂·s√(1+h₀)입니다. 두 번째의 1은 새 관측 자체의 오차분산을 반영합니다. 새 오차가 학습 자료와 독립이고 같은 분산을 가진다는 가정도 필요합니다.

그림의 각 X별 95% 구간을 연결해도 전체 회귀곡선을 동시에 95%로 덮는 구간은 아닙니다. 여러 지점을 동시에 추론하려면 동시 신뢰대역 등 별도 방법이 필요합니다.

100㎡ 예제

같은 적합값에서 구간 폭이 크게 달라집니다

100㎡의 적합 단가는 164.08만원/㎡입니다. 평균 반응의 95% 신뢰구간은 139.14~189.02, 새 관측의 95% 예측구간은 32.41~295.75입니다. 반올림 전 회귀계수와 t값으로 계산했습니다.

100제곱미터의 두 구간그림 3. 평균 반응 구간은 모형 평균의 추정 오차를, 개별 예측구간은 여기에 새 관측 자체의 오차까지 반영합니다. 실제 거래의 보장 범위가 아닙니다.면적 100㎡에서 같은 중심, 다른 불확실성평균 반응139.14 ~ 189.02새 거래 한 건32.41 ~ 295.750100200300중심 164.08만원/㎡ · 점은 두 구간에서 같은 적합값
그림 3. 평균 반응 구간은 모형 평균의 추정 오차를, 개별 예측구간은 여기에 새 관측 자체의 오차까지 반영합니다. 실제 거래의 보장 범위가 아닙니다.

신뢰수준 95%는 가정 아래 표본추출·구간 계산을 반복했을 때 고정된 모평균을 포함하는 절차의 장기 비율입니다. 이미 얻은 구간 안에 고정 모평균이 95% 확률로 놓인다는 빈도주의 해석은 하지 않습니다. 예측구간은 새 관측도 변동하는 반복 과정의 포함률을 대상으로 합니다.

구간 폭을 결정하는 것

자료의 중심에서 멀어질수록 평균 추정이 불안정합니다

구간 폭은 잔차 변동 s, 신뢰수준, 표본 수, 설명변수의 퍼짐과 예측 위치에 달려 있습니다. 신뢰수준을 높이면 넓어지고, 같은 조건에서 자료가 더 풍부하면 평균 추정은 정밀해질 수 있습니다.

구간 폭과 자료의 중심그림 4. 가로축은 면적(㎡), 세로축은 95% 구간의 반폭(만원/㎡)입니다. 이 단순 등분산 모형에서는 평균 면적에서 가장 좁고 멀어질수록 넓어집니다.X 위치에 따른 구간의 반폭0100200300050100150파랑: 평균 / 주황: 새 관측 · 점선 x̄=125.93㎡
그림 4. 가로축은 면적(㎡), 세로축은 95% 구간의 반폭(만원/㎡)입니다. 이 단순 등분산 모형에서는 평균 면적에서 가장 좁고 멀어질수록 넓어집니다.

평균 주변에서 h₀가 작아지므로 평균 신뢰구간이 좁습니다. 그러나 표본이 커져도 새 관측 자체의 오차까지 사라지는 것은 아닙니다. 개별 예측구간을 평균 신뢰구간처럼 좁아질 것으로 기대하면 안 됩니다.

공식은 관측 범위 밖에서도 값을 내지만 함수 형태가 틀릴 위험은 담지 않습니다. 음수 단가 하한은 실제 음수 거래를 주장하는 것이 아니라, 가산 정규 오차 모형이 양수 자료에 부적절할 가능성을 점검할 단서입니다. 하한을 임의로 0에 잘라 같은 명목 포함률이라고 주장하지 않습니다.

진단과 외부 검증

좁은 구간이 모든 불확실성을 포함하지는 않습니다

위 구간은 선택한 모형·가정에 조건부입니다. 변수 선택·변환 탐색을 거친 불확실성, 표본 편향, 측정오차, 시점 변화, 빠진 변수의 영향까지 모두 포함한 것이 아닙니다. 이분산·군집·시계열 의존성이 있으면 추론 방식을 조정해야 합니다.

계수에 강건 표준오차를 적용했다고 새 관측의 예측구간까지 자동으로 올바르게 구성되는 것은 아닙니다. 조건부 오차분포와 예측 대상을 별도로 고려해야 합니다.

적합도는 학습 자료의 요약, 계수·평균 구간은 추정의 불확실성, 별도 자료 오차는 일반화 성능입니다. 세 질문을 구별하고 18장의 잔차 진단과 함께 읽으세요.

확인 문제

숫자가 답하는 질문을 구별하세요

  1. R²=0.42이면 거래 42%를 정확히 맞혔나요?
    답과 해설

    아니요. 같은 학습 표본에서 평균만 쓰는 기준 대비 제곱오차가 줄어든 비율입니다.

  2. 새 거래를 예측할 때 평균 신뢰구간을 사용해도 되나요?
    답과 해설

    새 관측의 오차가 빠져 너무 좁습니다. 목적에 맞는 예측구간이 필요합니다.

  3. 그림 전체가 동시에 95% 신뢰구간인가요?
    답과 해설

    각 X의 점별 구간입니다. 동시에 전체 곡선을 덮는 보장과 다릅니다.

  4. p값이 작으면 미래 예측도 정확한가요?
    답과 해설

    아니요. 계수에 관한 추론과 별도 자료의 예측 성능은 다른 질문입니다.

CH2 Macro에서 읽기

적합도·단위·구간의 대상을 함께 확인합니다

R²와 표본 수만 보지 말고 결과변수의 정의·변환, 원 단위 오차, 자유도, 구간의 대상과 계산 가정을 확인하세요. 화면의 구간이 평균 신뢰구간인지 개별 예측구간인지 확인한 후 해석합니다. 이 장의 공식이 모든 서비스 결과의 실제 산식이라고 전제하지 않습니다.

공통 자료는 출처 미확인 학습 예제입니다. 계산된 구간을 실제 시장의 보장 범위나 개별 물건의 적정가 범위로 사용하지 않습니다.

정리와 참고자료

적합이 좋은지와 얼마나 확실한지는 다른 질문입니다

R²·수정 R²·잔차 표준오차를 함께 읽고, 계수·평균 반응·새 관측 중 구간이 무엇을 대상으로 하는지 확인하세요.

다음 22장 「통계적 설명과 예측, 지도학습과 비지도학습」으로 이어집니다.

본문·그림은 공통 학습 자료로 직접 작성했습니다. 참고자료 확인: 2026-10-09.