잔차 읽기
직선을 그린 다음에는 남은 차이를 살펴봅니다
17장에서 구한 직선이 자료를 충분히 설명하는지 확인하려면 잔차 eᵢ=yᵢ−ŷᵢ를 봅니다. 양수는 모형이 관측값보다 낮게, 음수는 높게 적합했다는 뜻입니다. 미지의 모집단 오차 ε와 표본에서 계산한 잔차 e는 구별합니다.
공통 자료 7번의 관측 단가는 480, 적합값은 217.45, 잔차는 +262.55만원/㎡입니다. 반올림 전 계수로 계산했습니다. 이 자료는 출처 미확인 학습 예제이며 실제 시장의 가격모형이 아닙니다.
잔차의 크기
오차의 크기를 요약할 때 분모를 확인합니다
잔차 합이 0이라는 사실은 절편 포함 OLS의 계산 성질입니다. 잘 맞는 모형이라는 증거는 아닙니다. 공통 자료의 SSE=Σeᵢ²는 111,542.70, MAE=Σ|eᵢ|/n은 38.16, 학습 RMSE=√(SSE/n)은 60.98입니다.
절편과 기울기 두 모수를 적합했으므로 잔차 자유도는 n−2=28입니다. 오차 표준편차의 추정값인 잔차 표준오차 s=√(SSE/(n−2))=63.12는 학습 RMSE와 분모가 다릅니다. s²의 불편성에는 올바른 선형 평균·등분산·비상관 오차 등의 조건이 필요합니다. s 자체가 불편추정량이라는 뜻은 아닙니다.
MAE·RMSE·s는 모두 Y와 같은 단위입니다. 여기서는 만원/㎡이며, 학습 자료의 크기 요약을 새 거래의 예측 정확성으로 옮겨 읽지 않습니다.
선형성과 등분산
잔차의 중심과 폭을 따로 봅니다
적합값에 따라 잔차의 중심이 U자나 물결 모양으로 움직이면 직선이 평균 관계를 놓쳤을 수 있습니다. 제곱항·변환·누락된 집단 등 가능한 설명을 자료의 생성 과정과 함께 검토합니다. 단순히 곡선을 더 복잡하게 만들어 학습 오차를 줄이는 것이 목적은 아닙니다.
중심은 0 근처여도 폭이 커지면 이분산을 의심합니다. 등분산은 Var(ε|X)=σ²라는 조건으로, X나 Y 자체의 분산이 일정하다는 말이 아닙니다. 이분산에서도 E[ε|X]=0 등 조건이 맞으면 OLS 계수는 불편할 수 있지만, 일반적인 등분산 표준오차는 잘못될 수 있습니다.
가능한 대응에는 분산 구조를 반영한 가중최소제곱, 의미 있는 변환, 이분산 강건 표준오차가 있습니다. 강건 표준오차는 평균 함수의 오류·내생성·극단적인 외삽을 해결하지 않습니다.
독립성과 순서
시간과 집단 구조는 자료 수집 과정에서 확인합니다
잔차를 거래 시점 순서로 그렸을 때 양수가 연속되거나 주기적으로 오르내리면 시간 의존성이나 빠진 추세를 의심합니다. 동일 단지·지역에서 나온 거래는 공통 요인 때문에 서로 닮을 수 있습니다. 독립성과 단순한 무상관은 같은 조건이 아닙니다.
공통 자료의 번호는 시간 정보가 아니므로 번호 순 잔차를 시계열 진단으로 해석하지 않습니다. 실제 거래일·단지 식별자를 확인한 후 시간 그래프나 집단별 잔차를 살펴야 합니다. 의존성이 있으면 군집 표준오차·시계열 모형 등 설계에 맞는 방법을 검토합니다.
모집단 오차가 독립이더라도 같은 자료로 적합한 OLS 잔차들은 잔차 합 0 등의 제약으로 서로 연결됩니다. 잔차를 완전히 독립인 오차 관측치처럼 취급해서는 안 됩니다.
정규성
정규성은 계수 계산보다 추론의 조건입니다
OLS 직선을 계산하는 데 정규성은 필요하지 않습니다. 고전적인 작은 표본 t·F 검정과 구간을 정확하게 적용할 때는 설명변수에 조건부인 오차의 정규성 등 가정이 사용됩니다. X나 Y의 히스토그램이 정규 모양이어야 한다는 뜻은 아닙니다.
Q–Q 그림에서 점들이 대체로 직선에 놓이는지, 특히 양쪽 꼬리가 벗어나는지 봅니다. 이탈은 극단 관측·두꺼운 꼬리·평균 함수의 오류 등 여러 원인과 관련될 수 있습니다. 이 그림만으로 원인을 특정하거나 정규성을 확정하지 않습니다.
표본 30건에서는 진단의 불확실성도 큽니다. 정규성 검정의 p값 하나로 합격·불합격을 정하기보다 잔차 패턴, 설계, 영향 관측과 함께 판단합니다. 큰 표본의 근사 추론도 적절한 의존성·분산 조건을 필요로 합니다.
레버리지와 영향력
큰 잔차와 멀리 있는 X를 구별합니다
절편 포함 단순회귀의 레버리지는 hᵢ=1/n+(xᵢ−x̄)²/Sxx입니다. X가 평균에서 멀수록 커지며 합은 추정 모수 수인 2입니다. 같은 오차분산에서도 Var(eᵢ|X)=σ²(1−hᵢ)이므로 원 잔차의 크기만으로 관측을 비교하면 불공평할 수 있습니다.
내부 표준화 잔차 rᵢ=eᵢ/[s√(1−hᵢ)]는 이러한 차이를 보정합니다. 여기서는 모든 관측으로 추정한 s를 사용하며, 해당 관측을 제외해 분산을 추정하는 외부 스튜던트화 잔차와 구별합니다.
Cook 거리 Dᵢ=(rᵢ²/2)·hᵢ/(1−hᵢ)는 그 점을 뺐을 때 적합값이 얼마나 달라지는지 요약합니다. 7번은 h=0.096, r=4.37, D=1.011입니다. 임계값은 점검을 위한 경험적 기준일 뿐 자동 삭제 규칙이 아닙니다.
높은 레버리지라도 직선과 잘 맞으면 영향력이 작을 수 있습니다. 원자료 오류, 특이한 거래 조건, 포함·제외 결과를 확인하고 판단 근거를 기록하세요.
진단 순서
목적과 설계를 먼저 확인하고 모형을 다시 점검합니다
- 관측 단위·표집·시간·집단 구조와 분석 목적을 확인합니다.
- 잔차 대 적합값·설명변수 그림으로 평균 관계와 분산을 봅니다.
- 실제 시간·집단별 패턴, Q–Q 그림, 영향 관측을 살펴봅니다.
- 이론과 수집 과정에 근거해 모형이나 추론 방법을 조정합니다.
- 조정 후 진단을 반복하고, 예측 목적이면 별도 자료로 성능을 확인합니다.
잔차 그림이 깔끔해도 E[ε|X]=0이나 인과 식별을 입증한 것은 아닙니다. 관측되지 않은 교란은 잔차만으로 확인하기 어렵습니다. 변환·관측 제외 등을 시도한 과정을 숨기지 말고 민감도와 한계를 함께 보고합니다.
확인 문제
무엇을 점검하는 그림인지 구별하세요
- 잔차 합이 0이면 가정이 모두 만족되나요?
답과 해설
아니요. 절편 포함 OLS의 대수적 성질이며 곡선·이분산·의존성은 남을 수 있습니다.
- Y가 비대칭이면 회귀계수를 계산할 수 없나요?
답과 해설
계산할 수 있습니다. 고전적 추론의 정규성은 조건부 오차에 관한 가정입니다.
- 큰 레버리지의 관측은 반드시 삭제하나요?
답과 해설
아니요. 원자료와 영향력, 포함·제외 민감도를 확인합니다.
- 강건 표준오차를 쓰면 누락변수 편향도 없어지나요?
답과 해설
아니요. 분산 추정의 조정과 평균 관계·내생성 문제는 구별해야 합니다.
CH2 Macro에서 읽기
모형의 결과와 적용 조건을 함께 읽습니다
회귀 결과를 읽을 때는 변수 정의·변환, 관측 단위·기간·건수, 잔차 진단과 구간 계산 방법을 함께 확인하세요. 서비스에 해당 진단이 제공되는지 먼저 확인하고, 제공되지 않은 통계량을 이미 검증된 것으로 간주하지 않습니다.
자료가 여러 지역·유형을 섞고 있다면 하나의 직선으로 설명할 수 있는 범위를 점검합니다. 잔차가 양수라는 이유만으로 개별 물건이 고평가되었다고 판단하지 않습니다.
정리와 참고자료
진단은 모형을 이해하고 개선하는 과정입니다
잔차의 중심·폭·순서·꼬리·영향력을 나누어 점검하세요. 적합도 숫자 하나나 검정 하나로 모형의 타당성을 확정할 수 없습니다.
다음 19장 「다중회귀와 변수의 해석」에서 여러 변수를 함께 고려합니다.
본문·그림은 공통 학습 자료와 별도 개념도로 직접 작성했습니다. 참고자료 확인: 2026-10-08.