회귀분석

왜 배우는가: 단순선형회귀분석은 독립변수 하나로 종속변수의 평균 변화를 설명하고 예측하는 가장 기본적인 회귀모형이다. 실무에서는 공정 조건과 품질 특성 사이의 관계를 식으로 정리하는 데 쓰이며, 시험에서는 제곱합의 분해와 결정계수를 연결해 묻는 문제가 반복해서 출제된다.

출제 이력: 제137회 3교시 5번, 제136회 2교시 6번, 제131회 2교시 1번, 제127회 3교시 5번, 제125회 2교시 2번, 제119회 2교시 2번, 제116회 3교시 5번, 제113회 2교시 6번, 제112회 4교시 1번, 제103회 3교시 2번, 제100회 4교시 1번, 제98회 2교시 4번, 제97회 3교시 5번, 제92회 4교시 6번, 제91회 4교시 4번, 제89회 4교시 5번

1. 한 줄 정의와 핵심 키워드

단순선형회귀분석은 독립변수 x 하나로 종속변수 y의 평균을 직선식으로 설명하고 예측하는 분석이다.

핵심 키워드는 다음과 같다.

• 단순선형회귀: 독립변수가 하나인 선형 회귀모형이다.
• 최소제곱법: 잔차의 제곱합을 최소로 만드는 회귀계수 추정 방법이다.
• 총제곱합(SST): 종속변수 관측값의 전체 변동을 나타내는 제곱합이다.
• 회귀제곱합(SSR): 회귀직선으로 설명되는 변동의 제곱합이다.
• 잔차제곱합(SSE): 회귀직선으로 설명되지 않는 변동의 제곱합이다.
• 결정계수(R²): 총제곱합 중 회귀로 설명되는 비율이다.
• 상관계수(r): 두 변수 사이 선형 관계의 방향과 강도를 나타내는 값이다.

2. 개념 풀이

단순선형회귀모형은 다음과 같이 쓴다.

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$

여기서 i = 1, 2, \dots, n이다. \beta_0는 절편, \beta_1은 기울기이며, \varepsilon_i는 평균이 0이고 분산이 일정한 오차항이다. 오차항은 서로 독립이고 정규분포를 따른다고 가정하며, 이 가정이 있어야 추정량의 성질과 회귀모형의 검정을 논할 수 있다.

회귀계수는 최소제곱법으로 추정한다. 최소제곱법은 관측값 y_i와 추정직선 \hat{y}_i의 차이인 잔차 e_i = y_i - \hat{y}_i의 제곱합을 최소로 만드는 \hat\beta_0, \hat\beta_1을 찾는 방법이다. 편차 제곱합과 교차곱합을 S_{xx}=\sum (x_i-\bar{x})^2, S_{xy}=\sum (x_i-\bar{x})(y_i-\bar{y})로 놓으면 다음 식이 얻어진다.

$\hat\beta_1 = \frac{S_{xy}}{S_{xx}}, \qquad \hat\beta_0 = \bar{y} - \hat\beta_1 \bar{x}$

추정된 회귀직선은 항상 점 (\bar{x}, \bar{y})를 지난다. 이 성질은 절편 식에서 바로 나오므로 계산 결과를 검산하는 데 쓸 수 있다. 기울기 \hat\beta_1은 x가 한 단위 증가할 때 y의 평균이 변하는 양을 뜻하며, 절편 \hat\beta_0은 x가 0일 때의 추정값이다. 다만 x가 0인 지점이 관측 범위 밖이면 절편에 실질적인 의미를 붙이지 않는다.

회귀분석에서 총편차는 y_i - \bar{y}이며, 이를 회귀로 설명되는 부분과 설명되지 않는 부분으로 나눈다. 즉 y_i - \bar{y} = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)이다. 앞항은 추정직선이 평균에서 떨어진 정도를, 뒤항은 관측값이 추정직선에서 벗어난 정도를 나타낸다. 이 식을 제곱하여 모두 더하면 교차항이 0이 되므로 다음이 성립한다.

$SST = SSR + SSE$

여기서 SST = \sum (y_i-\bar{y})^2, SSR = \sum (\hat{y}_i-\bar{y})^2, SSE = \sum (y_i-\hat{y}_i)^2이다. 문제에서 쓰는 S_{y/x}는 회귀에 의하여 설명되지 않는 제곱합, 즉 잔차제곱합 SSE를 뜻한다. 단순회귀에서는 SSR = \hat\beta_1 S_{xy}로 계산할 수 있어 자료 요약값만으로도 분해가 가능하다.

결정계수는 총제곱합 중 회귀로 설명되는 비율이며 다음과 같이 정의한다.

$R^2 = \frac{SSR}{SST} = 1 - \frac{SSE}{SST}$

값은 0 이상 1 이하이고, 1에 가까울수록 추정직선이 데이터를 잘 설명한다. 다만 결정계수는 설명 변수를 더하면 항상 증가하므로, 변수 수가 다른 모형끼리 비교할 때는 수정 결정계수를 함께 본다.

단순회귀에서 결정계수는 상관계수의 제곱과 같다. 상관계수는 r = \dfrac{S_{xy}}{\sqrt{S_{xx} S_{yy}}}이며 R^2 = r^2이 성립한다. 따라서 r의 부호는 기울기 \hat\beta_1의 부호와 같지만, 결정계수는 방향 정보를 담지 않고 설명 비율만 나타낸다.