Linear Regression

Linear Regression

Regression이란 "Regression toward the mean"으로 전체의 평균을 추적하는 것이다.

즉 Linear regression이란 전체의 평균에 가장 적합한 직선의 방정식을 찾는 것으로, 데이터들의 선형 관계를 추론하는 것이다.

 

아래와 같이 직선의 방정식을 세우고 적절한 W와 b를 찾으면 된다.

$H(x) = Wx + b$

- W : Weight

- b : Bias

 

방법

hypothesis 설계 → cost 계산 → cost 최소화 의 단계를 거친다.

결국 궁극적인 목표는 cost를 최소화 하는 것이다.

 

• hypothesis(가정) : 이러한 직선이 평균에 가장 잘 취합할 것이다라고 가정하는 것이다.
• cost(비용)
  • loss, error 라고도 한다.
  • 실제 데이터와 가정한 직선에서의 데이터와의 차이를 의미한다.
  • $H(x) - y$

 

Minimise Cost

Cost가 작을수록 평균에 취합함을 의미한다.

Cost의 값은 양수와 음수 모두 될 수 있기 때문에 단순한 합을 구하는 것이 아니라 제곱을 해서 그 값이 가장 작도록 방정식을 개선해나간다.

 

Cost는 아래와 같은 식으로 나타난다.

$cost(W) = \frac {1} {m} \Sigma_{i=1}^{m} (W_{x_i} - y_i)^2$

 

직선의 방정식이 $H(x) = Wx + b$ 일 때,

$cost(W, b) = \frac {1} {m} \Sigma_{i=1}^{m} (H(x_i) - y_i)^2$

로 둘 수 있다.

 

최종적으로 cost(W, b)을 최소화하는 것이 목표이다.

이를 위해 주로 back propagation을 이용한다.