카테고리 339 Gradient Descent Gradient Descent Minimize Cost 우리의 목표는 cost(error의 합)을 최소화하는 것이다. 더 정확히는 cost가 최소가 되는 W와 b를 찾는 것이다. 이를 위해 gradient descent 방법을 이용한다. Gradient Descent Gradient가 최소가 되는 방향으로 이동하며 optimal을 찾는 방법이다. 즉, 경사를 따라 내려가면서 cost가 최솟값일 때의 W를 찾는 방법이다. Cost function $J(w, b)$를 최소화하는 $w$와 $b$를 찾는 것이 training의 목표이다. 이를 위해 임의의 지점에서 gradient가 감소하는 방향으로 이동함으로써 목표지점 $(w, b)$ 로 이동할 수 있다. 이상적인 상황에서 목표지점(optimal)에서의 gra.. 2021. 8. 6. Loss Function, Cost Function Loss Function = objective function, error function 모델을 training 할 때 loss function의 값을 최소화/최대화하는 방향으로 parameter를 찾아간다. 보통을 loss function을 최소화하도록 정한다. To Minimize Training set이 한 개이면 loss function을 미분해서 최소가 되는 지점을 찾으면 된다. 그러나 M의 크기가 매우 커지면 이를 계산하는 것이 힘들기 때문에 주로 gradient descent method를 사용한다. Cost Function $w, b$에 따른 loss 값의 평균이다. $J(w, b) = \frac{1}{m} \Sigma^m _{u=1} L(\hat{y}^{(i)}, y^{(i)})$ $=.. 2021. 8. 6. Matrix Notation Matrix Notation 다차원의 여러 데이터를 하나의 matrix로 표현할 수 있다. 이를 이용하면 복잡한 네트워크를 표현하는 것이 쉬워진다. single training sample : $(x, y)\; x \in R^n, y \in \{ 0, 1 \}$ $m$ training sample : $\{ (x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}), ..., (x^{(m)}, y^{(m)}) \}$ matrix를 이용하여 compact하게 표현하기 2021. 8. 5. Neural Network의 배경 Neural Network 인간의 뇌를 모방해서 더 복잡하고 세련된 task를 수행하기 위해 만든 모델이다. 수많은 신경세포들이 모여서 뇌를 구성하는 것 처럼 많은 node들을 이용해서 network를 만든다. 인간의 뇌는 자극에 따라서 활성되는 신경세포들이 달라진다. 이와 유사하게 node의 weight들을 이용해서 외부 자극에 따라 연결되는 관계를 바꾼다. 2021. 8. 5. Linear Regression Linear Regression Regression이란 "Regression toward the mean"으로 전체의 평균을 추적하는 것이다. 즉 Linear regression이란 전체의 평균에 가장 적합한 직선의 방정식을 찾는 것으로, 데이터들의 선형 관계를 추론하는 것이다. 아래와 같이 직선의 방정식을 세우고 적절한 W와 b를 찾으면 된다. $H(x) = Wx + b$ - W : Weight - b : Bias 방법 hypothesis 설계 → cost 계산 → cost 최소화 의 단계를 거친다. 결국 궁극적인 목표는 cost를 최소화 하는 것이다. hypothesis(가정) : 이러한 직선이 평균에 가장 잘 취합할 것이다라고 가정하는 것이다. cost(비용) loss, error 라고도 한다. 실.. 2021. 8. 5. 이전 1 ··· 32 33 34 35 36 37 38 ··· 68 다음
