본문 바로가기

카테고리 339

VSCode로 SSH 접속하기 * Mac 기준으로 작성하였습니다. Windows에서도 거의 같지만 다른 부분이 있을 수 있습니다. SSH란? SSH는 Secure Shell로, 원격 호스트에 접속하기 위해 사용되는 프로토콜입니다. 즉, 다른 컴퓨터에 접속해서 작업할 수 있도록 하는 통신방식입니다. SSH 접속 Extension 설치 다른 컴퓨터로 ssh 접속을 하기 위해 우선 vscode에서 extension(확장 프로그램)을 설치해야 합니다. Extension으로 들어가서 "Remote Development"를 설치해주세요. SSH 접속 확장 프로그램을 설치하면 왼쪽 메뉴바에 "원격 탐색기"가 보입니다. "원격 탐색기 - SSH 대상 - 추가(+) 버튼"을 누르면 명령어 입력창이 뜹니다. 해당 창에 ssh 접속 명령어를 입력해주세요.. 2022. 4. 15.
Activation Function Activation Function Non-linear function, identity function 이라고도 한다. Sigmoid 외에도 많은 non-linear function이 존재한다. 그러나 어떤 함수를 activation function으로 사용하기 위해서는 그 함수의 gradient를 구할 수 있어야 한다. 즉, 미분 가능한 함수여야 한다. 단, ReLU는 한 점에서 미분 불가능하지만 practical하게 문제가 거의 발생하지 않기 때문에 사용 가능한 함수도 존재한다. Vanishing Gradient 함수의 기울기(gradient)가 0이거나 0에 가까워지면 variable이 update 되지 않게 된다. 이를 해결하기 위해서는 모든 부분에서 gradient가 예쁘게 나오는 함수를 사용.. 2022. 4. 10.
Vectorization of Neural Network Vectorization Vectorization을 통해 연산 속도를 높일 수 있다. Representation 세로로 units에 대해서 가로로 training example에 대해서 쌓아서 matrix로 표현하면 된다. 연산 Scalar에 대한 덧셈이나 곱셈은 broadcasting을 통해 수행한다. Numpy에서는 *을 통해 이를 지원한다. Matrix 간의 곱은 행렬의 곱은 numpy의 dot 메소드를 통해 수행할 수 있다. Pesudo Code Non-vecotirzed Implementation for i = 1 to m: # 1st layer Z[1][i] = W[1]x[i] + b[1] a[1][i] = sigmoid(Z[1][i]) # 2nd layer Z[2][i] = W[2]a[1][.. 2022. 4. 9.
Gradient Descent of Neural Network Gradient Descent of Neural Network 복잡한 네트워크이더라도 computation graph로 나타내서 gradient를 구할 수 있다. 위 그래프를 이용해서 gradient를 구하면 아래와 같이 된다. 2022. 4. 9.
Neural Network Neural Network 여러 개의 unit들이 모인 여러 개의 layer로 이루어진 모델이다. 하나의 unit이 하는 일은 linear transformation + non-linear transformation이다. Logistic regression에서 모델이 커진 것이라고 생각할 수 있다. Representation Nueral Network의 구조는 크게 3가지로 나눌 수 있다. input layer hidden lyaer output layer 몇 개의 layer로 이루어져있는지를 셀 때는 input layer를 포함하지 않는다. Input layer에는 traninable variable이 존재하지 않기 때문이다. Parameters & Variables의 Shape W와 b의 개수와 sh.. 2022. 4. 7.

티스토리툴바