본문 바로가기

Computer Science 254

Data Mining의 분류 Data Mining의 분류 일반적인 분류 descriptive data mining 현재의 데이터가 어떤 상태인가를 요약적으로 표현 예 : clustering, concept description predictive data mining : prediction 등 현재상태를 보고 미래를 예측하기 위함 예 : prediction 여러 분류 기준 Data view 적용되는 data를 기준으로 분류 예 : Relational, data ware house, transactional, time-series, temporal Knowledge view - functionality 찾고자하는 knowledge를 기준으로 분류 어떤 knowledge를 찾아낼 것인가에 따라 분류 characterization vs... 2022. 4. 16.
Data Mining이란? Data Mining 많은 데이터(raw data) 속에서 필요한 정보(knowledge, pattern)를 찾아내는 것을 data mining이라 한다. Extraction interesting (non-trivial), implicit, previously unknow and potentially useful) patterns or knowledge from huge amount of data. 배경 데이터가 폭발적으로 증가하고 있다. 데이터는 버려지지 않고 축적되는 경향 데이터를 자동으로 수집하는 도구의 발전 데이터베이스 시스템의 발전(데이터 저장/관리 기술의 발전) Web의 상용화 computerized society : 사회의 컴퓨터화로 인해 무언가를 하기만해도 데이터가 축적된다. 데이터는 많지.. 2022. 4. 16.
Activation Function Activation Function Non-linear function, identity function 이라고도 한다. Sigmoid 외에도 많은 non-linear function이 존재한다. 그러나 어떤 함수를 activation function으로 사용하기 위해서는 그 함수의 gradient를 구할 수 있어야 한다. 즉, 미분 가능한 함수여야 한다. 단, ReLU는 한 점에서 미분 불가능하지만 practical하게 문제가 거의 발생하지 않기 때문에 사용 가능한 함수도 존재한다. Vanishing Gradient 함수의 기울기(gradient)가 0이거나 0에 가까워지면 variable이 update 되지 않게 된다. 이를 해결하기 위해서는 모든 부분에서 gradient가 예쁘게 나오는 함수를 사용.. 2022. 4. 10.
Vectorization of Neural Network Vectorization Vectorization을 통해 연산 속도를 높일 수 있다. Representation 세로로 units에 대해서 가로로 training example에 대해서 쌓아서 matrix로 표현하면 된다. 연산 Scalar에 대한 덧셈이나 곱셈은 broadcasting을 통해 수행한다. Numpy에서는 *을 통해 이를 지원한다. Matrix 간의 곱은 행렬의 곱은 numpy의 dot 메소드를 통해 수행할 수 있다. Pesudo Code Non-vecotirzed Implementation for i = 1 to m: # 1st layer Z[1][i] = W[1]x[i] + b[1] a[1][i] = sigmoid(Z[1][i]) # 2nd layer Z[2][i] = W[2]a[1][.. 2022. 4. 9.
Gradient Descent of Neural Network Gradient Descent of Neural Network 복잡한 네트워크이더라도 computation graph로 나타내서 gradient를 구할 수 있다. 위 그래프를 이용해서 gradient를 구하면 아래와 같이 된다. 2022. 4. 9.

티스토리툴바