카테고리 338 Data Processing & Data Quality Measure for Data Qaulity Accuracy : 데이터가 정확한다. Completeness : missing value가 적은가 Consistency 데이터가 일관성 있는가 데이터는 여러 곳에 저장되어 있을 수 있는데 데이터 수정 시 일부 테이블의 데이터만 수정하는 경우가 발생할 수 있다. Dangling : 이곳에 데이터가 있다했는데 막상 가보니 존재하지 않는다. Timeliness : 얼마나 최신의 정보인가 Believability : 데이터를 얼마나 신뢰할 수 있는가 Interpretability : 얼마나 이해하기 쉬운 데이터인가 Data Processing Data Processing이 필요한 이유 좋은 quality의 데이터를 이용하면 좋은 mining 결과를 얻을 수 있다. .. 2022. 6. 12. Outlier Discovery Outlier Discovery 다른 object와 특성이 상당히 다른(dissimilar한) object를 outlier라 한다. Outlier discovery는 large dataset에서 outlier를 찾는 것을 목표로 한다. 신용카드 사용 내역, 비정상 통신망 사용자, 돈을 많이 쓰는 고객, 의료 정보 등에 활용할 수 있다. Statistical Approach 데이터셋이 정규분포를 따른다고 가정하고 평균으로부터 일정 이상 떨어지는 objects들을 outlier로 간주한다. Multi attribute에서 활용하기 어렵다. 또한 정규분포를 가정으로 하지만 실제 데이터에서는 distribution을 알기 힘들다는 문제가 있다. Distance-based Approach 일정 거리(d) 내에 일.. 2022. 6. 12. [Density-based Clustering] OPTICS - Ordering Objects OPTICS = Ordering Points To Identify the Clustering Structure 특징 Cluster의 구조를 알기 위해 point를 순서화하여 시각화하는 preprocessing 도구이다. DBSCAN의 확장 버전으로 주로 좋은 Eps를 찾기 위해 사용한다. MinPts를 고정하고 Eps를 변화시키면서 clustering을 함으로써 좋은 파라미터를 찾을 수 있다. Clustering-ordering 정보는 Eps에 대한 nested 관계를 보여준다. 그래프화/시각화를 통해 표현할 수 있다. 내제된 cluster의 구조를 찾으면서 automatic하고 interactive하게 cluster analysis를 할 수 있다. 사용자가 적절한 Eps 값을 찾을 수 있게 시각화하기 .. 2022. 6. 12. [Density-based Clustering] DBSCAN DBSCAN = Densit Based Spatial Clustering of Applications with Noise Distance-based가 아니기 때문에 noise를 가진 spatial db에서 어떠한 모양의 cluster더라도 발견해낼 수 있다. 다만 parameter(Eps, MinPts)에 대해 sensitive하다. core 주변에 충분한 neighbor들이 존재하는 점 $N_{Eps} \geq MinPts$ cluster 어떤 점으로부터 최대한 density-connected한 points들의 집합 maximal set of density-connected points outlier 주변에 충분히 density한 점들이 없는 점 $N_{Eps}(p) < MinPts$ 방법 임의의 점 .. 2022. 6. 12. [Cluster Analysis] Density-Based Clustering Density-Based Clustering 일정 이상의 density를 가지는 점들을 같은 cluster로 취급한다. Distance-based가 아닌 density-based이다. 특징 Shape of cluster 어떤 모양의 cluster이든 발견할 수 있다. K-Means는 긴 것은 자르는 경향이 있고 원 모양대로 묶인다. Density-based는 별모양이든 반원 모양이든 모양대로 묶을 수 있다. Robust Noise에 견딜 수 있다. K-means는 noise에 의해 중심이 이동되기 때문에 noise에 영향을 받는다. 1 DB scan 1번의 scan으로 clustering이 가능하기 때문에 효율적이다. Density threshold 묶을 density의 threshold를 정해주어야 한.. 2022. 6. 12. 이전 1 ··· 9 10 11 12 13 14 15 ··· 68 다음
