본문 바로가기

Computer Science/Data Science 86

[Data Processing] Data Integration Data Integration 여러 곳에 저장된 데이터들을 하나로 합치는 과정이다. Schema Integration Schema integration을 통해 다른 장소의 데이터들을 합칠 수 있다. Schema integration은 schema를 보고 합치는 과정으로 schema level에서 같은 attirbute를 찾는다. Problems Redundancy나 inconsistency를 제거하면서 integration해야 하기 때문에 careful integration이 필요하다. 이들을 제거함으로써 mining의 speed나 quality를 개선할 수 있다. entity identification problem 서로 다른 데이터 source에 있는 같은 entity를 찾는 문제이다. 중복된 데이터.. 2022. 6. 12.
[Data Processing] Data Cleaning Data Cleaning 실세계의 데이터들을 dirty 하다. incomplete missing data 등 데이터가 불완전하다. 원인 : 사람/컴퓨터의 실수, attribute에 관심이 떨어져서 정보를 유지하지 않음, 통계적인 정보만 존재하고 구체적인 개별 정보는 없는 경우 noisy : error, outliers, noise 데이터 등 inconsistent 일관되지 않은 정보가 존재한다. rating이나 단위의 차이, 분산되어 저장되는 동일 데이터 등 예 age = 42, birthday = 03/07/2010 rating = "1, 2, 3" vs "A, B, C" intentional missing data와 유사 의도적으로 잘못된 데이터를 넣는 경우 예 : 생년월일을 모를 경우 "1900.0.. 2022. 6. 12.
Data Processing & Data Quality Measure for Data Qaulity Accuracy : 데이터가 정확한다. Completeness : missing value가 적은가 Consistency 데이터가 일관성 있는가 데이터는 여러 곳에 저장되어 있을 수 있는데 데이터 수정 시 일부 테이블의 데이터만 수정하는 경우가 발생할 수 있다. Dangling : 이곳에 데이터가 있다했는데 막상 가보니 존재하지 않는다. Timeliness : 얼마나 최신의 정보인가 Believability : 데이터를 얼마나 신뢰할 수 있는가 Interpretability : 얼마나 이해하기 쉬운 데이터인가 Data Processing Data Processing이 필요한 이유 좋은 quality의 데이터를 이용하면 좋은 mining 결과를 얻을 수 있다. .. 2022. 6. 12.
Outlier Discovery Outlier Discovery 다른 object와 특성이 상당히 다른(dissimilar한) object를 outlier라 한다. Outlier discovery는 large dataset에서 outlier를 찾는 것을 목표로 한다. 신용카드 사용 내역, 비정상 통신망 사용자, 돈을 많이 쓰는 고객, 의료 정보 등에 활용할 수 있다. Statistical Approach 데이터셋이 정규분포를 따른다고 가정하고 평균으로부터 일정 이상 떨어지는 objects들을 outlier로 간주한다. Multi attribute에서 활용하기 어렵다. 또한 정규분포를 가정으로 하지만 실제 데이터에서는 distribution을 알기 힘들다는 문제가 있다. Distance-based Approach 일정 거리(d) 내에 일.. 2022. 6. 12.
[Density-based Clustering] OPTICS - Ordering Objects OPTICS = Ordering Points To Identify the Clustering Structure 특징 Cluster의 구조를 알기 위해 point를 순서화하여 시각화하는 preprocessing 도구이다. DBSCAN의 확장 버전으로 주로 좋은 Eps를 찾기 위해 사용한다. MinPts를 고정하고 Eps를 변화시키면서 clustering을 함으로써 좋은 파라미터를 찾을 수 있다. Clustering-ordering 정보는 Eps에 대한 nested 관계를 보여준다. 그래프화/시각화를 통해 표현할 수 있다. 내제된 cluster의 구조를 찾으면서 automatic하고 interactive하게 cluster analysis를 할 수 있다. 사용자가 적절한 Eps 값을 찾을 수 있게 시각화하기 .. 2022. 6. 12.

티스토리툴바