[Data Processing] Data Transformation & Discretization

Data Transformation

데이터를 변환하는 과정이다.

Original value를 새로운 value로 바꾸는 작업이다.

 

• Normalization
  • 기존의 데이터를 새로운 범위로 떨어지도록 바꾸는 작업이다.
  • 방법
    • min-max normalization
    • z-score normalization
    • normalization by decimal scaling
• Discretization
  • Concept hierarchy climbing
  • Continuous attribute를 interval로 쪼개어 discrete하게 바꾼다.
  • Classification 등을 위해 사용되기도 한다.
  • 장점
    • 데이터 크기가 줄어든다.
      • 예 : float(4byte) → char(1byte)
    • 비슷한 value는 같은 카테고리로 떨어지기 때문에 묶을 수 있다.
  • 방법
    • binning
    • clustering