데이터 정제 전처리 - deiteo jeongje jeoncheoli

데이터 전처리

• 데이터 분석 과정에서 데이터 전처리는 반드시 거쳐야 하는 과정
• 전처리 결과가 분석 결과에 직접적인 영향을 주고 있어서 반복적으로 수행함
• 데이터 분석의 단계 중 가장 많은 시간이 소요됨
• 데이터 정제 → 결측값 처리 → 이상값 처리 → 분석변수처리 순서로 진행

데이터 정제

• 데이터 정제(Data Cleansing)는 결측값을 채우거나 이상값을 제거하는 과정을 통해 데이터의 신뢰도를 높이는 작업

1. 데이터 정제 절차

① 데이터 오류 원인 분석

• 데이터 오류는 원천 데이터의 오류로 인해서 발생하거나 빅데이터 플로우의 문제로부터 발생함

② 데이터 정제 대상 선정

• 모든 데이터를 대상으로 정제 활동을 하는 것이 기본
• 특별히 데이터 품질 저하의 위험이 있는 데이터에 대해서는 더 많은 정제 활동을 수행해야 함
• 원천 데이터의 위치를 기준으로 분류한다면 내부 데이터보다 외부 데이터가 품질 저하 위협에 많이 노출되어 있으며, 정형 데이터보다는 비정형과 반정형 데이터가 품질 저하 위협에 많이 노출되어 있음

③ 데이터 정제 방법 결정

• 데이터 정제는 오류 데이터값을 정확한 데이터로 수정하거나 삭제하는 과정
• 정제 여부의 점검은 정제 규칙을 이용하여 위반되는 데이터를 검색하는 방법을 사용
• 노이즈와 이상값은 특히 비정형 데이터에서 자주 발생하므로 데이터 특성에 맞는 정제 규칙을 수립하여 점검
• 데이터 정제 방법은 아래와 같음

2. 데이터 정제 기술

① 데이터 일관성 유지를 위한 정제 기법

② 데이터 정제 기술

3. 데이터 세분화(Data Segmentatioin)

• 데이터를 기준에 따라 나누고, 선택한 매개변수를 기반으로 유사한 데이터를 그룹화하여 효율적으로 사용할 수 있는 프로세스
• 사전에 군집 수를 정하지 않고 단계적으로 단계별 군집결과를 산출하는 계층적 방법과 군집을 위한 소집단의 개수를 정해놓고 각 객체 중 하나의 소집단으로 배정하는 비 계층적 방법이 있음

데이터 결측값 처리

• 결측값이란 입력이 누락된 값을 의미
• 결측값은 NA, 999999, Null 등으로 표현함

1. 데이터 결측값의 종류

2. 데이터 결측값 처리 절차

① 결측값 식별

• 원본 데이터에서 다양한 형태로 결측 정보가 표현되어 있으므로 현황 파악을 해야 함

② 결측값 부호화

• 파악된 정보를 바탕으로 컴퓨터가 처리 가능한 형태로 부호화
• NA(Not Available), NaN(Not a Number), inf(Infinite), NULL

③ 결측값 대체

• 결측값을 자료형에 맞춰 대체 알고리즘을 통해 결측값을 처리

3. 데이터 결측값 처리 방법

① 단순 대치법(Single Imputation)

• 결측값을 그럴듯한 값으로 대체하는 통계적 기법
• 결측값을 가진 자료 분석에 사용하기가 쉽고, 통계적 추론에 사용된 통계량의 효율성 및 일치성 등의 문제를 부분적으로 보완
• 대체된 자료는 결측값 없이 완전한 형태를 지님
• 단순 대치법의 종류는 아래와 같음

② 다중 대치법(Multiple Imputation)

• 단순 대치법을 한 번 하지 않고 m번 대치를 통해 m개의 가상적 완전한 자료를 만들어서 분석하는 방법
• 원 표본의 결측값을 한 번 이상 대치하여 여러 개의 대치된 표본을 만들어야 하므로 항상 같은 값으로 결측 자료를 대치할 수 없음
• 여러 번의 대체표본으로 대체 내 분산과 대체 간 분산을 구하여 추정치의 총 분산을 추정하는 방법
• 대체로 발생하는 불확실성은 대체-간 부분에서 고려함으로써 과소 추정된 분산 추정치가 원 분산에 가까워지도록 해야 함
• 다중 대치법은 대치 → 분석 → 결합의 3단계로 구성 

데이터 이상값 처리

• 데이터 이상값(Data Outlier)은 관측된 데이터의 범위에서 많이 벗어난 아주 작은 값이나 아주 큰 값을 의미
• 데이터 이상값은 입력 오류, 데이터 처리 오류 등의 이유로 특정 범위에서 벗어난 데이터 값을 의미

1. 데이터 이상값 발생 원인

① 데이터 입력 오류

• 데이터를 수집하는 과정에서 발생할 수 있는 에러
• 전체 데이터의 분포를 보면 쉽게 발견 가능

② 측정 오류

• 데이터를 측정하는 과정에서 발생하는 에러

③ 실험 오류

• 실험조건이 동일하지 않은 경우 발생

④ 고의적인 이상값

• 자기 보고식 측정(Self Reported Measure)에서 나타나는 에러
• 정확하게 기입한 값이 이상값으로 보일 수 있음

⑤ 표본추출 에러

• 데이터를 샘플링(Sampling)하는 과정에서 나타나는 에러

2. 데이터 이상값 검출 방법

① 개별 데이터 관찰

• 전체 데이터의 추이나 특이 사항을 관찰하여 이상값 검출
• 전체 데이터 중 무작위 표본 추출 후 관찰하여 이상값 검출

② 통계 기법(값) 이용

• 통계 지표 데이터(평균, 중앙값, 최빈값)와 데이터 분산도(범위, 분산)를 활용한 이상값 검출

③ 시각화 이용

• 데이터 시각화(Data Visualization)를 통한 지표 확인으로 이상값 검출
• 확률 밀도 함수, 히스토그램, 시계열 차트 등

④ 머신 러닝 기법 이용

• 데이터 군집화를 통한 이상값 검출
• 주어진 데이터를 K개의 클러스터로 묶고, 각 클러스터와 거리 차이의 분산을 최소화하는 방식의 K-평균 군집화 알고리즘 등이 있음

⑤ 마할라노비스 거리(Mahalanobis Distance) 활용

• 데이터의 분포를 고려한 거리 측도로, 관측치가 평균으로부터 벗어난 정도를 측정하는 통계량 기법
• 데이터의 분포를 측정할 수 있는 마할라노비스 거리를 이용하여 평균으로부터 벗어난 이상값을 검출할 수 있음
• 이상값 탐색을 위해 고려되는 모든 변수 간에 성형관계를 만족하고, 각 변수들이 정규분포를 따르는 경우에 적용할 수 있는 전통적인 접근법

⑥ LOF(Local Outlier Factor)

• 관측치 주변의 밀도와 근접한 관측치 주변 밀도의 상대적인 비교를 통해 이상값을 탐색하는 기법
• 각 관측치에서 k번째 근접이웃까지의 거리를 산출하여 해당 거리 안에 포함되는 관측치의 개수를 나눈 역수 값으로 산출

⑦ iForest(Isolation Forest)

• 관측치 사이의 거리 또는 밀도에 의존하지 않고, 데이터 마이닝 기법인 의사결정나무(Decision Tree)를 이용하여 이상값을 탐지하는 방법
• 의사결정나무 기법으로 분류 모형을 생성하여 모든 관측치를 고립시켜나가면서 분할 횟수로 이상값을 탐색
• 데이터의 평균적인 관측치와 멀리 떨어진 관측치일수록 적은 횟수의 공간 분할을 통해 고립시킬 수 있음
• 의사결정나무 모형에서 적은 횟수로 리프 노트에 도달하는 관측치일수록 이상값일 가능성이 큼

3. 데이터 이상값 처리

① 삭제(Deleting Observations)

• 이상값으로 판단되는 관측값을 제외하고 분석하는 방법
• 추정치의 분산은 작아지지만 실제보다 과소 또는 과대 추정되어 편의가 발생할 가능성이 있음
• 이상값을 제외시키기 위해 양극단의 값을 절단(Trimming)하기도 함
• 절단을 위해 기하평균 혹은 하단, 상단 %를 이용함
• 이상값 자료도 실제 조사된 수치이므로 이상값을 제외하는 것은 현실을 제대로 반영하는 방법으로 적절하지 않을 수도 있음
• 극단값 절단 방법을 활용해 데이터를 제거하는 것보다는 극단값 조정 방법을 활용하는 것이 데이터 손실률이 적고, 설명력이 높아짐

② 대체법(Imputation)

• 하한값과 상한값을 결정한 후 하한값보다 작으면 하한값으로 대체하고 상한값보다 크면 상한값으로 대체
• 이상값을 평균이나 중앙값 등으로 대체하는 방법
• 데이터의 결측값 처리의 내용과 동일

③ 변환(Transformation)

• 극단적인 값으로 인해 이상값이 발생했다면 자연로그를 취해서 값을 감소시킬 수 있음
• 상한값과 하한값을 벗어나는 값들을 하한, 상한값으로 바꾸어 활용하는 극단값 조정(Winsorizing) 방법도 활용됨

④ 박스 플롯 해석을 통한 이상값 제거

• 사분위 수를 이용해서 제거하는 방법을 사용
• 이상값을 구하기 위해서는 수염(Whiskers)을 이용하게 되고, 수염 밖에 있는 값을 이상값으로 판단

⑤ 분류하여 처리

• 이상값이 많을 경우에 사용하는 방법으로 서로 다른 그룹으로 통계적인 분석을 실행하여 처리
• 각각의 그룹에 대해서 통계적인 모형을 생성하고, 결과를 결합하는 방법을 사용함

분석 변수 처리

• 변수(Feature)는 데이터 모델에서 사용하는 예측을 수행하는 데 사용되는 입력변수를 의미함
• RDBMS에서 속성(열)을 머신 러닝(Machine Learning)에서는 변수(Feature)라고 함

1. 변수 선택

① 변수 유형

② 변수 선택

• 변수 선택(Feature Selection)은 데이터의 독립변수 중 종속변수에 가장 관련성이 높은 변수만을 선정하는 방법임
• 사용자가 해석하기 쉽게 모델을 단순화해주고 훈련 시간 축소, 차원의 저주 방지, 과적합(Over-fitting)을 줄여 일반화해주는 장점이 있음
• 모델의 정확도 향상 및 성능 향상을 기대할 수 있음

③ 변수 선택 기법

• 변수 선택은 예측대상이 되는 분류를 참고하지 않고 변수들만으로 수행하는 비지도(Unsupervised) 방식과 분류를 참고하여 변수를 선택하는 지도(Supervised) 방식으로도 분류할 수 있음

㉮ 필터 기법(Filter Method)

• 데이터의 통계적 측정 방법을 사용하여 변수들의 상관관계를 알아냄
• 계산속도가 빠르고 변수 간 상관관계를 알아내는 데 적합하여 래퍼 기법(Wrapper Method)을 사용하기 전에 전처리하는 데 사용
• 특정 모델링 기법에 의존하지 않고 데이터의 통계적 특성부터 변수를 택하는 기법

㉯ 래퍼 기법(Wrapper Method)

• 예측 정확도 측면에서 가장 좋은 성능을 보이는 하위 집합을 선택하는 기법
• 검색 가능한 방법으로 하위 집합을 반복해서 선택하여 테스트하는 것이므로 그리디 알고리즘(Greedy Algorithm)에 속함
• 반복하여 선택하는 방법으로 시간이 오래 걸리고 부분집합의 수가 기하급수적으로 늘어 과적합의 위험이 발생할 수 있음
• 일반적으로 래퍼 방법은 필터 방법보다 예측 정확도가 높음
• 변수 선택을 위한 알고리즘과 선택기준을 결정해야 함
  • 전진 선택법(Forward Selection) : 모형을 가장 많이 향상시키는 변수를 하나씩 점진적으로 추가하는 방법
  • 후진 제거법(Backward Elimination) : 모두 포함된 상태에서 시작하여 가장 적은 영향을 주는 변수부터 하나씩 제거
  • 단계적 방법(Stepwise Method) : 전진 선택과 후진 제거를 함께 사용
• 아래와 같은 래퍼 기법이 있음

㉰ 임베디드 기법(Embedded Method)

• 임베디드 기법은 모델의 정확도에 기여하는 변수를 학습함
• 좀 더 적은 계수를 가지는 회귀식을 찾는 방향으로 제약조건을 주어 이를 제어

2. 차원축소

• 차원축소(Dimensionality Reduction)는 분석 대상이 되는 여러 변수의 정보를 최대한 유지하면서 데이터 세트 변수의 개수를 줄이는 탐색적 분석 기법임
• 원래의 데이터를 최대한 효과적으로 축약하기 위해 목표변수는 사용하지 않고 특성 변수만 사용하기 때문에 비지도 학습 머신러닝 기법임
• 차원축소를 수행할 때, 축약되는 변수 세트는 원래의 전체 데이터의 변수들의 정보를 최대한 유지해야 함
• 변수들 사이에 내재한 특성이나 관계를 분석하여 이들을 잘 표현할 수 있는 새로운 선형 혹은 비선형 결합을 만들어 해당 결합변수만으로도 전체변수를 적절히 설명할 수 있어야 함
• 하나의 완결된 분석기법으로 사용되기보다는 다른 분석과정을 위한 전 단계, 분석 수행 후 개선 방법, 효과적인 시각화 등의 목적으로 사용됨
• 고차원 변수보다 변환된 저차원으로 학습할 경우, 회귀나 분류, 클러스터링 등의 머신러닝 알고리즘이 더 잘 작동함
• 새로운 저차원 변수 공간에서 가시적으로 시각화하기도 함

3. 파생변수 생성

• 파생변수(Derived Variance)는 기존 변수에 특정 조건 혹은 함수 등을 사용하여 새롭게 재정의한 변수를 의미함
• 데이터에 들어 있는 변수만 이용해서 분석할 수도 있지만 변수를 조합하거나 함수를 적용해서 새 변수를 만들어 분석함
• 변수를 생성할 때는 논리적 타당성과 기준을 가지고 생성해야 함

4. 변수 변환

• 변수 변환(Variable Transformation)은 분석을 위해 불필요한 변수를 제거, 반환, 생성시키는 작업
• 변수들이 선형관계가 아닌 로그, 제곱, 지수 등의 모습을 보일 때 변수 변환을 통해 선형관계로 만듬

① 단순 기능 변환(Simple Functions Transformation)

• 한쪽으로 치우친 변수를 변환하여 분석 모형을 적합하게 만드는 방법
• 로그(Logarithm), 제곱/세제곱 루트 변환(Square/Cube Root)

② 비닝(Binning)

• 데이터 값을 몇 개의 Bin 혹은 Bucket으로 분할하여 계산하는 방법
• 데이터 평활화(Smoothing)에서도 사용되는 기술이며, 기존 데이터를 범주화하기 위해 사용함
• Categrorization 기술의 결정은 비즈니스 도메인 지식 필요
• 두 개 이상 변수의 값에 따라 공변량 비닝(co-variate binning) 수행

③ 정규화(Normalization)

• 데이터를 특정 구간으로 바꾸는 척도법
• 최소-최대 정규화, Z-Score 정규화 유형이 있음

④ 표준화(Standardization)

• 데이터를 0을 중심으로 양쪽으로 데이터를 분포시키는 방법
• 표준화와 정규화는 데이터 전처리에서 상호 교환하여 사용

5. 불균형 데이터 처리

• 탐색하는 목표 데이터의 수가 매우 극소수인 경우에 불균형 데이터 처리를 함

① 언더 샘플링(Under-Sampling)

• 다수 클래스의 데이터를 일부만 선택하여 데이터의 비율을 맞추는 방법
• 데이터 소실이 매우 크고, 중요한 정상 데이터를 잃을 수 있음

② 오버 샘플링(Over-Sampling)

• 소수 클래스의 데이터를 복제 또는 생성하여 데이터의 비율을 맞추는 방법으로 과대 샘플링이라고도 함
• 정보가 손실되지 않는다는 장점이 있으나 과적합(Over-fitting)을 초래할 수 있음
• 알고리즘의 성능은 높으나 검증의 성능은 나빠질 수 있음

③ 임곗값 이동(Threshold-Moving)

• 임곗값 이동은 임곗값을 데이터가 많은 쪽으로 이동시키는 방법
• 학습 단계에서는 변화 없이 학습하고 테스트 단계에서 임곗값을 이동함

④ 앙상블 기법(Ensemble Technique)

• 앙상블은 같거나 서로 다른 여러 가지 모형들의 예측/분류 결과를 종합하여 최종적인 의사결정에 활용하는 기법
• 가장 많은 표를 받은 클래스를 최종적으로 선택