LEE CHANWOO

📝 Blog 2024 version 1.6.1
🔖 NOV 1, 2024

5 분 소요

키워드🔑
앙상블분석, 배깅, 부트스트랩, 부스팅, AdaBoost,
랜덤포레스트, 배깅을 이용한 포레스트 구성, 임의노드 최적화,
중요 매개변수, 포레스트 크기, 최대 허용 깊이, 임의성 정도

02. 분석기법 적용

2. 고급 분석기법

7) 앙상블 분석


(1) 앙상블(Ensemble)

  • 앙상블 기법
    • 여러 개의 동일 or 상이한 모형들의 예측 or 분류 결과를 종합하여 최종적인 의사결정에 활용하는 기법
  • 앙상블 특징: 신뢰성 ↑ 정확도 ↑ 원인분석 X
    • 높은 신뢰성: 다양한 모형의 결과를 결합 → 단일 모형보다 높은 신뢰성 확보
    • 높은 정확도: 이상값 대응력 상승 / 전체 분산 감소 → 높은 모델 정확도(Accuracy)
    • 원인분석에 부적합: 모형 투명성 감사 → 현상에 대한 정확한 원인분석에는 부적합


(2) 앙상블 알고리즘

  • 여러 개의 예측 모형 생성 → 조합 → 하나의 최종 예측 모형
    • 조합: 다중 모델 조합, 분류기 조합
  • 여러 개의 학습 모델 훈련 → 투표 → 최적화된 예측 수행 및 결정
    • 투표: 다수결로 최종 결과를 선정
  • 학습 데이터의 작은 변화 때문에, 예측 모형이 크게 변한다면 → 불안정한 학습방법
  • 가장 안정적인 학습방법: 1-nearest neighbor, linear regression, …
    • 1-nearest neighbor: 가장 가까운 자료만 변하지 않으면, 예측 모형이 변하지 않음
    • 선형 회귀 모형: 최소제곱법으로 추정하여 모형을 결정함


(3) 앙상블 학습절차
📌 도출 및 생성 → 집합별 모델학습 → 결과 조합 → 최적 의견 도출

  • 도출 및 생성: 학습 데이터에서 학습집합을 여러 개 도출
  • 집합별 모델학습: 각각의 집합마다 모델학습


(4) 앙상블 기법 종류
📌 배깅 / 부스팅 / 랜덤포레스트

  • 배깅(Bagging)
    • 학습 데이터에서 다수의 부트스트랩 자료 생성
    • 각 자료마다 모델 생성
    • 각 모델마다 도출된 결과 결합
    • 최종 예측 모형
  • 부스팅(Boosting)
    • 학습 데이터에 동일한 가중치 적용하여 분류기 생성
    • 가중치 변경하여 분류기 다시 생성
    • 반복 및 결합
    • 최종 분류 모형
  • 랜덤 포레스트(Random Forest)
    • 학습 데이터에서 N개의 부트스트랩 자료 생성
    • 분류기 훈련 후 대표 변수 샘플 도출
    • 의사결정나무의 Leaf Node로 분류
    • Leaf Node들의 선형결합
기법 배깅(Bagging) 부스팅(Boosting)
목표 -분산 감소
-전반적으로 분류를 잘 하도록 유도함		 -예측력 강화
-분류하기 힘든 관측값들에 대해서, 정확하게 분류하도록 유도함
최적 모델 결정 방법 -독립수행 후, 다수결 결정
-연속형 변수: 평균
-범주형 변수: 다중투표		 -순차 수행에 따른 가중치 재조정
-정분류 데이터: 낮은 가중치 부여
-오분류 데이터: 높은 가중치 부여
⇒ 오답을 정답으로 맞추기 위해서
장점 -성능 향상에 효과적
-결측값에 강함		 -특정 케이스에서 상당히 높은 성능
-과대적합 없음(일반적으로)
단점 계산 복잡도 다소 높음 계산 복잡도 다소 높음
적용 방안 소량 데이터 유리함
변수 크기가 작아, 단순할수록 유리함		 대량 데이터 유리함
데이터, 속성이 복잡할수록 유리함
주요 알고리즘 MetaCost Algorithm AdaBoost Algorithm


(5) 배깅
📌 부트스트랩 데이터 여러 개 → 데이터마다 모델링 → 다수결로 최종 결정

  • 배경(Bagging; Bootstrap Aggregating)
    • 학습 데이터에서 다수의 부트스트랩 자료를 생성하고, 각 자료에 대해 모델을 생성한 후 결합하여 최종예측모델을 만드는 알고리즘
    • 부트스트랩(Bootstrap): 단순 랜덤 복원추출 → 동일 크기 표본을 여러 개 생성하는 샘플링 방법
    • 절차: 부트스트랩 데이터 추출 → 단일 분류자 생성 → 최종 모델결정
      • 부트스트랩 데이터 추출: 동일 크기 부트스트랩 데이터 n개 추출
      • 단일 분류자 생성(모델링): 각 데이터마다 단일 분류자 모델 n개 생성
      • 최종 모델 결정: 다수결(Majority Voting) or 평균으로 n 개의 모델 결과를 결합
        • 보팅: 여러 모델을 학습시켜서 나온 결과 → 다수결 투표로 최종 결과 선정
    • 특징
      • 배깅에선 가지치기 하지 않음 → 최대한 성장한 의사결정나무들을 활용
      • 훈련자료를 모집단으로 간주 → 평균 예측 모형을 구함 → 분산을 줄이고, 예측력을 향상시킴


(6) 부스팅
📌 예측력 약한 모델들을 결합 → 강한 예측 모형 생성

  • 부스팅(Boosting)
    • 잘못 분류된 개체들에 가중치 적용 후, 새로운 분류기 모델을 생성하는 과정을 반복하고, 약한 모델(Weak Learner)들을 결합하여 최종 모델을 만드는 알고리즘
  • 순차적으로 진행: 분류기 1 생성 → 이 정보를 바탕으로 분류기 2 생성 → 이 정보를 바탕으로 분류기 3 생성 → 반복… → 생성된 분류기들을 결합 → 최종 분류기 모델
  • 절차: 동일 가중치 분류기 생성 → 가중치 변경하여 분류기 생성 → 최종 분류기 생성
    • 가중치 변경: 이전 분류기의 결과에 따라서 가중치를 변경
    • 최종 분류기: 목표 정확도가 나올 때까지 n회 반복 후, 최종 분류기 결정
  • AdaBoost(Adaptive Boost Algorithm): 배깅보다 성능 높은 경우 많음(예측 오차 향상)
    • 이진 분류 문제
    • 랜덤 분류기보다 좀 더 좋은 분류기 n개 생성
    • n개 분류기마다 가중치 설정(가중치 합 = 1)
    • n개 분류기를 결합하여 최종 분류기 생성


(7) 랜덤 포레스트
📌 랜덤 입력에 따른 여러 트리의 집합인 포레스트를 이용한 분류 방법

  • 랜덤 포레스트(Random Forest)
    • 배깅, 부스팅보다 더 많은 무작위성을 주어서 약한 학습기들을 생성한 후, 이것들을 선형결합하여 최종 학습기를 만드는 알고리즘
  • 의사결정트리의 분산이 크다는 단점 개선 → 약한 학습기들을 선형결합
  • 무작위성(랜덤성): 사건에 패턴, 예측가능성, 인위적요소, 규칙성이 없음
    • 트리들이 서로 조금씩 다른 특징을 가짐 → 예측 결과들의 비상관화&일반화
    • 노이즈에 강인하게 해줌
  • 데이터로부터 임의복원추출을 통해 여러 개의 학습데이터를 추출하고, 학습데이터마다 개별 학습을 시켜서 트리를 생성하여, 투표 or 확률 등을 이용하여 최종목표변수를 예측한다
  • 절차: 데이터 추출 → 대표변수 샘플 도출 → Leaf Node 분류 → 최종모델 결정
    • 부트스트랩 데이터 추출: 부트스트랩 데이터 n개 추출
    • 대표변수 샘플 도출: n개의 분류기를 훈련시켜 대표변수 샘플을 도출
    • Leaf Node 분류: 대표변수 샘플들을 트리의 Leaf Node로 분류
    • 최종모델 결정: Leaf Node들을 선형결합
  • 특징
    • 변수 제거 없이 진행 → 입력변수가 많은 경우 정확도/예측력 높음
    • 이론적 설명과 결과 해석이 어려움
    • 배깅/부스팅과 비슷 or 더 좋은 예츠력
    • 배깅과의 가장 큰 차이점: 전체 변수 집합에서 부분 변수 집합을 선택한다는 점


(8) 랜덤 포레스트의 주요기법
📌 배깅을 이용한 포레스트 구성 / 임의노드 최적화 / 중요 매개변수(크기/깊이/임의성)

  • 배깅을 이용한 포레스트 구성(Bagging = Bootstrap Aggregating)
    • 부트스트랩 → 조금씩 다른 훈련 데이터 생성 → 훈련시킨 기초 분류기들을 결합시킴
  • 임의노드 최적화: 노드 분할 함수 / 훈련목적함수 / 임의성 정도
    • 훈련목적함수를 최대화시키는 노드 분할 함수의 매개변수θ 최적값을 구하는 과정
    • 노드 분할 함수
      • 각 트리노드마다 좌우 자식노드로 분할하기 위한 함수
      • h(v, θj) ∈ {0, 1}
      • 노드에 도달한 데이터는 함수결과에 따라서 자식노드로 보내짐
      • 매개변수 θ = Φ, Ψ, τ 에 따라서 분할 함수 결정됨
    • 훈련목적함수
      • τ = 노드 분할 함수의 매개변수 θ의 가능한 모든 경우를 포함하는 집합
      • τj = j번째 노드의 훈련단계에서 τ의 부분집합 τj을 만듦
      • 매개변수의 최적값 θj*는 임곗값들 τj안에서, 목적함수 = 정보 획득량을 최대로 만드는 값으로 계산됨
    • 임의성 정도
      • 비상관화 수준의 결정요소
      • 임의성 정도는 │τj│/│τ│ 로 결정됨
      • ρ = │τj│ 가 임의성 정도 결정 ρ 값은 모든 트리 노드에서 같은 값
      • ρ = │τ│ → 모든 트리 서로 동일
      • ρ = 1 → 최대 임의성 비상관화된 트리
  • 노드 분할 함수의 매개변수
    • Φ = 필터함수/ 특징 몇개만 선택 (특징 배깅)
    • Ψ = 분할함수의 기하학적 특성을 이용하여 데이터를 분리할지 나타냄
    • τ = 이진 테스트의 부등식에서 임곗값들을 가지고 있음
  • 중요 매개변수: 포레스트 크기 / 최대 허용 깊이 / 임의성 정도
포레스트 크기 T 최대 허용 깊이 D 임의성 정도
-포레스트의 트리 개수
-포레스트를 몇개의 트리로 구성할지 결정하는 매개변수
-크기가 작으면 → 시간 ↓ 일반화능력 ↓
-크기 크면 → 시간 ↑ 정확성 ↑ 일반화능력 ↑		 -한 트리의 최대 깊이
-한 트리에서 루트~종단 노드까지 최대 몇 개의 노드(테스트)를 거칠지 결정하는 매개변수
-깊이 작으면 → 과소 적합
-깊이 크면 → 과대 적합		 임의성 정도에 따라서
비상관화 수준이 결정됨

댓글남기기

참고