[Amazon Sagemaker] Amazon SageMaker 모델 빌딩 파이프라인 소개

머신러닝과 MLOps

최신 머신 러닝의 근황

• 머신 러닝 개발은 어렵고 시간이 많이 걸립니다.

머신 러닝 솔루션 라이프 사이클

주요 AWS MLOps 원칙

계정별 ML 플랫폼

• Shared service account
• Data Management account
• Data Science account (Dev)
• Testing/UAT account
• Production account

SageMaker Pipeline Overview

Amazon SageMaker Pipelines

• 관리형 머신 러닝 CI/CD 서비스

Amazon SageMaker Pipelines - 구성 요소

• 유용성
  • CI/CD 모범 유즈 케이스를 통합하는 엔드 투 엔드 파이프라인에 Project를 사용합니다.
  • 필요에 따라 프로젝트 없이 Pipelines 또는 Model Registry 를 사용하여 유즈 케이스의 요구 사항을 충족할 수 있습니다.

• 확장성
  • 기본 제공 Built-in MLOps Project 템플릿 활용
  • 기업 또는 규제 요구 사항의 고유한 요구 사항을 충족하는 맞춤형 MLOps Project 템플릿 생성

Cross Account Deployment

SageMaker Pipelines 상세 정보

구성요소 - 파이프 라인

모델 빌딩 워크플로

지원하는 스텝들

• Processing:
  • 데이터 전처리 및 모델 평가
• Training:
  • SageMaker Training Jobs을 이용한 모델 학습
• Conditional:
  • 조건분 실행
• BatchTransform:
  • 배치 추론
• RegisterModel:
  • 모델 패키지 리소스 생성
• CreateModel:
  • 배포를 위해 모델 패키지화

Amazon SageMaker 자동화 파이프라인 만들기

• Pipe 실행 세부 내역과 실시간 지표 확인
  • 완료된 단계를 추적하고 진행중인 단계를 모니터링
  • 출력 로그를 통해 각 단계의 출력을 분석
  • 각 단게에 대한 매개변수 모니터링, 변경 및 관리
• Pipe 실행 내역 살펴보기
• Model Registry에서 모델 카탈로그 및 검색
  • 모델 레지스트리는 학습된 모델의 중앙 저장소
  • SageMaker Studio 또는 Python SDK를 통해 모델 레지스트리에 엑세스 가능
• 학습 단계의 평가 측정 항목의 확인 및 비교
• 운영 환경을 위한 모델 승인 과정

Key Message

• 머신 러닝 모델 개발 라이프 사이클 및 MLOps의 원칙
• SageMaker Pipelines의 다양한 기능 및 장점
  • Python SDK 사용
  • 모델 버져닝
  • CI/CD 지원의 MLOps
• SageMaker Pipelines 생성 및 실행 순서
  • 각 스텝 생성
  • 파이프라인 정의
  • 파이프라인 실행
• SageMaker Pipelines 실행 내역, 평가 및 승인 과정