최대 1 분 소요



모델 서빙 패턴

밑바닥부터 모델 서빙을 구현하려면?


클라우드 네이티브 모델 서빙의 이점은 무엇일까요?

SageMaker 추론inference 포트폴리오

SageMaker 빌트인 모델 서빙 4가지 주요 패턴

빌트인 모델 서빙 동작 원리


4가지 주요 패턴 살펴보기 - 리얼타임 추론

Baseline: 단일 모델(single Model)

엔드포인트 생성 3단계

SageMaker SDK

Model

Predictor


핵심 클래스 관계


SageMaker SDK 엔드포인트 생성 과정 요약


SageMaker 빌트인 웹서버


멀티 모델 엔드포인트

멀티 컨테이너 엔드포인트


4가지 주요 패턴 살펴보기 - 배치, 비동기, 서버리스 추론

배치 변환

비동기 추론 엔드포인트

람다 서버리스 추론

SageMaker 서버리스 추론


프로덕션 적용

프로덕션 요구 사항

엔드포인트 업데이트


A/B 테스트


배포 가드레일을 이용한 무중단 배포

오토스케일링 엔드포인트


4가지 주요 패턴 요약


SageMaker Neo

SageMaker Inference Recommender

댓글남기기