[논문 리뷰] Trustworthy Residual Vehicle Value Prediction for Auto Finance

Trustworthy Residual Vehicle Value Prediction
for Auto Finance

Mihye Kim$^1$, Jimyung Choi$^1$, Jaehyun Kim$^1$, Wooyoung Kim$^1$,
Yeonung Baek$^1$, Gisuk Bang$^1$, Kwangwoon Son$^1$, Yeonman Ryou$^1$, Kee-Eung Kim$^2$

$^1$ Hyundai Capital Services, Korea

$^2$ Kim Jaechul Graduate School of AI, KAIST, Korea

{mihye.kim, jimyung.choi, jaehyun2.kim, wooyoung.kim}@hcs.com, keeeung.kim@kaist.edu

Copyright © 2023, Association for the Advancement of Artifcial Intelligence (www.aaai.org). All rights reserved.

Abstract

차량의 잔존가치(residual value, RV)는 미래의 어느 시점에 차량의 예상 가치를 의미합니다. 이는 모든 자동차 금융 상품의 핵심 요소로, 신용 한도와 리스 요율을 결정하는 데 사용됩니다. 따라서 과대 예측으로 인해 수익 손실이 발생하거나 과소 예측으로 인해 금융 상품이 부실해질 위험이 있기 때문에 자동차 금융 산업에서 RV의 정확한 예측은 매우 중요합니다. 대량의 중고차 판매 데이터에 대한 머신러닝 모델 학습에 대한 선행 연구가 다수 존재하지만, 규정 준수(예: 일부 특징에 대한 출력의 단조로움), 보이지 않는 입력(예: 신차 및 희귀 자동차 모델)에 대한 일반화 등 실제 운영 요구사항에 대응해야 하는 어려움이 있었습니다. 이 논문에서는 국내 최고의 자동차 금융 서비스 제공업체인 현대캐피탈서비스에서 이러한 실질적인 과제를 어떻게 해결하고 비즈니스 가치를 창출했는지 설명합니다.

Introduction

자동차 금융에서 차량은 금융 서비스가 제공되는 주요 대상 또는 목적입니다. 따라서 차량의 잔존가치(residual value, RV) 평가는 신용 한도 및 리스 금리를 결정하는 데 중요한 요소입니다.

예를 들어, 자동차 대출의 경우 담보 차량의 예상 시장 가격이 신용 한도를 결정하는 데 사용됩니다. 또 다른 예로, 자동차 리스의 경우 차량 반납 시점의 예상 미래 가치가 월 리스료를 결정하는 데 사용됩니다. 리스 차량의 RV가 반납 시점의 실제 가치보다 과대 예측되면 수익 손실의 위험이 발생하고, 과소 예측되면 리스 요율이 상승하여 경쟁사에 고객을 빼앗길 수 있습니다. 따라서 RV의 정확한 예측은 모든 자동차 금융 서비스의 가장 중요한 비즈니스 요구 사항 중 하나입니다.

정확한 RV 예측은 오토금융 사업을 넘어 중고차 시장 전체에도 매우 중요합니다. 한국을 포함한 대부분의 국가에서 중고차 시장은 판매자와 구매자 간 정보 비대칭이 존재하는 레몬마켓lemonmarket으로 인식되고 있습니다. 구매자는 차량의 적정 가격을 판단할 수 있는 충분한 정보가 부족하기 때문에 차량의 가치보다 비싼 가격을 지불할까봐 불안해합니다. 이로 인해 구매자는 더 낮은 가격을 지불하기 위해 최선을 다하고, 자동차 딜러는 가격을 맞추기 위해 품질이 떨어지는 자동차를 판매하게 됩니다. 결국 판매자와 구매자 모두 중고차 시장에 불만을 갖게 되고 시장 참여자 수가 줄어드는 결과를 초래합니다. 이러한 불행한 시장 상황은 판매자와 구매자 간의 정보 균형이 회복되지 않는 한 바로잡기 어렵습니다. 일반 소비자들이 중고차 가격을 정확하게 예측할 수 있도록 하여 악덕 딜러로부터 소비자를 보호하고, 이를 통해 중고차 시장을 더욱 건전하고 탄탄하게 만드는 데 기여하는 것이 저희의 목표 중 하나이기도 합니다. 이러한 궁극적인 목표는 1996년 소매(할부) 금융 사업을 시작한 이래 국내 최고의 자동차 금융 서비스 제공업체인 현대캐피탈서비스(Hyundai Capital Services, HCS)에게도 중요한 목표입니다.

📌 레몬 시장(The Market for ‘Lemons’: Quality Uncertainty and the Market Mechanism) 또는 개살구 시장은 경제학에서 재화나 서비스의 품질을 구매자가 알 수 없기 때문에, 불량품만이 나돌아다니게 되는 시장 상황을 말한다. 영어에서 레몬(lemon)은 속어로 ‘불쾌한 것’, ‘불량품’이라는 의미가 있다. 이는 폴크스바겐(Volkswagen)의 비틀(Beetle) 차량 가운데 유독 1965년에 생산된 레몬 색깔 차량에서 잦은 고장이 발생해 중고차시장으로 많이 유입되었는데, 이때부터 미국인들에게 레몬은 결함 있는 중고차를 지칭하는 은어로 사용되기 시작하였다. 중고차의 경우처럼 실제로 구입해 보지 않으면, 진짜 품질을 알 수 없는 재화가 거래되고 있는 시장을 레몬 시장이라고 한다.

그 노력의 일환으로 2018년부터 모바일 채널을 통한 개인 맞춤형 중고차 가격 견적 서비스를 제공하고 있습니다(그림 1 참조). 이 서비스는 자체 중고차 판매 데이터로 학습된 딥 뉴럴 네트워크(deep neural network, DNN) 모델을 활용합니다. 서비스 출시 당시에는 딥러닝을 최초로 도입한 사례로 많은 주목을 받았습니다. 그러나 이 모델은 여러 운영 요건에서 부족한 점이 많아 핵심 비즈니스에 적합하지 않았습니다. 그림 7의 왼쪽 창에서 볼 수 있듯이 특정 자동차 모델의 주행거리와 연식에 따른 가치 하락의 일반적인 추세를 잘 포착하고 있지만, 많은 지역에서는 스파이크와 밸리에서 볼 수 있듯이 단조로움이 뚜렷하게 드러났습니다. 또한 이 모델은 신기하거나 희귀한 자동차 모델을 처리할 수 없었습니다. 이 논문에서는 기본 모델의 이러한 실질적인 한계를 해결하고 개선된 모델을 자동차 금융 서비스의 핵심 구성 요소에 통합하여 월 수만 건의 사례를 처리하고 2022년 3분기 이후 분기별 수익을 수백만 달러 증가시킴으로써 비즈니스 가치를 창출한 방법에 대해 설명합니다.

그림 1: 잠재적 구매자(왼쪽)와 잠재적 판매자(오른쪽)를 위한 HCS 모바일 앱의 중고차 가격 견적 서비스 메뉴 스크린샷.
차량 번호만 입력하면 개별 차량 단위로 가격을 추정할 수 있습니다.

Related Work

차량 RV 예측은 쉽게 구할 수 있는 많은 중고차 판매 거래 데이터를 사용하여 지도 학습의 회귀 작업으로 자연스럽게 공식화할 수 있습니다. 따라서 고전적인 선형 회귀 모델부터 심층 신경망에 이르기까지 이 주제에 대한 방대한 양의 문헌이 존재하며, 여기서는 우리의 접근 방식과 가장 관련성이 높은 일부 연구만 소개합니다.

가장 주목할 만한 연구로는 Lessmann과 Voß(2017)가 동일한 제조업체의 6개 자동차 모델을 포함하는 450만 개의 인스턴스로 구성된 독점 데이터 세트에서 19개 회귀 모델의 경험적 성능에 대한 체계적인 연구를 보고한 것이 있습니다. 실험에 사용된 회귀 모델은 고전적인 선형 회귀 모델, 비선형 모델, 앙상블 모델 등 다양합니다. 연구 결과, 비선형 모델과 앙상블 모델이 선형 모델보다 훨씬 우수한 성능을 보였으며, 이는 가치 감가상각이 본질적으로 비선형적이라는 점을 고려할 때 당연한 결과입니다. 이러한 결과는 서포트 벡터 머신 회귀(Lessmann, Listiani, Voß 2010) 및 뉴로퍼지 시스템(Lian, Zhao, Cheng 2003; Wu, Hsu, Chen 2009) 등 RV 예측에 관한 다른 연구 결과와도 일치합니다. 보다 최근의 연구에서는 RV 예측 정확도를 개선하기 위해 입력의 좋은 표현을 학습하기 위한 고급 훈련 패러다임을 채택하고 있습니다(Rashed 외. 2019).

그러나 비선형 모델은 종종 설명 가능성에서 어려움을 겪습니다. 금융과 같이 규제가 심한 분야에서는 모델을 배포하기 전에 충분한 감사를 거쳐야 합니다. 이러한 운영 요구 사항으로 인해 선형 회귀 모델은 여전히 실무에서 널리 사용되고 있습니다. 무디스 애널리틱스의 AutoCycle™은 로지스틱 회귀 및 분위 회귀 모델을 사용하여 차량 가치 예측을 위한 상용 서비스를 제공합니다(Hughes et al. 2016). 이를 통해 실업률 및 유가 변동 등 다양한 거시경제 시나리오 하에서 자동차 가격을 예측할 수 있습니다. 이 모델은 640만 개의 테스트 인스턴스에서 0.89의 R-Squared을 달성한 것으로 보고되었습니다. 하지만 선형 예측 모델 특성상 훈련과 검증을 위해 방대한 양의 데이터(전미 자동차 딜러 협회의 약 3,100만 건)를 사용할 수 있음에도 불구하고 상당한 전문 지식이 필요한 고도로 엔지니어링된 기능에 의존해야 했습니다.

저희의 작업은 다음과 같은 전제 조건이 있는 대량의 데이터로부터 RV 예측을 위한 표현형 비선형 모델을 훈련하는 데 중점을 두고 있습니다:

• (1) 공정성과 투명성을 위해 단조성 제약 조건(예: RV 예측은 주행거리와 연식에 따라 단조롭게 감소해야 함)을 도입하여 모델의 작동 요건을 강화하고
• (2) 유통되지 않는 데이터(예: 제조업체에서 시장에 출시한 신차 모델)에 대해서도 모델이 잘 일반화되도록 하는 것.
• (3) 그리고 이 모델에 대한 검증을 위해 전문 지식이 있어야 합니다.

우리가 아는 한, 이 두 가지 요건을 동시에 충족하는 상용급 머신 러닝 모델은 아직 없지만, 적어도 자동차 금융 분야에서 차량의 RV 예측 작업의 경우 이 두 가지 요건을 동시에 충족하는 모델은 아직 없습니다.

Task Description

우리의 목표는 다음과 같은 운영 요구 사항을 해결하면서 차량의 현재 및 미래 시장 가격을 정확하게 추정하는 표현형(즉, 비선형) 머신러닝 모델을 개발하는 것이었습니다:

1. 동일한 자동차 모델의 경우, 주행거리(총 주행 거리)가 길고 연식이 오래될수록 RV 비율(즉, 가격 대비 MSRP 비율)이 낮아져야 합니다. 또한 최근에 출시된 모델과 하위 트림일수록 RV 비율이 높아야 합니다. 금융당국은 금융소비자의 부당한 피해를 방지하기 위해 금융회사의 대출 한도나 가격 책정 기준이 적절하고 설명이 잘 되어 있는지 규제하고 있습니다. 차량 가격 예측 모델은 자동차 할부금융 업계에서 할부금융 상품의 신용 한도 및 가격 책정 기준을 설정하기 때문에 사용되는 모델은 정확도가 높아야 할 뿐만 아니라 그 논리에 대한 명확한 근거를 가지고 있어야 합니다.

2. 중고차 거래 이력이 없는 신차를 포함한 모든 차종의 중고차 가치를 추정할 수 있는 모델이어야 합니다. 실제 중고차 판매 데이터가 모델 학습을 위한 주요 정보 소스이지만, 신차는 분기별 또는 반기별로 지속적으로 출시되고 있으며, 이러한 최신 모델은 신뢰할 수 있는 학습을 위한 충분한 판매 데이터가 부족할 수밖에 없습니다. 그럼에도 불구하고 금융회사는 리스 상품의 경우 월 페이먼트를 결정하기 위해 리스 종료 시점의 예상 차량 가격이 필요하기 때문에 학습 세트에 추가할 데이터가 확보되기 전에도 신모델의 시장 가격을 추정해야 하는 어려움에 직면해 있습니다.

3. 모델을 지속적이고 정기적으로 업데이트해야 합니다. 경제 상황은 항상 변화하기 때문에 최근 중고차 판매 데이터는 오래된 중고차에 비해 현재 차량의 가치를 더 정확하게 반영합니다. 정기적으로 최신 데이터를 확보하고 모델을 업데이트하여 예측 정확도를 유지하는 것이 중요합니다.

모델은 RV 비율, 즉 신차 가격 대비 중고차 가격의 비율을 예측하도록 학습됩니다. 학습 데이터셋은 지난 12년간 국내에서 실제 거래된 600개 차종, 약 180만 건의 중고차 매매 거래 기록을 확보했습니다. 각 거래 기록에는 차량 제원(제조사, 브랜드, 모델, 신차 가격 등), 차량 사용 정보(주행거리, 연식, 렌트 여부 등), 시장 수급(시장에 매물로 나온 중고차 대수, 신차 판매량, 플랫폼 내 중고차 검색, 판매에 걸린 시간 등) 등 다양한 속성이 포함돼 있었습니다. 후보 기능은 총 71개로, 차량 제원 40개, 차량 사용 정보 26개, 시장 상황 정보 5개로 구성되었습니다. 학습 데이터의 요약 통계에 대한 추가 정보는 그림 2에서 확인할 수 있습니다.

그림 2: 학습 데이터 세트의 통계 차트

Methodology

Dataset

국내 딜러 협회에서 매월 발표하는 중고차 매매 거래 데이터셋을 사용했습니다. 실제 판매 가격을 모델의 학습 대상으로 사용했습니다. 명백히 부정확하거나 관심 범위를 벗어난 사례는 제외했습니다. 예를 들어 택시, 트럭과 같은 상용차 거래, RV 비율 1.0 이상, 연간 주행거리 20만km(12만 4천 마일) 이상은 원본 데이터의 6%를 차지해 제거했습니다.

Anomaly Detection

이상 징후를 제거하는 것은 모델의 예측 정확도를 개선하기 위한 탐색적 데이터 분석(exploratory data analysis, EDA)에서 매우 중요한 프로세스입니다. 우리의 경우 대부분의 차량 판매 가격 데이터가 딜러가 수작업으로 입력했기 때문에 더욱 중요했습니다. 이로 인해 인적 오류가 발생할 수 있고 심지어 세금을 피하기 위해 판매 가격을 위조하는 등의 사기 사건도 발생할 수 있습니다. 따라서 RV 예측 모델을 학습시키기 전에 데이터 세트에서 비정상적인 사례를 걸러내는 것이 필수적이었습니다. 많은 유망한 이상 징후 탐지 방법이 있지만, 저희는 분포 가정에 의존하지 않는 확장 격리 포레스트(Extended Isolation Forest, EIF)와 국소 이상치 요인(Local Outlier Factor, LOF)을 비교하는 것으로 제한했습니다.

EIF 방법은 트리 기반 알고리즘으로 대용량의 다차원 데이터에 효과적입니다. 점수를 도출하기 위해 각 인스턴스가 격리될 리프 노드(터미널 노드)의 거리를 계산합니다. 거리(깊이)가 짧을수록 점수가 높으며, 점수값에 따라 이상값을 정의합니다(Hariri, Kind, Brunner 2019). LOF 방법은 클러스터 간의 상대적 밀도를 고려하여 이상 지점을 정의합니다. K-Nearest Neighbors(KNN)을 기반으로 국소 밀도를 계산하고, 한 개체의 국소 밀도를 이웃의 국소 밀도 값과 비교하여 격차가 큰 개체를 이상치로 분류합니다(Breunig et al. 2000).

우리는 신차 및 중고차 시장에서 판매량이 가장 많은 특정 차량 모델로 한정된 데이터의 하위 집합에 대해 정밀도와 회수율을 측정했습니다. 이 데이터의 하위 집합에 대해서는 도메인 전문가를 모집하여 성능 지표를 계산하기 위해 인스턴스를 정상과 비정상으로 라벨링했습니다. 이렇게 라벨링된 데이터 세트에는 약 6만 개의 인스턴스가 포함되어 있었습니다. 동일한 임계값(0.3%)에서 두 방법의 성능을 비교한 결과, EIF가 LOF보다 더 나은 성능을 보였습니다(그림 3).

또한, 사분위수 범위를 사용하여 주요 특징(연식, 주행 거리) 별로 범위를 설정한 다음 범위를 벗어난 개체를 이상값으로 정의하는 전통적인 방법인 IQR과 두 알고리즘의 이상값 탐지 성능을 비교했습니다(Vinutha, Poornima, Sagar 2018). 개별 차량 모델에서 이상 징후를 탐지하는 데 있어 EIF가 IQR보다 뛰어난 성능을 보인 반면, LOF는 일부 정상 데이터를 이상값으로 분류하는 경향을 보였습니다(그림 4). 따라서 다차원 이상 징후 탐지를 수행하기 위해 EIF를 채택했습니다.

그림 3: 이상 징후 탐지 알고리즘의 성능 비교.

그림 4: 이상 탐지 알고리즘 비교. (검은색 점: 각 방법별로 분류된 이상치)

Vehicle Model Code Vectorization leveraging DNN

RV 예측 모델에서 다루어야 하는 차량 모델은 약 500개이며, 그중에는 충분한 데이터가 있는 모델도 있지만 그렇지 않은 모델도 있습니다. 충분한 양의 학습 데이터가 부족한 차종을 포함해 모든 차종에 대해 최대한 정확하게 RV를 예측하는 것이 중요한 요구 사항 중 하나였습니다. 이를 위해 개별 차량 모델을 구분하는 범주형 변수인 ‘차량 모델 코드’를 벡터화하여 예측 모델에 사용해야 했습니다. 일반적으로 사용되는 원핫 인코딩은 범주형 값을 수치로 변환하는 방식이지만, 각 차량 모델 고유의 특성을 반영하는 데 한계가 있었습니다.

그래서 임베딩 방식을 사용했습니다. 임베딩은 원핫 인코딩에 비해 밀도 높은 표현을 생성하고, 각 차량 모델의 특성뿐만 아니라 차량 모델 간의 유사성까지 유한 차원 벡터(finite-dimensional vectors)로 표현할 수 있다는 장점이 있습니다.

임베딩은 RV 비율을 예측하도록 학습된 신경망에 임베딩 레이어를 연결하여 얻었습니다(그림 5). 임베딩 차원은 도메인 전문가를 위한 해석 가능성과 시각화를 위해 2로 설정했습니다. 신경망의 다양한 아키텍처(예: 레이어 수 및 숨겨진 단위)를 고려했으며, 신경망의 RV 비율 예측 정확도만을 기준으로 첫 번째 후보군을 선정했습니다. 그런 다음 도메인 전문가의 검토를 거쳐 임베딩의 전체 패턴이 자신의 지식과 일치하는지 여부를 시각적으로 검사하여 후보군을 더욱 좁혔습니다. 최종 임베딩은 CatBoost 모델의 RV 비율 예측 정확도에 따라 선택되었습니다.

임베딩에 2차원만 사용했을 때 RV 예측 모델의 성능이 크게 향상되었습니다. 차량의 임베딩 벡터를 시각화했을 때, 의미 있는 방식으로 클러스터링할 수 있었습니다(그림 6). 이 클러스터링 결과를 사용하여 데이터 부족으로 인해 임베딩 벡터 공간에 투영할 수 없는 차량에 임베딩 벡터를 할당했습니다. 예를 들어 새로 출시된 차량의 제원 정보가 특정 클러스터에 속한 차량과 유사한 경우 해당 클러스터의 중심값을 신규 차량의 임베딩 벡터 값으로 할당합니다. 단일 클러스터로 결정할 수 없는 복잡한 특성을 가진 자동차 모델의 경우, 두 개 이상의 클러스터를 선택해 사용했습니다. 각 클러스터의 중심점을 이용해 클러스터 정보를 반영하는 새로운 점을 찾아 임베딩 벡터로 사용했습니다. 이를 통해 새로 출시되고 거래가 드문 자동차 모델에 대한 데이터 부족으로 인한 콜드 스타트 문제를 해결할 수 있었습니다.

그림 5: 차량 모델 임베딩을 얻기 위한 신경망 아키텍처.

그림 6: 차량 임베딩 벡터의 시각화. 차량 모델은 익명화되어 있습니다.

Training Bossted Tree Models

다음과 같은 이유로 트리 기반 모델을 선택했습니다: 첫째, 변수 간의 복잡한 비선형 관계를 포착하여 차량 데이터의 예측 정확도를 향상시키고자 했습니다. 또한 이 모델은 특징의 하위 집합에 대한 대상 변수의 단조로움을 편리하게 반영할 수 있어야 했습니다. 우리는 가장 강력하고 널리 사용되는 트리 기반 머신러닝 방법 중 하나인 XGBoost와 범주형 변수 학습에 특화된 CatBoost를 사용하여 모델을 학습시켰습니다. 특히 캣부스트는 평균 목표 인코딩 방식(Dorogush, Ershov, Gulin 2017)으로 범주형 특징을 처리하기 때문에 데이터 유출을 완화하고 비슷한 특성을 가진 범주를 그룹으로 인식할 수 있다는 장점이 있습니다. 특히 차량 데이터에는 차량 모델 코드, 색상, 제조사 등 다양한 범주형 특징이 포함되어 있기 때문에 차량 데이터에 특히 유용합니다. 이 섹션에서는 XGBoost와 CatBoost의 성능을 비교합니다.

RV 비율을 목표 변수로 설정하여 모델을 학습시켰습니다. 총 71개의 특징 중 38개는 관련성이 낮거나 다른 파생 특징들로 대체할 수 있다고 판단했습니다. 그 중 20개는 결측값이 너무 많았습니다. 따라서 데이터 세트에서 13개의 특징을 선택하고, 여기에 부가 정보(예: 자동차 모델 세대가 시장에 처음 출시된 지 얼마나 되었는지)로부터 8개의 특징을 추가로 보강하여 총 21개의 특징을 만들었습니다. 선정된 기능은 차량 사양 5가지, 차량 사용 정보 11가지, 시장 수요/공급 정보 5가지였습니다.

작업 설명 섹션에서 언급했듯이, 트리를 생성할 때 특징의 하위 집합과 RV 비율 간의 단조로운 관계를 만족시키기 위해 단조로움을 확인하는 제약 조건을 설정했습니다. 단조로운 제약 조건은 연식(월), 주행 거리, 신차 가격, 모델 연도의 4가지 특징에 주어졌습니다. 단조로움을 고려하지 않은 모델에서는 그림 7의 왼쪽 그래프에서 볼 수 있듯이 연식과 주행거리에 따라 가격 예측이 유의미한 변동을 보였습니다. 반면 단조로움을 제약하여 개발한 모델에서는 오른쪽 그래프와 같이 특정 변수에 대한 가격 예측이 단조로움을 보여줍니다. 단조로움은 차량에 고급 옵션이 많을수록, 차량의 연식이 오래될수록 감가상각이 빨라지는 상식에 부합하도록 모델을 강제합니다. 또한 DNN 모델을 활용하여 도출된 차량 모델 코드의 인코딩된 벡터를 부스트 트리 모델 학습을 위한 입력 피처로 사용했습니다. 최종 모델은 약 4500개의 트리로 구성되며, 최대 깊이는 9입니다.

그림 7: 연식과 연간 주행 거리에 따라 예측된 RV 비율 비교.

Results and Discussion

시간 외(out-of-time, OOT) 데이터 세트에 대한 차량 가격 모델의 성능 평가를 수행했으며, 실제 RV 비율과 모델 예측 RV 비율의 평균 절대 오차(MAE)를 평가 지표로 사용했습니다. 잘 알려진 바와 같이 MAE는 $\sum^n_{i=1}{|y_i - x_i| / n}$으로 정의되며, 여기서 $y_i$는 예측값, $x_i$는 관측값, $n$은 총 데이터 포인트 수입니다. 또한, MAE$_{car-seg}$를 다음과 같이 정의하여 각 자동차 모델에 대한 오프셋 효과를 집계하여 다음과 같이 계산했습니다.

MAE:

$MAE_{car-seg} = \cfrac{\sum_i |\overline{y_{car_i}} - \overline{x_{car_i}}|}{n_{car}}$ … (1)

여기서 $y_{car_i}$는 자동차 모델 $i$의 평균 예측값, $x_{car_i}$는 자동차 모델 $i$의 평균 관측값, $n{car}$는 데이터 세트에 포함된 자동차 모델의 총 개수입니다. 각 알고리즘을 사용하여 개발된 모델의 성능은 표 1에 나와 있습니다.

표 1에서 현재 중고차 견적 서비스에 적용 중인 베이스라인 모델(DNN만 적용)과 비교했을 때, 새로운 모델들은 규정을 준수하는 주요 변수에 대한 단조로움을 만족하면서도 오차율이 크게 개선된 것으로 나타났는데, XGBoost의 경우 베이스라인 모델 대비 44%, CatBoost는 47%의 오차 감소를 보였습니다. 개별 차량의 총 오류율보다 차종별 오류율이 훨씬 더 개선되었습니다(XGBoost 76% 오류 감소, CatBoost 80% 오류 감소). 이는 임베딩 벡터를 통해 차량 모델의 특성을 모델에 반영했기 때문입니다. 또한, 캣부스트가 XGBoost보다 성능이 우수하다는 것도 확인되었습니다(표 2). 이는 CatBoost가 XGBoost보다 범주형 특징을 더 잘 처리하고 학습 데이터에 범주형 특징이 많이 포함되어 있다는 점을 고려할 때 당연한 결과입니다. 따라서 DNN+CatBoost를 최종 모델로 선택했습니다. 최종 모델에서는 주요 특징의 단조로움을 만족시키면서 기준 모델(DNN만)에 비해 전체 오류는 47%, 차량 모델별 오류는 80% 감소했습니다(그림 7).

마지막으로 이상 징후 제거의 효과를 검증하기 위해 로데이터를 활용해 DNN+CatBoost 모델을 활용한 예측 모델을 학습시켰습니다. 로데이터로 학습한 모델과 비교했을 때, 이상 징후 탐지를 통해 전처리된 클렌징 데이터로 학습한 모델은 로데이터를 사용한 4.51%에서 클렌징 데이터를 사용한 3.64%로 MAE가 0.87% 감소했습니다.

요약하자면, 정확도가 크게 향상된 새로운 모델을 개발할 수 있었습니다. 기존 모델은 예측 정확도 문제, 신차 모델의 콜드 스타트 문제, 주요 기능의 단조로움 보장 부족 등으로 인해 회사의 핵심 비즈니스 프로세스(중고차 대출의 담보 가치 산정, 월 리스료 설정을 위한 차량 반납 가격 예측, 준비금 활용)에는 적용할 수 없었습니다. 따라서 당사 모바일 채널을 통해 제공되는 캐주얼 중고차 가격 견적 서비스에만 사용되었습니다. 새로운 모델은 위의 세 가지 문제를 모두 해결하여 모든 차종에 대해 예측 정확도를 15% 이상 향상시켰습니다. 이에 따라 사업부는 2022년 초에 이 모델을 배포하도록 승인했습니다.

표 1: 기본 DNN 모델과 부스트 트리 모델(XGBoost 및 CatBoost)의 차량 가격 예측 정확도 비교.

표 2: XGBoost(XGB)와 CatBoost(CAT)를 활용한 예측 모델의 차량 모델별 성능.

Application Use and Payoff

먼저 이 모델을 사용하여 리스 차량의 잔존 가치를 결정했습니다. 이 논문의 서두에서 언급했듯이, 잔존 가치를 잘못 추정하면 손익에 직접적인 영향을 미칠 수 있습니다. 리스 계약이 종료되면 고객은 차량을 반납하거나 매입할 수 있습니다. 당사가 예상한 잔존 가치가 시장 가치보다 높으면 고객이 차량을 반납할 가능성이 높습니다. 결국 반품된 차량을 판매하게 되면 예상 가치와 실제 시장 가치의 차액이 손실에 추가됩니다. 이 손실을 줄이기 위해 리스 종료 시점의 잔존 가치를 최대한 낮게 설정할 수도 있지만, 그렇게 하면 월 리스료가 비싸져 우리 회사에서 자동차를 리스하기로 결정하는 소비자가 줄어들게 됩니다. 반납 차량의 잔존 가치를 더 정확하게 예측할 수 있을수록 예측 오류로 인한 손실이 줄어듭니다. 기준 모델을 우리가 개발한 모델로 교체함으로써, 우리는 예측된 RV의 오류로 인한 손실을 약 21% 상쇄할 수 있었습니다. 예측값과 실제 판매 가격 간의 격차는 원래의 절반 수준으로 줄어들었습니다. 이를 통해 준비금을 상당한 금액(2022년 3분기에만 수백만 달러)으로 줄일 수 있었습니다.

둘째, 중고차 구매를 위한 대출 또는 중고차 담보 대출의 신용 한도를 결정할 때 저희 모델을 기준으로 삼았습니다. 차량 가치에 근접한 신용 한도를 제공함으로써 계정의 채무 불이행 가능성을 낮추고, 차량의 실제 가치보다 높은 금액으로 대출을 받아 의도적으로 대출을 불이행하는 사기 사례를 방지할 수 있습니다. 또 다른 장점은 고객이 상환 능력 범위 내에서 합리적으로 소비하도록 장려할 수 있다는 점입니다.

셋째, 이 모델을 활용해 기존 모바일 애플리케이션인 ‘현대캐피탈’에서 고객이 자신의 차량 가치를 알아볼 수 있는 서비스를 제공했습니다. 기존 DNN 기반 모델에서 추정된 차량 가격을 새로 개발한 모델의 차량 가격으로 대체했습니다. 이를 통해 모바일 애플리케이션 사용자에게 보다 정확한 예측 값을 제공할 수 있게 되었습니다. 고객은 자동차를 판매할 계획이 있을 때 이 서비스를 이용하면 사기 딜러에게 피해를 입지 않고 스스로를 보호할 수 있습니다. 또한 이 서비스는 고객이 리스 기간이 끝났을 때 차량 반납을 결정할 때도 도움이 됩니다. 향상된 서비스를 통해 더 많은 고객이 저희 앱으로 유입되고 고객 신뢰가 더욱 강화될 것으로 기대합니다.

마지막으로, 중고차 예측 모델에서 생성된 차량 가격 데이터베이스를 제휴를 통해 중고차 온라인 마켓 업체에 판매하고 있습니다. 광고비를 10~20% 낮추는 대신 우리 모델이 예측한 가격을 제휴사에 제공하는 계약을 체결했습니다. 이러한 파트너사를 꾸준히 확대하며 가격 예측 시장의 선두주자로서의 입지를 더욱 공고히 하고 있습니다.

사업 영역 외에도 중고차 시장의 소비자 보호와 투명성 제고를 위해서도 이 모델을 활용하고 있습니다. 서론에서 언급했듯이 중고차 시장의 정보 비대칭성 문제로 인해 중고차 구매자는 불공정 거래에 취약한 경우가 많았습니다. 이를 방지하기 위해 한국 정부는 중고차 업체를 위한 표준 플랫폼 웹사이트(www.car365.go.kr)를 구축했습니다. 당사에서 산정하는 중고차 가격은 정부 웹사이트에서 공유하는 표준 가격 중 하나입니다. 정부 기관을 통한 가격 공유 외에도 소비자를 돕기 위한 자체적인 노력도 계속하고 있습니다. 인증 중고차 사이트에서 제공하는 ‘중고차 구매 전 확인해야 할 사항’이라는 서비스가 대표적인 예입니다. 이름에서 알 수 있듯이 이 서비스는 소비자가 구매 전에 관심 있는 차량이 실제로 존재하는지, 가격표의 가치가 있는 차량인지 여부를 확인할 수 있도록 도와줍니다. 이번 모델 개선을 통해 자동차 가격 예측의 신뢰도를 높여 소비자 권리 보호 강화에 기여하고 있습니다.

또한, 한국 정부는 건전한 중고차 시장을 유지하기 위해 금융회사가 중고차 대출을 실행할 때 중고차 시세 예측을 의무화하고 있습니다. 저희 모델이 예측한 차량 가격은 이와 관련하여 기준을 설정하는 데 필요한 자료를 제공했습니다. 이번에 새롭게 출시된 RV 모델은 정확도가 높아져 중고차 시장 전반의 여신 관련 리스크 관리에 도움이 될 것으로 기대됩니다.

Deployment and Maintenance

2022년 1분기에 모델 개발을 완료했습니다. 2분기에 현대캐피탈 내부 시스템에 배포하고 RV 예측이 필요한 업무 영역을 검토한 후 3분기에 핵심 업무 프로세스에 최종 적용했습니다. 현재 이 모델을 통해 매월 수만 명의 고객이 리스 및 중고차 대출 상품을 이용하고 있습니다. 비슷한 수의 고객이 현대캐피탈 모바일 채널의 ‘내 차의 가치 확인하기’ 서비스도 이용하고 있습니다.

RV 예측 모델의 성능을 최신 상태로 유지하기 위해 매월 최신 거래 데이터를 추가하여 재학습하는 워크플로우를 설계했습니다. 내부 빅데이터 플랫폼에 차량 데이터 마트를 구축하고 자동화된 프로세스 모듈을 개발하여 모델의 운영 아키텍처를 구축했습니다(그림 8). 차량 데이터 마트는 주로 중고차 시장의 거래 데이터와 리스 계약이 만료된 차량의 판매 데이터로 구성됩니다. 여기에 유가 및 차량 출고량과 같은 시장 정보도 추가됩니다. 이러한 정보는 모델 재학습에 사용됩니다. 위에서 설명한 모델 개발 프로세스도 모듈화하여 모델링 서버에서 자동으로 모델이 재학습되도록 했습니다. 이 모델은 중고차의 현재 가격 추정치와 미래 잔존 가치 예측이라는 두 가지 출력을 생성합니다. 현재 시세 데이터는 중계 서버를 통해 현대캐피탈 시세 조회 서비스 플랫폼에서 매월 업데이트됩니다. 미래 가격 데이터는 내부 전략관리 시스템을 통해 로드되어 고객에게 자동차 리스 상품을 제안하는 데 활용됩니다.

RV 예측 모델이 재학습을 마치면 산출된 RV 비율을 자동으로 모니터링해 적정성 여부를 검토한 후 관련 시스템에 전달하는 안전장치를 거칩니다. 적정성 확인 프로세스는 다음과 같습니다. 모델 성능 검증과 운영 안정성 점검(헬스 체크)의 두 가지 점검 항목이 있습니다. 모델 성능 검증은 모델 성능과 전월 대비 변동 수준을 점검하기 위해 MAE를 평가 지표로 사용합니다. 또한 동일 차종 내 잔존가격의 단조로움을 충족하기 위해 필수적인 항목(연식, 주행거리, 트림)을 기준으로 단조로움을 점검합니다. 안정성 점검은 전월 대비 차종별 RV 비율의 변화 수준과 차량 감가상각의 적정성을 확인합니다. 시세 산정이 가능한 차량 대수의 변화도 시장에서 거래되는 전체 차종 수와 비교하여 확인합니다.

Conclusion

차량 감가상각 예측은 자동차 금융 비즈니스에서 매우 중요한 요소이기 때문에 예측 모델의 정확도를 높이는 데 많은 노력을 기울였습니다. 연구의 가장 중요한 목표는 모델의 예측 성능을 향상시키는 것이었지만, 더 다양한 비즈니스 영역에 적용하기 위해 주요 기능의 단조로움을 해소하고 일부 모델의 데이터 부족 문제(‘콜드 스타트 문제’)를 극복하는 것도 목표로 삼았습니다. 이러한 과제를 해결하기 위해 모델 개발의 전 단계를 업그레이드하고 새로운 기법을 적용하여 모델을 개선하고자 했습니다. 이상 탐지 기능을 활용하여 레이블을 분류하고, 차량 모델의 임베딩을 보장하기 위해 신경망을 적용했습니다. 또한 트리 기반 머신러닝 방법을 학습시켜 모델의 예측 정확도를 크게 향상시켰으며(전체 오류 47% 감소, 차량 모델별 오류 80% 감소), 단조로움과 콜드 스타트 문제를 해결하는 동시에 예측 정확도를 획기적으로 향상시켰습니다.

이번 연구를 통해 신규 모델의 신뢰도를 높이고 이를 회사의 핵심 사업에 적용하여 의미 있는 비즈니스 성과를 달성할 수 있었습니다. 국내 최고의 오토 금융 서비스 기업으로서 신뢰할 수 있는 중고차 시세가 시장에 널리 유통되어 고객의 권리를 보호하는 데 기여하고자 노력하고 있으며, 이번 연구를 통해 이러한 측면에서 더욱 기여할 수 있었습니다. 앞으로도 현대캐피탈 서비스 팀은 잔존가치 예측의 신뢰성을 유지하고 향상시키기 위해 최신 AI 기법을 지속적으로 연구하고 활용할 것입니다.

그림 8: 차량 가격 예측 모델의 자동화된 운영을 보여주는 워크플로우 다이어그램.

References

• Breunig, M. M.; Kriegel, H.-P.; Ng, R. T.; and Sander, J. 2000. LOF: identifying density-based local outliers. In Proceedings of the 2000 ACM SIGMOD international conference on Management of data, 93–104.
• Dorogush, A. V.; Ershov, V.; and Gulin, A. 2017. CatBoost: gradient boosting with categorical features support. In Workshop on ML Systems at NIPS.
• Hariri, S.; Kind, M. C.; and Brunner, R. J. 2019. Extended isolation forest. IEEE Transactions on Knowledge and Data Engineering, 33(4): 1479–1489.
• Hughes, T.; Malone, S. W.; Brisson, M.; and Vogan, M. 2016. Introducing AutoCycleTM: Residual Risk Management and Lease Pricing at the VIN Level. Technical report, Moody’s Analytics.
• Lessmann, S.; Listiani, M.; and Voß, S. 2010. Decision support in car leasing: a forecasting model for residual value estimation. In International Conference on Information Systems.
• Lessmann, S.; and Voß, S. 2017. Car resale price forecasting: The impact of regression method, private information, and heterogeneity on forecast accuracy. International Journal of Forecasting, 33(4): 864–877.
• Lian, C.; Zhao, D.; and Cheng, J. 2003. A fuzzy logic based evolutionary neural network for automotive residual value forecast. In International Conference on Information Technology: Research and Education, 2003. Proceedings. ITRE2003., 545–548. IEEE.
• Rashed, A.; Jawed, S.; Rehberg, J.; Grabocka, J.; SchmidtThieme, L.; and Hintsches, A. 2019. A Deep Multi-task Approach for Residual Value Forecasting. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases, 467–482. Springer.
• Vinutha, H.; Poornima, B.; and Sagar, B. 2018. Detection of outliers using interquartile range technique from intrusion dataset. In Information and decision sciences, 511–518. Springer.
• Wu, J.-D.; Hsu, C.-C.; and Chen, H.-C. 2009. An expert system of price forecasting for used cars using adaptive neurofuzzy inference. Expert Systems with Applications, 36(4): 7809–7817.