[BI] Power BI

1. 개요

비즈니스 인텔리전스(BI)는 기술을 사용하여 데이터를 분석하고 실행 가능한 인사이트로 변환하는 것을 말합니다. 조직의 데이터는 다양한 내부 및 외부 소스에서 제공되며, 여기에는 자체 소스뿐만 아니라 타사 소스도 포함됩니다. 차트, 히트 맵, 추세선, 상태 보고서와 같이 데이터를 보다 이해하기 쉬운 형식으로 표시합니다. 이러한 데이터 시각화는 실시간으로 비효율적인 부분과 기회를 강조합니다.

비즈니스 인텔리전스의 전 과정은 크게 5단계로 나눌 수 있습니다.

1. 데이터 수집(Data gathering) 에는 외부(예: 시장 데이터 공급자, 산업 분석 등) 또는 내부(Google Analytics, CRM, ERP 등)와 같은 다양한 소스에서 정보를 수집하는 것이 포함됩니다.
2. 데이터 클리닝/표준화(Data cleaning/standardization) 란 수집된 데이터를 데이터 품질 검증, 일관성 확보 등을 통해 분석할 수 있도록 준비하는 것을 의미합니다.
3. 데이터 저장(Data storage) 은 데이터 웨어하우스(data warehouse)에 데이터를 적재하고 추후 사용을 위해 저장하는 것을 말합니다.
4. 데이터 분석(Data analysis) 은 실제로 다양한 정량적 및 정성적 분석 기법을 적용하여 원시 데이터를 가치 있고 실행 가능한 정보로 바꾸는 자동화된 프로세스입니다.
5. 보고(Reporting) 에는 대시보드, 그래픽 이미지 또는 사용자가 상호 작용하거나 실행 가능한 통찰력을 추출할 수 있는 분석 결과의 가독성 있는 시각적 표현을 생성하는 것이 포함됩니다.

2. 비즈니스 인텔리전스 아키텍처

2.1. ETL

ETL(Extract, Transform, Load) 또는 데이터 통합 툴은 초기 소스의 원시 데이터를 전처리하여 3단계에 걸쳐 연속적으로 웨어하우스로 전송합니다.

1. 데이터 추출: ETL 툴은 ERP, CRM, 스프레드시트 등의 데이터 소스에서 데이터를 검색합니다.
2. 데이터 변환: 추출이 완료되면 ETL 툴이 데이터 처리를 시작합니다. 추출된 모든 데이터를 분석하고 중복을 제거합니다. 나머지 데이터는 표준화, 정렬, 필터링, 검증 과정을 거칩니다.
3. 데이터 로딩: 이 단계에서는 변환된 데이터가 웨어하우스에 업로드됩니다.

일반적으로 ETL 툴은 BI 툴과 함께 기본으로 제공됨

2.2. 데이터 웨어하우스

선택한 소스에서 데이터 전송을 구성한 후에는 데이터 웨어하우스를 설정해야 합니다. 비즈니스 인텔리전스에서 데이터 웨어하우스는 일반적으로 기록 정보를 표 형식으로 저장하는 특정 유형의 데이터베이스를 말합니다. 웨어하우스는 한쪽에서는 데이터 소스 및 ETL 시스템과 연결되고, 다른 쪽에서는 보고 도구 또는 대시보드 인터페이스와 연결됩니다. 이를 통해 다양한 시스템과의 데이터를 단일 인터페이스를 통해 표시할 수 있습니다.

그러나 웨어하우스에는 일반적으로 100GB 이상의 정보가 포함되어 있기 때문에 쿼리에 대한 응답 속도가 당연히 느려집니다. 경우에 따라서는 데이터가 비정형 또는 반정형 데이터로 저장되어 있어 보고서를 생성하기 위해 데이터를 파싱할 때 오류율이 높을 수 있습니다. 분석에서는 사용하기 쉽도록 특정 유형의 데이터를 하나의 저장 공간에 그룹화해야 할 수도 있습니다. 그렇기 때문에 더 작고 주제별 정보 덩어리에 더 빠르게 액세스할 수 있도록 추가 기술을 사용합니다.

데이터 양이 많지 않다면 간단한 SQL 웨어하우스를 활용하는 것으로 충분합니다.
데이터 마트와 같은 추가적인 구조적 요소는 아무런 가치도 제공하지 않으면서 많은 비용을 초래합니다.

2.3. OLAP 큐브

웨어하우스에 저장되는 데이터는 일반적으로 스프레드시트 형식(테이블과 행)으로 표시되므로 두 가지 차원을 갖습니다. 웨어하우스가 데이터를 저장하는 방식을 관계형 데이터베이스라고도 합니다. 하나의 데이터베이스에 수천 개의 데이터 유형이 포함될 수 있으므로 데이터 웨어하우스를 쿼리 하는 데 상당한 시간이 걸립니다. 데이터가 빠르게 액세스하고 다양한 차원에서 데이터를 분석하고, 필요할 떄마다 그 룹화하려는 분석가의 요구를 충족하기 위해 OLAP 큐브가 사용됩니다.

OLAP(Online Analytical Processing) 또는 온라인 분석 처리는 여러 차원의 데이터를 동시에 분석하고 표현하는 기술입니다. OLAP 큐브에서 데이터를 구조화하면 데이터 웨어하우스의 한계를 극복하는 데 도움이 됩니다.

OLAP 큐브는 SQL 데이터베이스(웨어하우스)의 데이터를 빠르게 분석하는 데 최적화된 데이터 구조입니다. 큐브는 데이터 웨어하우스의 데이터를 축소하여 표현한 것입니다. 하지만 데이터의 구조는 2개 이상의 차원(스프레드시트의 행과 열 형식)이 있다고 가정합니다. 차원은 보고서를 구성하는 중요한 요소 입니다.

큐브는 다양한 방식으로 정보를 그룹화하고 보고서를 더 빠르게 작성할 수 있도록 조정할 수 있는 다차원 정보 데이터베이스를 형성합니다. 큐브는 상대적으로 적은 양의 데이터를 저장하고 처리 편의를 위해 사용되므로 웨어하우스와 OLAP을 함께 사용합니다.

2.4. 데이터 마트

데이터 웨어하우스는 비즈니스 인텔리전스 아키텍처의 가장 큰 요소입니다. 웨어하우스 데이터 집합의 더 작은 표현은 특정 주제 영역 전용 정보를 수집하는 데이터 마트입니다. 데이터 마트의 도움으로 각 부서에서 필요한 데이터에 액세스할 수 있습니다.

2.5. 하이브리드 아키텍처 (데이터 웨어하우스 + 데이터 마트 + OLAP 큐브)

3. 상용 BI툴

https://www.gartner.com/reviews/market/analytics-business-intelligence-platforms

SOFTWARE	BILL OF MONTH (CREATOR)	TARGET
TABLEAU	$70	Small to large business
MICROSOFT POWER BI	$9.99	Small to large business
QLIKSENSE	$30	Small to large business
ORACLE ANALYTICS CLOUD	$16	Small to large business

3.1. Power BI

기본적으로 Excel의 데이터 시각화 도구를 한 단계 발전시킨 Excel 피벗 테이블을 기반으로 Microsoft에서 개발한 BI 툴이기 때문에 Power BI의 UI는 Excel과 유사하며 학습 곡선도 짧습니다. 또한 추가 학습을 위한 자세한 학습 동영상과 문서도 제공합니다.

• 장점
  • 모든 MS office에 원활하게 연결할 수 있습니다.
  • Power BI를 사용하면 데이터를 Excel에 넣어 시각화 뒤에 있는 원시 데이터를 쉽게 볼 수 있습니다.
  • 유사 제품보다 저렴합니다.
• 단점
  • 단계별 권한 할당을 지원하지 않으며 사용자가 보는 열 단위의 권한 세분화를 제어할 수 없고 그룹 권한 제어도 불가능합니다.
  • 무료 버전의 경우는 처리할 수 있는 데이터의 양이 2GB로 제한되어 있습니다.

3.2. Tableau

직관적인 그래픽 생성 방식과 사용자 친화적인 인터페이스를 통해서 일반 사용자도 기본 기능을 최대한 활용할 수 있습니다. 대시보드를 디자인할 때는 워크시트를 만든 다음 컨테이너로 드래그해야 합니다. 처음 사용하는 경우 익숙해지는 데 시간이 걸립니다.

• 장점
  • 다양한 데이터 소스 + 관계형 데이터베이스 지원
  • 뛰어난 데이터 시각화
• 단점
  • 다른 도구에 비해 종합적인 비즈니스 인텔리전스 도구에 필요한 기능 부족합니다.
  • 내보내기 및 인쇄 형식이 제한되어 있어 결과 공유에 불편함이 있습니다.
  • 거의 폐쇄적이라서 기업의 IT 환경에 맞게 사용자 지정하거나 내장하기 어렵습니다.

4. 오픈소스 BI툴

BI라는 관점에서 유료로 사용할 수 있다면 MS의 Power BI, 구글의 데이터 스튜디오(Data Studio), 태블로(Tableau) 등 강력한 툴이 있습니다. 이를 대체할 만한 오픈 소스 툴로는 Superset, Metabase, Grafana, Redash 등이 있습니다.

4.1. Apache Superset

Superset은 데이터 탐색 및 시각화 플랫폼을 제공하는 오픈소스 BI 툴입니다. 사용자는 필터링, 드릴다운, 사용자 지정 쿼리 등 다양한 기능을 통해 대화형 대시보드와 차트를 만들 수 있습니다. MySQL, PostgreSQL, Apache Druid 등 다양한 데이터베이스를 지원합니다.

• 장점
  • 데이터 탐색 및 시각화를 위한 다양한 기능을 제공합니다.
  • SQL 기반 데이터베이스와 드루이드를 포함한 여러 데이터 소스를 지원합니다.
  • 대시보드와 차트를 만들기 위한 드래그 앤 드롭 기능을 갖춘 사용하기 쉬운 인터페이스
  • 예측 및 이상 징후 탐지와 같은 고급 분석 기능을 지원합니다.
• 단점
  • 설정 및 구성에 약간의 기술적 전문 지식이 필요합니다.
  • 대규모 데이터 세트의 경우 리소스 집약적일 수 있습니다.
  • 다른 BI 툴에 비해 커뮤니티 지원이 제한적입니다.
  • 일부 기능의 경우 추가 플러그인 또는 통합이 필요할 수 있습니다.

4.2. Metabase

Metabase는 사용자가 대화형 대시보드와 시각화를 만들고, 공유하고, 협업할 수 있는 또 다른 오픈소스 BI 툴입니다. 간단하고 직관적인 인터페이스를 제공하며 MySQL, PostgreSQL, MongoDB와 같은 다양한 데이터베이스를 지원합니다.

• 장점
  • 직관적인 인터페이스로 설정과 사용이 간편합니다.
  • SQL 기반 데이터베이스와 몽고DB를 포함한 다양한 데이터 소스를 지원합니다.
  • 차트, 그래프, 지도를 포함한 다양한 시각화 옵션을 제공합니다.
  • iOS 및 Android용 기본 모바일 앱을 제공합니다.
• 단점
  • 다른 BI 툴에 비해 고급 분석 기능이 제한적입니다.
  • 시각화에 대한 사용자 지정 옵션이 제한적입니다.
  • 대규모 데이터 집합이나 복잡한 쿼리의 경우 속도가 느리거나 불안정할 수 있습니다.
  • 다른 BI 툴에 비해 커뮤니티 지원이 제한적입니다.

4.3. Grafana

Grafana는 데이터 시각화 및 모니터링을 위한 오픈 소스 플랫폼입니다. 사용자는 Graphite, Elasticsearch, Prometheus와 같은 다양한 데이터 소스로 대시보드와 패널을 만들 수 있습니다. 그래프, 차트, 표 등 다양한 시각화 옵션을 제공합니다.

• 장점
  • 차트, 그래프, 표를 포함한 다양한 시각화 옵션이 제공됩니다.
  • Graphite, Elasticsearch, Prometheus를 포함한 여러 데이터 소스를 지원합니다.
  • 기능 확장을 위한 다양한 통합 및 플러그인을 제공합니다.
  • iOS 및 Android용 기본 모바일 앱을 제공합니다.
• 단점
• 다른 BI 툴에 비해 데이터 탐색 기능이 제한적입니다.
• 대규모 데이터 세트의 경우 리소스 집약적일 수 있습니다.
• SQL 기반 데이터베이스에 대한 기본 지원이 제한적입니다.
• 설정 및 구성에 약간의 기술적 전문 지식이 필요합니다.

	장점	단점
Superset	- 대시보드 및 차트 공유가 쉬움 필터링 기능이 좋음 - Pivot table 기능 지원 - GUI가 별로라는 평이 많음	- 서버에 설치하는게 어려움 - GA를 지원하지 않음
Metabase	- Tableau의 대체제로 많이 언급되고 있음 - SQL Editor가 강력해서 사용 성이 좋음 - Superser보다 dashboard 속도가 빠르다는 의견이 있음 - 다른 툴에서는 안되는 GA가 연동 가능함(Superset에서는 변환서비스를 써야함) - Pivot table 기능 지원	- 라이선스 문제가 있음 –> GNU(AGPL) 관련 - 데이터베이스가 join 여부 -> 불가능
Grafana	- Time-series, realtime 등 모니터링하기 최적의 조건 - 경고나 알림기능으로 타 채널(e.g. Slack)로 보고가 가능함 - Transformations 기능을 제공해 이름, 명명, 요약, 결합, 집계 등이 가능함	BI 툴로 보면 부족한 기능들이 많음 - 한정적인 패널, 그래프 디자인
Redash	- 많은 data source 지원 - 파라미터 쿼리 지원	- 속도가 느리고 메모리를 많이 차지함 - 시각화 유형이 Superset보다 미흡함 - 쿼리 자체만 시각화함으로 시간 차원의 비교는 불가능함

5. BI 툴의 구조

Power BI를 기준으로 여러 데이터 원본을 결합하여 일관되고 몰입감 있는 시각적 자료와 대화형 인사이트를 제공합니다. 데이터는 하이브리드 클라우드 기반 및 온프레미스 데이터 웨어하우스, Excel 스프레드시트 또는 두 가지 모두 저장될 수 있습니다. Power BI를 사용하면 데이터 원본에 연결하고, 시각화하고, 무엇이 중요한지 파악하고, 누구든 원하는 사람과 공유할 수 있습니다.

5.1. Power BI의 구성

5.2. Power BI의 구성요소

5.2.1. Power Query

데이터 변환 및 매시업 엔진입니다. 분석 요구 사항에 맞게 데이터 원본을 검색, 결합, 연결 및 구체화할 수 있습니다. Power BI 데스크톱의 일부로 사용할 수 있으며 Excel 추가 기능으로 다운로드할 수 있습니다.

5.2.2. Power Pivot

데이터 모델링 및 계산 엔진입니다. 복잡하고 단순한 데이터를 개발하는 데 사용됩니다. 여기에서는 서로 다른 테이블 간의 관계를 만들거나 설정하고 피벗 테이블에서 볼 수 있는 값을 계산할 수 있습니다.

5.2.3. Power View

Power BI의 기본 데이터 시각화 구성요소 입니다. Excel, SharePoint 및 Power BI에서 사용할 수 있습니다. 이를 통해 사용자는 그래프, 맵, 차트 및 데이터에 생명을 불어넣는 기타 시각적 요소를 만들 수 있습니다. 또한 데이터 원본에 연결하고 각 보고서의 각 데이터 시각화 요소에 대해 데이터를 필터링할 수 있습니다.

5.2.4. Power Q&A

데이터 모델의 Q&A를 위한 일반 언어 모터입니다. 사용자가 원하는 언어로 데이터를 탐색할 수 있습니다. NLP를 사용하여 데이터에서 답을 얻는 가장 빠른 방법입니다.

6. BI 툴의 주요 기능

6.1. 데이터 디테일 시각화

특정 데이터에 대해 한 번에 여러 개를 동시에 분석할 수 있는 기능을 갖추고 있습니다. 이 기능은 다양한 소스의 주요 데이터 포인트를 단일 대시보드에서 정확하게 시각화할 수 있습니다.

6.2. 판매/영업 분석

BI 툴의 일반적인 용도 중 하나는 판매/영업 분석입니다. 차트를 표시하는 여러 대시보드를 설정하여 온라인 세션 동안의 사용자 활동을 모니터링할 수 있습니다. 또한 고객이 가장 자주 구매한 제품이나 가장 높은 수익을 창출하는 지역의 구매 내역도 제공합니다. 이러한 지식을 바탕으로 고객의 요구를 더 잘 충족하고 매출을 높일 수 있습니다.

6.3. 실시간 성과

실시간 성과를 다양한 수준에서 이해할 수 있습니다. 이를 통해 모든 프로젝트의 활동과 마감일이 표시된 대시보드를 볼 수 있으며 디테일한 업무 성과도 확인할 수 있습니다.

7. 유즈케이스

7.1. 자원 관리

여러 지역에 여러 생산 및 제조 현장을 보유한 가전제품 제조업체 케이스입니다. 작업 및 리소스 할당에 대한 더 나은 의사 결정을 내리기 위해 커스텀 BI 대시보드가 필요했습니다. Power Query 및 Power Pivot을 사용해서 보고서를 생성했습니다.

리소스 수요 및 할당에 대한 전체 개요를 얻기 위해 프로젝트 완료율, 작업에 할당된 리소스, 진행중인 프로젝트에 할당된 리소스 등과 같은 주요 KPI를 추적할 수 있습니다.

7.2. 재무 보고 대시보드

어떤 비즈니스든 매출과 수익을 창출하는 것이 조직의 KPI입니다. 오래된 엑셀 시트나 로그북으로 재무를 측정하는 것은 어려울 뿐만 아니라 혼란스럽기도 합니다. 수동적으로 계속 업데이트하다 보면 결국에는 추척하기도 합니다. 최근 의료 기기 회사에서 재무 보고 대시보드를 통해 복잡한 재무 스프레드시트를 쉽게 이해할 수 있었습니다. 매출 명세서에서 어떤 일이 일어나고 있는지 한 눈에 파악하고 현금 흐름과 제품별 판매 요약 데이터에 대해 신속하게 의사 결정을 내릴 수 있게 되었습니다.

7.3. 클레임, 청구 보고서

Power BI는 클레임을 처리하는 모든 산업에서 클레임 관리 프로세스를 개선하는 데 도움이 될 수 있습니다. 분석을 통해 청구의 추세와 손실 패턴을 파악하고 사기 및 비효율적 처리의 위험을 줄일 수 있습니다. 클레임 처리 팀은 클레임 및 청구 프로세스를 최적화하여 손실을 최소화하고 전체 프로세스의 속도를 높여 고객 만족도를 높일 수 있습니다. 이 외에도 클레임 취소와 수금 지연은 고객 만족도를 유지하고 프로세스의 효율성을 높이기 위해 즉시 해결해야 하는 두 가지 주요 문제입니다.

7.4. 재고 최적화

제조업체, 디바이스 또는 위치별로 재고 회전율, 재고 대 구매 비율, 총 마진 투자 수익률 등을 파악하는 데 도움이 됩니다. 재고 담당자는 BI 툴에서 생성된 이러한 세분화된 보고서를 통해 제품의 재고량을 쉽게 파악할 수 있습니다. 또한 제조 및 만료 날짜, 가격 배치 번호로 재고를 분류하는 데 필요한 작업을 수행할 수 있습니다.