2024 ADsP 데이터분석 준전문가 시험공부 4일차/20
02 분석 과제 발굴
1. 분석 과제 발굴 개요
(1) 분석 과제 '발굴'의 개념과 '탐색' 방법
① 분석 과제 발굴
: 해결해야 할 다양한 기업(혹은 분석의 주체)의 문제를 '데이터 분석 문제'로 변환하는 것을 포함하는 개념
- 하향식 접근법, 상향식 접근법
② 분석 과제 탐색 방법 ★★★
- 하향식 접근법 : 문제가 주어졌을 때 우리가 해결해야 할 과제가 무엇인지를 찾는 전통적인 Top-Down 수행 방법. 각 과정이 체계적으로 단계화되어 문제를 해결하는 방식 (분석 대상을 알고 있을 때)
- 상향식 접근법 : 대규모 데이터가 생성되고 빠르게 변화하는 현대에서는 문제가 무엇인지 사전에 정의하는 것이 어렵기 때문에 다양한 데이터의 조합 속에서 인사이트를 찾아내는 Bottom-Up 방식 (분석 대상을 모를 때)
| 하향식 접근법 | |
| 가. 문제 탐색 단계 | a. 비즈니스 모델 탐색 기법 |
| b. 분석기획 발굴 및 범위 확장 | |
| c. 외부 참조 모델 기반 문제 탐색 | |
| d. 분석 유스케이스 | |
| 나. 문제 정의 단계 | 식별된 비즈니스 문제를 데이터 문제로 변화하여 과제 정의 |
| 다. 해결 방안 탐색 단계 | 과제 정의 후 어떻게 해결할 것인지 그 방안 탐색(분석 기법, 시스템 등) |
| 라. 타당성 검토 단계 | 경제적 타당성, 기술적 타당성 등을 검토 |
| 상향식 접근법 | |
| 가. 지도, 비지도 학습 | a. 지도학습 |
| b. 비지도학습 | |
| 나. 프로토타입 | 시행착오 해결법 |
(2) 디자인 씽킹
① IDEO사의 디자인 씽킹
- 문제 발견과 솔루션 제시 영역으로 구분
- 상향식 접근법의 발산 단계와 하향식 접근법의 수렴 단계가 반복적으로 수행되어 상호 보완적으로 분석의 가치를 높이는 의사결정 방식
- 수렴과 발산을 반복하면서 창의적이고 혁신적인 아이디어를 도출하는 방식
② 스탬퍼드대학 d.school의 디자인 씽킹
- 비즈니스와 기술 그리고 인간 중심 사고가 만나 혁신적 해결책을 도출하는 또 하나의 새로운 방법
- 1. 공감(Empathize) → 2. 문제 정의(Define) → 3. 아이디어 도출(Ideate) → 4. 프로토타입(Prototype) → 5. 테스트(Test) → 6. 평가(ASSESS) 과정을 거침
- 상향식 접근법
2. 하향식 접근법 ★★★
(1) 1단계 - 문제 탐색 단계
① 비즈니스 모델 탐색 기법 ★★
- 비즈니스 모델 캔버스의 9가지 블록을 5가지로 단순화한 탐색 기법
- 업무(Operation), 제품(Product), 고객(Customers) 단위로 문제를 발굴하고 이를 관리하는 규제와 감사(Audit & Refulation), 지원 인프라(IT & Human Resource)의 두 가지 영역에 대한 기회를 추가로 도출하는 작업을 수행
- 지원 인프라 : 분석을 수행하는 시스템 영역(IT)과 이를 운영하고 관리하는 인력(Human Resource)의 영역 의미
② 분석 기회 발굴 범위의 확장 ★★★
| 거시적 관점 | 문제 혹은 변화가 기업에 주는 영향 탐색 - 사회 : 노령화, 저출산 등 - 기술 : 나노 기술, IT 융합 기술, 로봇 기술의 등장 등 - 경제 : 원자제 가격, 환율, 금리의 변화 등 - 환경 : 탄소 배출 규제 등 - 정치 : 대북 관계 등 |
| 경쟁자 확대 관점 | 기업에 위협이 될 상황 탐색 - 대체재 : 기업의 상품 및 서비스가 대체될 수 있는 것에 대한 탐색 및 잠재적 위협 파악 - 경쟁자 : 식별된 주요 경쟁사의 제품 및 서비스 카탈로그 및 전략 분석 - 신규 진입자 : 현재 직접적인 경쟁자는 아니지만 향후 영향력이 커질 것으로 판단되는 위협 |
| 시장의 니즈 탐색 | 시장의 니즈 탐색 관점에서 문제 탐색 - 고객 : 고객 기업들의 산업 및 경영 현황 등을 파악 - 채널 : 상품 및 서비스가 전달될 수 있는 경로에 대한 파악 - 영향자들 : 시장 확대에 따른 유사 업종의 기업 인수 등에 대한 파악 |
| 역량의 재해석 | 역량의 재해석 관점에서 다시 기업 내부를 둘러보도록 함 - 내부 역량 : 자사 소유 부동산 등 부가 가치 창출 기회의 탐색 - 파트너와 네트워크 : 자사가 직접 보유하고 있지는 않지만 관계사 혹은 공급사의 역량을 활용한 부가가치 창출 기회의 탐색으로 기업경영 노하우 등 |
③ 외부 참조 모델 기반 문제 탐색 및 분석 유스케이스 정의
- 브레인스토밍 활용 방법: Quick & Easy
- 분석 유스케이스 : 분석을 적용했을 때 업무 흐름을 개념적으로 설명한 것. 프로세스 혁신 수단으로 활용
(2) 2단계 - 문제 정의 단계
① 문제 정의
- 식별된 비즈니스 문제를 데이터의 문제로 변환하여 정의하는 단계
- 이를 달성하는 데 필요한 데이터 및 기법을 정의하기 위한 데이터 분석의 문제로 변환을 수행
- 최종 사용자의 관점
② 문제 정의의 예
- '최근 고객들의 불만이 높아지고 있다' - 비즈니스 문제 식별 가정
=> '고객의 불만에 영향을 끼치는 요인은 무엇인지 분석, 그 요인과 고객 불만율에 대한 상관 및 예측 모델 수립'
(3) 3단계 - 해결 방안 탐색 단계
① 해결 방안 탐색
- 문제 정의 단계에서 정의된 데이터 분석 문제를 해결하기 위한 방안 모색 단계
- 해결 방안 탐색, 현재 기업 수준에서의 분석이 가능한 시스템을 갖추었는지, 분석을 수행할 인력이 확보되었는지 확인
② 해결 방안 탐색 단계 프로세스
(4) 4단계 - 타당성 검토 단계
① 타당성 검토
- 수행되어야 할 분석 과제가 정의되었고 어떠한 방법으로 어떤 인력과 함계 수행될지 결정되었다면 과연 이 해결 방안이 타당한 것인지 검토해야 함
- 경제적 타당성 검토, 데이터 및 기술적 타당성 검토
② 타당성 검토의 두 가지 유형
- 경제적 타당성 : 분석을 위한 지출 항목으로 데이터, 시스템, 인력, 유지보수 등과 같은 비용과 분석 결과가 적용되었을 때 추정되는 실질적 비용 절감, 추가 매출, 수익 등과 같은 경제적 가치를 고려해야 함. 왜냐하면 분석에 수행되는 비용이 분석이 수행되었을 때의 경제적 이득보다 크다면 기업에는 손해임에 분명
- 데이터 및 기술적 타당성 : 경제적 가치가 아무리 뛰어난 분석이라 하더라도 분석의 수행 가능 여부를 따져봐야 함. 수행될 수 없는 분석을 추진하는 것 역시 경제적 손실이 따르기 때문. 데이터 및 기술적 타당성 검토에서는 데이터 존재 여부, 분석 시스템 환경, 분석 역량 고려
3. 상향식 접근법
(1) 상향식 접근법 개요
① 상향식 접근법 개념
: 분석 대상이 무엇인지 모를 때 분석 과제 발굴을 위해 사용하는 방법. 원천 데이터로부터 통찰과 지식을 얻는 접근 방법
② 상향식 접근법의 특징
- 하향식 접근법은 분석 계획을 수립하고 분석 단계로 이어지지만,
상향식 접근법은 먼저 분석부터 시작하고 그 결과로부터 가치가 있는 문제를 도출하는 방법
- ex) 스탠퍼드대학 d.school의 디자인 씽킹
(2) 지도학습과 비지도학습 ★★★
① 지도학습
: 정답이 있는 데이터를 활용하여 분석 모델을 학습시키는 것
- 레이블(Label)이 범주형인 분류와 연속형인 회귀로 나눠짐
- ex) 머신러닝, 의사결정 트리, 인공신경망 모형, 분류 분석
② 비지도학습
: 정답을 알려주지 않고 학습하는 것
- 정답 레이블이 없는 데이터를 비슷한 특징을 가진 데이터끼리 군집화하여 새로운 데이터에 대한 결과 예측
- 목적이 명확하게 정의된 특정 필드의 값을 구하는 것이 아니라, 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태를 표현하는 것
- 일반적으로 상향식 접근방식의 데이터 분석은 비지도학습에 의해 수행
- ex) 장바구니 분석, 기술통계, 프로파일링, 군집 분석, 주성분분석, 다차원 척도
(3) 시행착오를 통한 문제 해결(프로토타이핑 접근법) ★★★
① 개념
: 먼저 분석을 시도하고 그 결과를 확인하면서 조금씩 개선해나가는 방법. (시행착오 해결법, 상향식 접근법)
- 문제 정의가 불명확하고 새로운 문제일 경우 빅데이터 분석 환경에서 오히려 프로토타이핑 접근법이 더 유용하게 활용
② 프로세스
- 가설의 생성 → 디자인에 대한 실험 → 실제 환경에서의 테스트 → 테스트 결과로부터 인사이트 도출 및 가설 확인
③ 프로토타이핑 접근법이 필요한 경우
- 문제에 대한 인식 수준이 낮거나 불명확할 경우
- 필요 데이터의 존재 여부가 불확실할 경우
- 데이터의 사용 목적이 고정되지 않고 변화할 경우
03 분석 프로젝트 관리 방안
1. 분석 프로젝트 관리 개요
(1) 분석 프로젝트의 특성
- 분석가의 목표 : 분석의 정확도를 높이는 것뿐만 아니라 원하는 결과를 사용자가 원할하게 활용할 수 있도록 고려
- 분석가는 데이터의 영역과 비즈니스 영역의 중간에서 조율을 수행하는 조정자의 역할 수행
- 도출된 결과의 재해석을 통한 지속적인 모델 정교화 작업을 반복하여 모델을 개선할 수 있도록 적절한 관리 방안 수립 필요
(2) 분석 과제의 5가지 주요 속성을 고려한 관리 ★
① 데이터의 양
- 데이터의 양이 방대할 경우 하둡이나 클라우드 같은 분석환경 활용
② 데이터 복잡도
- 정형화된 데이터 확보 어렵
③ 분석의 속도
④ 분석 복잡도
- 분석 모델의 정확도와 복잡도는 트레이드오프 관계
- 복잡도↑ → 정확도↑, 벗 모델이 복잡하면 해석 어려움
- 모델의 정확도가 높으면서 해석이 편리한 최적의 모델 탐색 필요
⑤ 정확도 & 정밀도
- 정확도(Accuracy)는 모델과 실제 값 간의 차이가 적다는 정확도를 의미,
정밀도(Precision)는 반복적으로 모델을 사용했을 때 모델 값들의 편차 수준을 나타냄
+ Time Boxing 기법
: 프로토타입 모델의 프로젝트 기획 및 관리 기법으로 현재 할당된 작업이 주어진 시간 동안 완수되지 못하였더라도 다음 작업으로 넘어가는 방법
2. 분석 과제 관리 방안
- 분석 프로젝트 관리영역 : 통합, 이해관계자, 범위, 자원, 시간, 원가, 리스크, 품질, 조달, 의사소통
+ 능력 성숙도 통합 모델(CMMI)이란?
: 소프트웨어 및 시스템 공학의 역량 성숙도를 파악하기 위한 모델로서 5단계로 나눠 역량 평가
1단계 : 개인의 역량이 프로젝트의 성공과 실패를 나누는 주요 요인으로 프로젝트의 개발 프로세스가 거의 x
2단계 : 일정이나 비용과 같은 요소가 프로세스의 중심으로, 약간의 개발 프로세스하에서 통제되는 상태
3단계 : 2단계에서 존재하지 않는 조직을 관리하기 위한 프로세스가 존재하는 상태
4단계 : 체계적인 관리하에 프로젝트 및 산출물 등에 대한 정량적인 측정이 가능한 상태
5단계 : 조직적으로 최적화된 프로세스를 보유하고 지속적인 개선을 목표로 하는 상태