2024 ADsP 데이터분석 준전문가 시험공부 2일차/20
[01과목 - 02장]
02 데이터의 가치와 미래
1. 빅데이터의 가치와 영향
(1) 빅데이터의 가치
① 빅데이터의 가치
- 빅데이터의 가치 산정은 어려움, 의미가 없는 일일 수 있음
- 중요한 것은 빅데이터를 통한 인사이트를 가치 있게 만드는 과정 그 자체
- 그 과정의 결과가 크든 작든 상관x ==> 우리의 삶을 변화시키는 데 중요한 역할!
② 빅데이터 가치 산정의 어려움 ★
| 데이터 활용 방식 | 빅데이터의 재사용이나 재조합, 다목적용 데이터 개발 등이 일반화되면서 특정 데이터를 누가, 언제, 어떻게, 어디서 활용하는지 알 수 없음 |
| 가치 창출 방식 | 빅데이터는 기존에 없던 새로운 가치를 창출함 |
| 분석 기술의 발전 | 데이터 분석 기술의 발전으로 가치 있는 데이터와 가치 없는 데이터의 경계 구분 어려움 오늘의 가치 없는 데이터 -> 내일은 가치 있는 데이터 될 수 있음 |
(2) 빅데이터의 영향
① 빅데이터의 영향
| 기업 | 소비자 행동 분석, 시장 변동을 예측해 비즈니스 모델을 혁신하거나 신사업 발굴 |
| 정부 | 환경 탐색, 상황 분석, 미래 대응 ( : 법제도 및 거버넌스 시스템 정비, 미래성장 전략, 국가안보 대응 등) |
| 개인 | 개인의 목적에 따라 빅데이터의 활용이 확산되면서 스마트라이프로 변화 |
② 빅데이터가 가치를 만들어내는 5가지 방식(맥킨지의 빅데이터 보고서, 2011)
- 투명성 제고로 연구개발 및 관리 효율성 제고
- 시뮬레이션을 통한 수요 포착 및 주요 변수 탐색으로 경쟁력 강화
- 고객 세분화 및 맞춤 서비스 제공
- 알고리즘 활용한 의사결정 보조 혹은 대체
- 비즈니스 모델과 제품, 서비스의 혁신 등
+ 빅데이터 경영혁신의 4단계
[1단계] 생산성 향상
[2단계] 발견에 의한 문제 해결
[3단계] 의사결정 향상
[4단계] 새로운 고객가치와 비즈니스 창출
2. 빅데이터와 비즈니스 모델
(1) 빅데이터 활용 사례
① 기업혁신 사례
- 구글 검색 기능, 월마트 매출 향상, 질병 예후 진단 등 의료 분야에 접목
② 정부 활용 사례
- 실시간 교통정보수집, 기후정보, 각종 지질 활동 등에 활용, 국가안전 확보 활동 및 의료와 교육 개선 활용 방안 모색
③ 개인 활용 사례
- 정치인과 연예인의 SNS 활용
+ 미래의 빅데이터 활용에 필요한 3요소 ★
| 요소 | 내용 |
| 데이터 | 모든 것의 데이터화 |
| 기술 | 진화하는 알고리즘, 인공지능 |
| 인력 | 데이터 사이언티스트, 알고리즈미스트 |
(2) 7가지 빅데이터 활용 기본 테크닉 ★★★
① 연관 규칙 학습(Association rule learning)
: 어떤 변인 간에 주목할 만한 상관 관계가 있는지를 찾아내는 방법, 연관분석 or 장바구니 분석
- 고객이 구매한 물품들을 분석하여 품목 사이에 어떠한 규칙이 있는지 찾아내는 분석 기법
ex) A를 구매한 사람이 B를 더 많이 사는가?, 이것을 구매한 사람들이 많이 구매한 물품은?
② 유형분석(Classification tree analysis)
: 새로운 사건이 속할 범주를 찾아내는 방법
- '이 사용자가 어떤 특성을 가진 집단에 속하는가?'와 같은 문제를 해결하는 방법
ex) 문서를 어떻게 분류할 것인가?, 조직을 어떻게 여러 그룸ㅂ으로 나눌 것인가?
③ 유전 알고리즘(Genetic algorithms)
: 최적화가 필요한 문제의 해결책을 자연선택, 돌연변이 등과 같은 메커니즘을 통해 점진적으로 진화시켜 나가는 방법
- '최대의 시청률을 얻으려면 어떤 프로그램을 어떤 시간대에 방송해야 하는가?'와 같은 문제 해결
ex) 응급실에서 의사를 어떻게 배치하는 것이 가장 효율적인가?
④ 기계학습 = 머신러닝(Machine learning)
: 컴퓨터가 데이터로부터 규칙을 찾고 이러한 규칙을 활용해 '예측'하는 데 초점을 둔 방법
- '기존 시청 기록을 바탕으로 시청자가 보유한 영화 중 어떤 영화를 가장 보고 싶어 할까?'와 같은 문제 해결
ex) 스팸메일 필터링, 질병 진단 예측
⑤ 회귀분석(Regression analysis)
: 독립변수를 조작하면서 종속변수가 어떻게 변하는지를 보며 수치형으로 이루어진 두 변인 관계 파악 방법
- '구매자의 나이가 구매 차량의 타입에 어떤 영향을 미치는가?'와 같은 문제 해결
ex) 사용자의 만족도가 충성도에 어떤 영향을 미치는가?
⑥ 감정분석(Sentiment analysis)
: 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석하는 방법
- 비정형 데이터 마이닝의 대표적인 기법 중 하나, 텍스트 파일로부터 단어를 추출하고 추출된 단어의 긍정, 부정을 선별하여 글을 쓴 사람의 감정을 분석하는 분석 방법
- '새로운 환불 정책에 대한 고객의 평가는 어떤가?'와 같은 문제 해결
ex) 호텔에서 고객의 후기를 분석하여 고객의 니즈 찾기
+ 텍스트 마이닝 용어
| 스태밍 (stemming) |
단어의 어원을 찾는 작업 - '가겠다', '갈 것이다', '간다' ==> '가다' |
| 코퍼스 (Corpus) |
텍스트 분석을 위해 모아놓은 단어 혹은 문장을 보유한 저장소 - 특정 단어가 어떤 단어들과 주로 어울리는지 파악 |
| 토큰화 (Tokenization) |
문장 또는 코퍼스를 여러 개의 뜻을 가진 가장 작은 단위의 단어들로 나누는 작업 - 한글은 형태소 분석 수행 필요 |
| 임베딩 (Embedding) |
토큰화가 수행된 단어 집합에 대해서 일련의 벡터로 변환하는 작업 |
⑦ 소셜 네트워크 분석(SNA: Social Network Analysis)
- 사회 관계망 분석, SNS 같은 온라인 공간에서 유저 사이의 팔로워, 팔로잉 관계를 분석하여 영향력 있는 사람을 찾아내어 기업의 효율적인 마케팅이나 범죄 수사에서 공범을 찾는 등 다양한 분야에서 활용 가능
- 오피니언 리더, 즉 영향력 있는 사람을 찾아낼 수 있으며, 고객 간 소셜 관계 파악 가능
ex) 특정인과 다른 사람이 몇 촌 정도의 관계인가?, 이 사람이 어느 정도 영향력 있는 인물인가?
+ SNA 요소
| 연결 중심성 | 하나의 점에 얼마나 많은 다른 점이 연결돼 있는지 나타내는 척도 - 연결된 노드들의 수의 합으로 표현 |
| 근접 중심성 | 노드 사이의 거리를 기반으로 측정한 척도 |
| 매개 중심성 | 네트워크 내에서 해당 노드가 어디에 위치하는지 파악함으로써 해당 노드의 영향력 파악 가능 |
| 아이겐벡터 중심 | 네트워크 내의 노드와 다른 벡터의 중심성과 가중치를 활용하여 계산하는 방식 - 해당 노드와 연결된 다른 노드들이 네트워크 내에서 얼마나 중요한지 파악하는 지표 |
3. 빅데이터의 위기 요인과 통제 방안
(1) 위기요인 ★★★
① 사생활 침해
ex) 구글의 사용자 행동 패턴 예측
② 책임 원칙 훼손
ex) 범죄 발생 이전에 체포
③ 데이터 오용
ex) 비행기 탐승 금지자 목록에 상원 의원이 포함
(2) 통제방안 ★★★
① 사생활 침해 -----→ 동의에서 '책임'으로
② 책임 원칙 훼손 -----→ '결과' 기반 책임 원칙 고수
③ 데이터 오용 -----→ 알고리즘 접근 허용
+ 개인정보 비식별 기술 ★
| 데이터 마스킹 | 데이터의 기존 형식은 유지한 채 식별할 수 없는 임의의 값(혹은 기호)으로 대체 ex) 플레이 데이터 => *** 데이터 |
| 가명 처리 | 데이터의 값을 다른 값으로 변경 ex) 홍길동 => 임꺽정 |
| 총계 처리 | 각각의 데이터 값이 아닌 전체 데이터에 대한 총합 또는 평균으로 처리 ex) 70 80 90 => 80 |
| 데이터 값 삭제 | 데이터 값의 일부를 삭제 ex) 서울시 서초구 => 서울시 |
| 데이터 범주화 | 데이터의 값을 범주화하여 특정 값이 아닌 범위 제공 ex) 수학 80점 => 수학 70~90점 |
+ 미연방거래위원회(FTC)의 소비자 프라이버시 보호 3대 권고사항
1. 기업은 상품 개발 단계에서부터 소비자 프라이버시 보호 방안을 적용
2. 기업은 소비자에게 공유정보 선택 옵션을 제공
3. 소비자에게 수집된 정보 내용 공개 및 접근권 부여
03. 가치창조를 위한 데이터 사이언스와 전략 인사이트
1. 빅데이터 분석과 전략 인사이트
(1) 빅데이터 열풍과 회의론
① 빅데이터 회의론의 원인
- 부정적 학습효과 : 과거 IT 솔루션 영역에서는 공포 마케팅이 잘 통해서 CRM 같은 솔루션은 반드시 도입되어야 하는 것으로 강조. 벗 어떻게 가치를 창출하는지 몰랐음
- 과대 포장 : 기존의 분석 성공 사례를 빅데이터 성공사례로 포장한 것이 많음
(2) 빅데이터 분석의 핵심은 'Big'이 아닌 '인사이트'
① '크기'가 아니라 '인사이트'
- 데이터의 양 < 데이터의 가치
- 빅데이터와 관련된 걸림돌 : '비용'이 아니라 '분석적 방법과 성과에 대한 이해 부족'
② 전략적 인사이트의 중요성
- 사례 :
| 아메리칸항공 | 사우스웨스트항공 |
| 수익 관리, 가격 최적화의 분석 접근법 사용 3년 만에 14억 달러의 수익을 올림 |
단순최적화 모델을 통한 가격 책정과 운영 |
| 비행경로와 승무원들의 일정을 최적화 12개 기종, 250개 목적지, 매일 3,400회 운영 ↓ 초기에는 비용을 절감했으나, 타 경쟁사들이 비슷한 수준의 수익관리 모델을 갖추면서 경쟁 우위에서 하락함 |
한 가지 기종의 비행기로 단순화 ↓ 단순 최적화로 가격 책정 및 운영 결과 경쟁 우위가 상승 36년 연속 흑자, 높은 시장가치 확보 |
(3) 일차원적 분석 vs. 전략 도출을 위한 가치 기반 분석
① 일차원적 분석(산업별) ★★
| 산업 | 일차원적 분석 애플리케이션 |
| ★ 금용 서비스 | 신용점수 산정, 사기 탐지, 가격 책정, 프로그램 트레이딩, 클레임 분석, 고객 수익성 분석 |
| ★ 에너지 | 트레이딩, 공급/수요 예측 (* '금융' 아님 주의) |
| ★ 병원 | 가격 책정, 고객 로열티, 수익 관리 |
| ★ 정부 | 사기탐지, 사례관리, 범죄방지, 수익 최적화 |
2. 전략 인사이트 도출을 위해 필요한 역량
(1) 데이터 사이언스에 대한 이해와 역할
① 데이터 사이언스에 대한 이해
- 데이터 사이언스 : 데이터로부터 의미 있는 정보를 추출해내는 학문
- 통계학 분석 대상 : 정형화된 실험 데이터
- 데이터 사이언스 분석 대상 : 정형 또는 비정형을 막론하고 다양한 유형의 데이터
② 데이터 사이언스의 역할
- 데이터 마이닝 : 주로 '분석'에 포커스
- 데이터 사이언스 : 분석뿐만 아니라 이를 효과적으로 구현하고 전달하는 과정, 궁극적으로는 전략적 '인사이트' 도출을 위한 일련의 행위까지 모두 포괄하는 광의의 개념, 더 포괄적이고 총체적인 접근법 사용, '소통'이 중요한 핵심 역량
(2) '데이터 사이언스'와 '데이터 사이언티스'
① 데이터 사이어니스 구성 요소 ★★
- Analytics : 수학, 확률 모델, 머신러닝, 분석학, 패턴 인식과 학습, 불확실성 모델링 등
- IT(Data Management) : 시그널 프로세싱, 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우징, 고성능 컴퓨팅 등
- 비즈니스 분석 : 커뮤니케이션, 프레젠테이션, 스토리텔링, 시각화
② 데이터 사이언티스트에게 요구되는 역량 ★★★
하드 스킬(Hard skill)
- 빅데이터에 대한 이론적 지식 : 관련 기법에 대한 이해와 방법론 습득
- 분석 기술에 대한 숙련 : 최적의 분석 설계 및 노하우 축적
소프트 스킬(Soft skill)
- 통찰력 있는 분석 : 창의적 사고, 호기심, 논리적 비판
- 설득력 있는 전달 : 스토리텔링, 시각화
- 다분야 간 협력 : 커뮤니케이션
+ 가트너가 제시한 데이터 사이언티스트 요구 역량
- 데이터 관리 : 데이터에 대한 이해
- 분석 모델링 : 분석론에 대한 지식
- 비즈니스 분석 : 비즈니스 요소에 초점
- 소프트 스킬 : 커뮤니케이션, 협력, 리더십, 창의력, 규율, 열정
(3) 데이터 사이언스: 과학과 인문학의 교차로
① 전략과 인사이트 도출을 위한 인문학 ★
- 외부 환경에서 본 인문학의 열풍
| 외부 환경 | 변화 |
| 컨버전스 → 디버전스 | 단순 세계화 → 복잡 세계화 |
| 생산 → 서비스 | 제품생산 → 서비스 |
| 생산 → 시장 창조 | 기술 경쟁 → 무형 자산의 경쟁 |
② 인문학적 사고의 특성
| 구분 | 정보 | 통찰 |
| 과거 | 무슨 일이 일어났는가? ex) 보고서 작성 등 |
어떻게, 왜 일어났는가? ex) 모델링, 실험 설계 |
| 현재 | 무슨 일이 일어나고 있는가? ex) 경고 |
차선 행동은 무엇인가? ex) 권고 |
| 미래 | 무슨 일이 일어날 것인가? ex) 추측 |
최악 또는 최선의 상황은 무엇인가? ex) 예측, 최적화, 시뮬레이션 |
3. 빅데이터 그리고 데이터 사이언스의 미래
(1) 가치 패러다임의 변화
① 가치 패러다임
- 패러다임(paradigm) : 어떤 한 시대 사람들의 견해나 사고를 근본적으로 규정하고 있는 프레임으로서의 인식의 체계, 또는 사물에 대한 이론적인 틀이나 체계를 의미하는 개념
- 패러다임 시프트 : 시간의 흐름에 따라 다음 세대의 패러다임에 자리를 물려주고 떠나는 패러다임의 속성
- 가치 패러다임 : 경제와 산업의 원천에 있는 가치에 대한 패러다임을 의미. 많은 신기술과 상품, 서비스가 그 시기의 가치 패러다임과 맞아떨어질 때 성공을 거둠
② 가치 패러다임의 변화 ★
| 디지털화 (Digitalization) |
아날로그의 세상을 어떻게 효과적으로 디지털화하는가가 이 시대의 가치를 창출해 내는 원천 ex) 운영체제, 워드/파워포인트 같은 오피스 프로그램 |
| 연결 (Connection) |
디지털화된 정보와 대상들이 서로 연결되어 이 연결이 얼마나 효과적이고 효율적으로 제공되느냐가 이 시대의 성패를 가름 ex) 구글의 검색 알고리즘, 네이버의 콘텐츠 |
| 에이전시 (Agency) |
사물인터넷(IoT)의 성숙과 함께 연결이 증가하고 복잡해짐 복잡한 연결을 얼마나 효과적이고 믿을 만하게 관리하는가가 이슈 데이터 사이언스의 역량에 따라 좌우 |