범위가 좁은 과목이다 보니 세세하게 외워야 할 부분이 많다.
데이터분석 기획
분석 대상과 방법
분석 대상과 방법에 따라 크게 4가지로 구분할 수 있다.
이 때, 표에 위치하는 것을 기억하는 것이 아니라, 해당 행과 열의 속성이 무엇인지 파악해야 합니다.
| 방법 | 대상 | Known | UnKnown |
| Known | 최적화(Optimization) | 통찰(Insight) |
| Unknown | 솔루션(Solution) | 발견(Discovery) |
분석 대상이 무엇인지 알고 있으면서 방법 또한 알고 있다면 최적화.
분석 대상이 무엇인지 모르는데 분석 방법은 알고 있다면 통찰.
이런 식으로 해석을 하면 됩니다.
문제도 이와 같이 나옵니다.
분석 기획 방안
| 과제 단위 | 장기적 마스터플랜 단위 | |
| 목적 | 빠르게 해결 | 지속적 분석 원인 해결 |
| 1차 목표 | Speed & Test | Accuracy & Deploy |
| 과제유형 | Quick & Win | Long Term View |
| 접근 방식 | Problem Solving | Problem Definition |
과제는 단기간에 결과물을 내야하는 것. 그에 반대 되는 것이 마스터플랜 단위
Ex) 다음 중 장기적 마스터 플랜이 아닌 것은?
분석 기획시 고려사항
한 번 정도 읽어본다. 시험에 종종 출제된다.
1. 가용 데이터 : 분석의 기본이 되는 데이터 확보 및 파악
2. 적절한 유스케이스 탐색 : 기존에 잘 구현 되어있는 유사 시나리오 활용
3. 장애요소에 대한 사전계획 수립 : 조직의 역량으로 내재화
의사결정을 가로막는 요소
한 번 정도 읽어보면 된다.
- 고정 관념, 편향된 생각
- 프레이밍 효과 : 동일 상황임에도 개인의 판단, 결정이 달라짐
분석 방법론의 구성요소
- 절차, 방법, 도구와 기법, 템플릿과 산출물
분석 방법론 모델
- 계층적 프로세스 모델 : 단계(BaseLine으로 관리) → 태스크 → 스텝(단기간 수행 WorkPackage)
- 폭포수 모델 : 이전 단계 완료되어야 다음 단계 진행 (Top-Down)
- 나선형 모델 : 여러 개발과정 거쳐 점진적으로 완성, 위험요소 제거 초점
- 프로토타입 모델 : 일부분(프로토타입)을 우선 개발하고 보완
- 반복적 모델
- 증분형 모형 : 전체 시스템을 작은 기능 단위로 나누어 개발
- 진화형 모형 : 핵심 부분을 개발한 후 요구사항을 반영하여 진화
- 애자일 : 짧은 개발 주기를 가지고 고객 피드백을 지속적으로 반영하여 반복적인 개발
다음 방법론들은 모든 과정을 암기하고 세부 내용을 알아야 문제를 풀 수 있는 중요한 파트입니다.
여기서 불합격자를 만들고 싶지 않다면 해당 방법론에서의 프로세스를, 불합격자를 만들고 싶다면 절차마다의 내용을 물어볼 수 있습니다.
★★★KDD 분석 방법론
KDD는 데이터 마이닝 프로세스이다.
프로세스
데이터 선택 → 데이터 전처리 → 데이터 변환 → 데이터 마이닝 → 결과 평가
- 데이터선택 : 원시데이터(Raw Data)나 DB에서 필요한 데이터 선택
- 전처리 : 이상값, 잡음 식별 및 데이터 가공
- 변환 : 변수 선택 및 차원축소
- 마이닝 : 알고리즘을 선택하여 분석 수행
- 결과 평가 : 결과에 대한 해석, 결과가 충족되지 않으면 절차를 반복 수행
→ "데선 전변 마이 평가"
★★★Crisp-DM 분석 방법론
KDD와 비슷하나 더 세분화된 방법론이다.
프로세스
업무 이해 → 데이터 이해 → 데이터 준비 → 모델링 → 평가 → 전개
→ "업데데이트모델평가전"
- 업무 이해 : 업무 목적 파악, 상황파악, 목표 설정, 프로젝트 계획 수립
- 데이터 이해 : 초기 데이터 수집, 기술 분석, EDA, 데이터 품질 확인
- 데이터 준비 : 데이터 셋 선택 및 정제, 통합
- 모델링 : 모델링 기법 선택 ,테스트 계획 설계, 모델 작성 및 평가
※ 낚시 조심 - 평가 : 분석결과 평가, 모델링 과정 평가, 모델 적용성 평가
- 전개 : 전개 계획, 모니터링 및 유지보수 계획 수립, 프로젝트 종료 보고서 작성, 프로젝트 리뷰
※ 평가 → 전개에서 위대한 실패(업무 이해로 다시 돌아감) 발생 가능
SEMMA 분석 방법론
해당 방법론은 책에서 소개하진 않지만, 아답터님 유튜브에서 한 번 다뤄주셨기 때문에, 한 번 정리하고 넘어갑니다.
자격증 시험이라는게 규격화된 시험 범위가 있는게 아니라서, 나올수도 아닐수도 있어요.
프로세스
Sample → Explore → Modify → Model → Assess
- Sample : 분석 대상 데이터 추출
- Explore : 탐색하고 오류 확인
- Modify : 데이터의 변환
- Model : 알고리즘 적용
- Assess : 모델의 평가 및 검증
★★★빅데이터 분석 방법론
※ 순서, 세부내용 모두 중요합니다. 꼭 한 문제가 나온다고 해도 과언이 아니에요.
| Planning (분석기획) |
Preparing (데이터 준비) |
Analyzing (데이터 분석) |
Developing (시스템 구현) |
Deploying (평가 및 전개) |
| 비즈니스 이해 및 범위 설정 | 필요 데이터 정의 | 분석용 데이터 준비 | 설계 및 구현 | 모델 발전 계획 수립 |
| 프로젝트 정의 및 계획 수립 | 데이터 스토어 설계 | 텍스트 분석 | 시스템 테스트 및 운영 | 프로젝트 평가 및 보고 |
| 프로젝트 위험계획 수립 | 데이터 수집 및 정합성 점검 | 탐색적 분석 | ||
| 모델링 | ||||
| 모델 평가 및 검증 | ||||
| 모델 적용 및 운영 방안 수립 |
-> "PPADD"
1. 분석 기획
- 비즈니스 범위 설정 : SOW(Statement Of Works) - 구조화된 프로젝트 정의서
- 프로젝트 위험계획 수립 : 회피, 전이, 완화, 수용
- 위험이 닥쳤을 때 : 회피하거나(회피), 남한테 넘기거나(전이), 완화시키거나(완화), 받아들여야 한다.(수용)
→ "회전완수"
2. 데이터 준비
- 데이터 스토어 설계 : 정형, 비정형, 반정형 데이터에 따른 효율적 저장소를 설계
3. 데이터 분석
- 분석용 데이터 준비 : 추가적인 데이터 확보 필요 시, 데이터 준비 단계로 다시 진행
- 의사 코드 : 일반적인 언어로 프로그래밍 언어의 알고리즘을 유사한 형식으로 써 놓은 것
- 모델링 : 알고리즘 설명서는 상세히 작성
- 모델 평가 및 검증 : 성능이 저조한 모델은 튜닝 작업 수행
- 피드백이 이뤄지는 구간이다. 분석이 만족되지 않는다면, 데이터 준비로 다시 돌아간다.
하향식 접근 방법
- 문제가 주어지고 해답을 찾기 위해 진행한다.(전통적인 방식이다.)
문제 탐색 → 문제 정의 → 해결 방안 → 타당성 검토
1. 문제 탐색
- 빠짐없이 문제를 도출하고 식별하며, 솔루션 초점 보다는 가치에 초점
- 비즈니스 모델 캔버스 단순화 측면 : 업무, 제품, 고객, 규제와 감사, 지원 인프라
→ "지원인프라 업무 중에 고객이 제품을 규제하고 감사했다." - 관점
- 거시적 관점 : STEEP(사회, 기술, 경제, 환경, 정치)
- 경쟁자 확대 관점 : 대체자, 경쟁자, 신규 진입자
- 시장의 니즈 탐색 관점 : 고객, 채널, 영향자
2. 문제 정의
- 비즈니스 문제를 데이터 문제로 변환해 정의
3. 해결 방안
- 기존 시스템 활용, 시스템 고도화, 인적 자원 확보, 아웃소싱 등
4. 타당성 검토
- 경제적 타당성 : 비용대비 편익 분석관점 접근
- 데이터 타당성 : 데이터 존재여부, 분석역량 필요
- 기술적 타당성 : 역량 확보 방안 사전에 수립
상향식 접근 방법
- 문제 정의 자체가 어려울 때, 사물을 그대로 인식하는 What 관점
- 주로 비지도 학습
혼합 접근 방법
- 발산 단계 : 상향식 접근 방법으로서, 가능한 방안들을 도출
- 수렴 단계 : 하향식 접근 방법으로서, 도출된 방안들을 분석
디자인 싱킹(더블 다이아몬드 프로세스)
- 사용자에 공감으로 시작해서 아이디어 발산/수렴 과정을 통한 피드백으로 발전하는 과정
- 공감하기 → 문제정의 → 아이디어 도출 → 프로토타입 → 테스트
여태까지는 이 순서를 물어봤으나, 어려워지면 세부내용을 물어볼 수도 있다.
지도학습, 비지도학습
- 지도 학습 : 정답이 있는 데이터를 학습 (하향식 접근법)
- 분류분석, 회귀분석, 의사결정트리, KNN, SVM
- 비지도 학습 : 정답이 없는 데이터를 학습 (상향식 접근법)
- 군집분석, 차원축소, 연관규칙분석
※ 해당 내용은 3장에서 더 자세하게 다룹니다.