noti note

여러모로 탈도 많은 시험이였던 것 같습니다.

원래 작년 12월에 볼 예정이였던 시험이 코로나로 인해 취소되고 올해 보게 되었는데요.

난이도는 10점 만점에 6점 정도 된것 같습니다. (저는 전공자+Adsp합격자 입니다) 솔직히 문제 퀄리티가 너무 낮아서 어떻게 평가해야할지도 모르겠네요. 

공부한 기간은 총 5일정도이고 교재는 수제비를 사용했습니다.

아무래도 분석기법이나 용어에는 익숙해서 편하게 공부한 것 같습니다.

합격결과 추가

무난하게 합격했습니다. (1과목이 무서웠네요)

실기 결과

역시나 무난했습니다. 작업형 제 2유형에서 0점 처리 받은 분들이 많아 항의? 한다는 분들이 많은거 같은데... 완만하게 잘 해결되었으면 좋겠습니다.

리뷰 : https://cafe.naver.com/sqlpd/21412

국가 기술 빅데이터 분석기사

국가기술 자격

• 관련 근거

국가기술자격법 및 동법 시행령

• 빅데이터분석기사 정의

빅데이터 이해를 기반으로 빅데이터 분석 기획, 빅데이터 수집·저장·처리, 빅데이터 분석 및 시각화를 수행하는 실무자를 말한다.

• 빅데이터분석기사의 필요성

전 세계적으로 빅데이터가 미래성장동력으로 인식돼, 각국 정부에서는 관련 기업투자를 끌어내는 등 국가·기업의 주요 전략분야로 부상하고 있다.

국가와 기업의 경쟁력 확보를 위해 빅데이터 분석 전문가의 수요는 증가하고 있으나, 수요 대비 공급 부족으로 인력 확보에 어려움이 높은 실정이다.

이에 정부차원에서 빅데이터 분석 전문가 양성과 함께 체계적으로 역량을 검증할 수 있는 국가기술자격 수요가 높은 편이다.

• 빅데이터분석기사의 직무

대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 정형/비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무를 수행한다.

필기시험

1. 빅데이터 분석 기획

• 빅데이터의 이해
  • 빅데이터 개요 및 활용
    • 빅데이터의 특징
    • 빅데이터의 가치
    • 데이터 산업의 이해
    • 빅데이터 조직 및 인력
  • 빅데이터 기술 및 제도
    • 빅데이터 플랫폼
    • 빅데이터와 인공지능
    • 개인정보 법/제도
    • 개인정보 활용
• 데이터분석 계획
  • 분석방안수립
    • 분석 로드맵 설정
    • 분석 문제 정의
    • 데이터 분석 방안
  • 분석 작업 계획
    • 데이터 확보 계획
    • 분석 절차 및 작업 계획
• 데이터 수집 및 저장 계획
  • 데이터 수집 및 전환
    • 데이터 수집
    • 데이터 유형 및 속성 파악
    • 데이터 변환
    • 데이터 비식별화
    • 데이터 품질 검증
  • 데이터 적재 및 저장
    • 데이터 적재
    • 데이터 저장

2. 빅데이터 탐색

• 데이터 전처리
  • 데이터 정제
    • 데이터 정제
    • 데이터 결측값 처리
    • 데이터 이상값 처리
  • 분석 변수 처리
    • 변수 선택
    • 차원 축소
    • 파생변수 생성
    • 변수 변환
    • 불균형 데이터 처리
• 데이터 탐색
  • 데이터 탐색 기초
    • 데이터 탐색 개요
    • 상관관계 분석
    • 기초통계량 추출 및 이해
    • 시각적 데이터 탐색
  • 고급 데이터 탐색
    • 시공간 데이터 탐색
    • 다변량 데이터 탐색
    • 비정형 데이터 탐색
• 통계기법 이해
  • 기술통계
    • 데이터오약
    • 표본추출
    • 확률분포
    • 표본분포
  • 추론통계
    • 점추정
    • 구간추정
    • 가설검정

3. 빅데이터 모델링

• 분석모형 설계
  • 분석 절차 수립
    • 분석모형 선정
    • 분석모형 정의
    • 분석모형 구축 절차
  • 분석 환경 구축
    • 분석 도구 선정
    • 데이터 분할
• 분석기법 적용
  • 분석기법
    • 회귀분석
    • 로지스틱 회구분석
    • 의사결정나무
    • 인공신경망
    • 서포트벡터머신
    • 연관성분석
    • 군집분석
  • 고급 분석기법
    • 범주형 자료 분석
    • 다변량 분석
    • 시계열 분석
    • 베이지안 기법
    • 딥러닝 분석
    • 비정형 데이터 분석
    • 앙상블 분석
    • 비모수 통계

4. 빅데이터 결과 해석

• 분석모형 평가 및 개선
  • 분석모형 평가
    
    • 평가 지표
    • 분석모형 진단
    • 교차 검증
    • 모수 유의성 검정
    • 적합도 검정
  • 분석모형 개선
    • 과대적합 방지
    • 매개변수 최적화
    • 분석모형 융합
    • 최종모형 선정
• 분석결과 해석 및 활용
  
  • 분석 결과 해석
    • 분석모형 해석
    • 비즈니스 기여도 평가
  • 분석결과 시각화
    • 시공간 시각화
    • 관계 시각화
    • 비교 시각화
    • 인포그래픽
  • 분석결과 허용
    • 분석모형 전개
    • 분석결과 활용 시나리오 개발
    • 분석모형 모니터링
    • 분석모형 리모델링

실기시험

차후에 업데이트 예정

합격 기준

필기시험 합격 기준은 과목당 100점 만점으로

1. 전 과목 40점 이상

2. 전 과목 평균 60점 이상 

달성 입니다.

실기시험은 100점을 만점으로 60점 이상 받으면 됩니다.

후기

공부는 수제비 책으로 진행하였습니다.

수제비가 생각보다 적중률이 낮은 것 같다고 느꼈는데, 다른 책도 비슷하지 않을까 생각합니다. (그래도 적당히 비슷하게 나오긴 했습니다. ㅎㅎ)

위에서 난이도 6점으로 말씀드렸던 이유는 각 과목당 8/20 (8문제) 정도는 맞출 수 있는 난이도이지 였던 것 같습니다. 합격하려면 물론 60점을 넘겨야 하지만, 공부를 열심히 하신 분들이라면 충분히 맞출 수 있었다고 생각합니다.

첫 회차여서 그런지 이슈가 꽤 있더군요

1. 장소 안내 부족

2. 문제 오류 및 안내 부족

3. Adsp?가 떠오르는 문제 유형

1. 저는 잠원중학교에서 시험을 봐서 장소에 대한 이슈는 없었는데, 우송대학교에서 보신분들은 이슈가 꽤 있으시더라고요. (서캠퍼스/동캠퍼스 이슈, 수험표와 다른 캠퍼스 장소). 시험을 못 볼수도 있는 이슈인데 장소고지를 더 구체적으로 할 필요가 있다고 생각합니다.

2. 이건 시험 보신분들이면 다들 공감하실거 같은데 정~말정말 문제가 많았습니다. 상대적으로 갓-큐넷이 떠오르더라고요. 문제 퀄리티가.. 오탈자는 기본이고, 4지 선다 보기가 1. (가) 2. (나) 3. (다) 4. (가) (나) (다) 가 뭔지요..

수능문제가 이렇게 나왔다면 9시 뉴스 헤드라인 감인데 말이죠

가장 큰 문제는 시험지 앞에 있는 복수정답 안내이슈입니다. 대부분의 수험생이 못 본 것으로 알고 있는데, 이런 중요한 안내사항은 당연히 안내가 따로 필요하다고 생각합니다. (아나운서가 이런거나 알려주지..., 기본적으로 시험지에 적혀 있는 안내사항은 다 읽어주는 걸로 알고 있는데 말이죠 허허허허허허허)

ex) 박스플롯에서 볼 수 없는 것은? (평균, 분산, 최대값, 이상치) 이런 문제에서 답은 1번과 2번을 골라야 하는 어처구니 없는 상황을 겪었습니다. (아 물론 plot setting 을 통해서 평균을 볼 수 도 있겠죠. 그렇다고 한다면, 다른 문제에서도 다 반례를 찾을 수 있으니 basic plot 으로 생각해서 문제가 있다고 생각합니다. 암튼, 코로나로 인해서 약 4개월 정도 밀린 시험이라고 하기에는 완성도가 매우 떨어졌습니다.)

3. 데이터 전문가, AI전문가를 육성하기 위한 목적의 시험으로 알고 있습니다. 근데 저는 사조사(사회조사분석사) 자격증이 떠오르는 걸까요? 문제자체에서 전문가 냄새가 하나도 안났습니다. 단순히 통계학 기반의 문제들이 많았고 난이도 있는 문제들은 문제 수준이 높은 게 아니라 말장난 때문에 난이도가 있다고 느껴졌습니다. 

ex) 신경망에서 dropout은 특정 신경을 끊어버리는 것이다. - 노드를 비활성화한다는 표현이 좀 더 범용적이고 일반적인 표현이 아닐까 생각해 봅니다. 

이러한 이슈를 극복하기 위해서는 필기시험지는 공개할 필요가 있다고 봅니다.

이슈 안만들려고 공개 안하는게 아닌가 생각도 들고... 

저는 기도메타로 60점 넘기를 기원해 보겠습니다.

다음 회차에 시험이 어떻게 나올지는 모르겠는데 도움이 되길 바라며 제가 기억나는 문제 키워드들을 적어 놓았으니 다음 회차에 보시는 분들은 참고하시길 바랍니다.

데이터 진흥원 시험에 대한 정보가 많은 카페입니다. 정보가 필요하신 분은 참고하셔도 좋을 것 같습니다.

cafe.naver.com/sqlpd

한국 데이터 산업 진흥원은 각성해야 할지도?

복수정답

데이터 진흥원(위 링크)에 원본 글이 있으니 참고하시길 바랍니다.

본 포스팅은 제가 공부한 것을 정리한 내용입니다.

1. 분석 방안 수립

1) 분석 로드맵 설정

(1) 분석 로드맵 개념

• 단계별로 추진하고자 하는 목표를 명확히 정의하고, 선/후해 ㅇ단계를 고려해 단계별 추진내용을 정렬한다.
  •  

(2) 분석 로드맵 단계

• 데이터 분석 체계 도입
  • 추진과제 
    • 분석 기회 발굴, 분석 과제 정의, 로드맵 수립
  • 추진목표
    
    • 비즈니스 약점이 무엇인지 식별, 분석 과제를 정의하고 로드맵 수립
• 데이터 분석 유효성 검증
  • 추진과제
    • 분석 알고리즘 설계, 아키텍처 설계, 분석 과제 파일럿 수행
  • 추진목표
    • 분석 과제에 대한 파일럿 수행, 유효성/타당성 검증, 기술 실현 가능성을 검증, 분석 알고리즘 및 아키텍처 설계
• 데이터 분석 확산 및 고도화
  
  • 추진과제
    • 변화관리, 시스템 구축, 유관 시스템 고도화
  • 추진목표
    • 검증된 분석 과제를 업무 프로세스에 내재화하기 위한 변화관리 실시, 빅데이터 분석/활용 시스템 구축 및 유관시스템을 고도화

2) 분석 문제 정의

(1) 분석 문제의 의미

• '과제'는 처리해야 할 문제(이슈)이며, '분석'은 과제와 관련된 현상이나 원인, 해결방안에 대한 자료를 수집 및 분석하여 의사 결정에 활용하는 활동
•  문제라는 것은 기대 상태와 현재 상태를 동일한 수준으로 맞추는 과정
• 이 과정에서 제약 조건을 파악하고, 잠재원인을 진단하고 관련된 데이터를 수집, 가공, 분석하는 활동을 수행한다.
• 하향식 접근 방식과 상향식 접근 방식을 반복적으로 수행하면서 상호 보완하여 분석과제를 발굴
• 과제 발굴 이후 '분석 과제 정의서' 산출물을 작성

(2) 하향식 접근 방식

• Top Down Approach (하향식 접근 방식) 개념
  • 하향식 접근 방식은 분석 과제가 정해져 있고 이에 대한 해법을 찾기 위해 체계적으로 분석하는 방법
• 하향식 접근 방식을 이용한 과제 발굴 절차
  1. 문제 탐색
  2. 문제 정의
  3. 해결방안 탐색
  4. 타당성 검토 과정

(3) 상향식 접근 방식

• Bottom Up Approach (상향식 접근 방식) 개념
  • 문제 정의 자체가 어려운 경우 데이터를 기반으로 문제를 지속적으로 개선하는 방식
  • 기존 하향식 접근법의 한계를 극복하기 위한 분석 방법론으로써 "디자인 사고" 접근법을 사용하여 객관적인 데이터 그 자체를 관찰하고 실제적으로 행동에 옮겨 대상을 이해하는 방식을 적용한다
• 상향식 접근 방식 특징
  • 비지도 학습 방법 사용
    • 데이터 자체의 결합, 연관성, 유사성 등을 중심으로 데이터의 상태 분석
    • 장바구니 분석, 군집 분석, 기술 통계, 프로파일링 등의 기술을 사용
  • 프로토타이핑 접근법 사용
    • 시행착오를 통한 문제 해결을 위해 사용
    • 가설의 생성(Hypotheses), 디자인에 대한 실험(Design Experiments), 실제 환경에서의 테스트(Test), 테스트 결과에서의 통찰(Insight) 도출 및 가설 확인의 프로세스로 실행

(4) 대상별 분석 기획 유형

대상별 분석 기획 유형

• 최적화(Optimization)
  • 개선을 통한 최적화 형태로 분석을 수행
• 솔루션(Solution)
  • 해당 분석 주제에 대한 솔루션을 찾아냄
• 통찰(Insight)
  • 새로운 지식인 통찰을 도출
• 발견(Discovery)
  • 분석의 대상 자체를 새롭게 도출

(5) 데이터 분석 과제 추진 시 고려해야 하는 우선순위 평가 기준

• 빅데이터 분석 과제 추진 시 고려해야 하는 우선순위 평가 기준은 시급성과 난이도가 있음
• 시급성
  • 목표 가치와 전략적 중요도에 부합하는지에 따른 시급성이 가장 중요한 기준임
  • 시급성의 판단 기준은 전략적 중요도가 핵심사항
  • 분석 과제의 목표 가치와 전략적 중요도를 현재의 관점에서 둘 것인지, 미래의 관점에 둘 것인지를 함께 고려하여 시급성 여부 판단 필요
• 난이도
  • 현재 기업의 분석 수준과 데이터를 생성, 저장, 가공, 분석하는 비용을 고려한 난이도는 중요한 기준
  • 난이도는 현시점에서 과제를 추진하는 것이 범위 측면과 적용 비용 측면에서 바로 적용하기 쉬운 것인지 또는 어려운 것인지에 대한 판단 기준으로 데이터 분석의 적합성 여부의 기준이 됨
• 우선순위 선정 기준을 토대로 난이도 또는 시급성을 고려하여 분석 과제를 4가지 유형으로 구분하여 분석 과제의 적용 우선순위 결정

• 우선순위 선정 기준을 토대로 난이도 또는 시급성을 고려하여 분석과제를 4가지 유형으로 구분하여 분석 과제의 적용 우선순위 결정
  • 사분면 영역에서 가장 우선적인 분석 과제 적용이 필요한 영역은 3사분면이다.
  • 전략적 중요도가 현재 시점에는 상대적으로 낮은 편이지만 중장기적으로는 경영에 미치는 영향도가 높고, 분석 과제를 바로 적용하기 어려워 우선순위가 낮은 영역은 2사분면이다.
  • 분석 과제의 적용 우선순위 기준을 '시급성'에 둔다면 3사분면 $\rightarrow$ 4사분면 $\rightarrow$ 2사분면 영역 순이며, 우선순위 기준을 '난이도'에 둔다면 3사분면 $\rightarrow$ 1사분면 $\rightarrow$ 2사분면 영역 순으로 의사결정 가능

3) 데이터 분석 방안

(1) 빅데이터 분석 방법론 개념

• 빅데이터를 분석하기 위해 문제를 정의하고 답을 도출하기 위한 체계적인 절차와 처리 방법
• 데이터 분석 방법론의 구성요소에는 절차, 방법, 도구와 기법, 템플릿과 산출물이 존재

(2) 빅데이터 분석 방법론 계층

• 단계(Phase)
  • 프로세스 그룹을 통하여 완성된 단계별 산출물이 생성, 기준선으로 설정 관리하며, 버전 관리 등을 통한 통제
• 태스크(Task)
  • 단계를 구성하는 단위 활동, 물리적 또는 논리적 단위로 품질 검토의 항목이 될 수 있음
• 스탭(Step)
  • 입력자료(Input), 처리 및 도구(Process & Tool), 출력자료(Output)로 구성된 단위 프로세스(Unit Process)

(3) 빅데이터 분석 방법론의 분석 절차

• 분석 기획
  • 비즈니스 이해 및 범위 설정
  • 프로젝트 정의 및 계획 수립
  • 프로젝트 위험 계획 수립
• 데이터 준비
  • 필요 데이터 정의
  • 데이터 스토어 설계
  • 데이터 수집 및 정합성 검증
• 데이터 분석
  • 분석용 데이터 준비
  • 텍스트 분석
  • 탐색적 분석(EDA)
  • 모델링
  • 모델 평가 및 검증
  • 모델 적용 및 운영 방안 수립
• 시스템 구현
  • 설계 및 구현
  • 시스템 테스트 및 운영
• 평가 및 전개
  • 모델 발전 계획 수립
  • 프로젝트 평가 보고

(4) 분석 방법론 유형

• KDD 분석 방법론(Knowledge Discovery in Databases)
  • 1996년 Fayyad가 프로파일링 기술을 기반으로 통계적 패턴이나 지식을 찾기 위해 체계적으로 정리한 방법론
  • 절차
    1. 데이터 세트 선택
    2. 데이터 전처리
    3. 데이터 변환
    4. 데이터 마이닝
    5. 데이터 마이닝 결과 평가
• CRISP-DM 분석 방법론
  • 개념
    • 비즈니스의 이해를 바탕으로 데이터 분석 목적의 6단계로 진행되는 데이터 마이닝 방법론
    • 1996년 유럽연합의 ESPRIT 프로젝트에서 시작한 방법론으로 1997년 SPSS 등이 참여하였으나 현재에는 중단
  • 방법론 구성
    • 단계(Phase) : 최상위 레벨
    • 일반화 태스크(Generic Tasks) : 데이터 마이닝의 단일 프로세스를 완전하게 수행하는 단위, 각 단계는 일반화 태스크 포함
    • 세분화 태스크(Specialized Tasks) : 일반화 태스크를 구체적으로 수행하는 레벨
    • 프로세스 실행(Process Instances) : 데이터 마이닝을 위한 구체적인 실행
  • 분석 절차
    1. 업무 이해
    2. 데이터 이해
    3. 데이터 준비
    4. 모델링
    5. 평가
    6. 전개

• SEMMA 분석 방법론
  • 분석 솔루션 업체 SAS가 주도한 통계 중심의 5단계(샘플링 $\rightarrow$ 탐색 $\rightarrow$ 수정 $\rightarrow$ 모델링 $\rightarrow$ 검증) 방법론이다.
  • 분석 절차
    • 샘플링
    • 탐색
    • 수정
    • 모델링
    • 검증

2. 분석 작업 계획

1) 데이터 확보 계획

• 빅데이터 분석 목적 달성을 위해 데이터 특성에 맞는 수집 방법을 선정

(1) 데이터 획득 방안 수립

• 내외부의 다양한 시스템으로부터 정형/비정형/반정형 데이터를 수집하기 위한 구체적인 방안 수립
• 내부 데이터 획득에는 부서 간 업무협조와 개인정보보호 및 정보보안과 관련된 문제점을 사전에 점검하고, 외부 데이터 획득은 시스템 간 다양한 인터페이스 및 법적인 문제점을 고려하여 상세한 데이터 획득 계획을 수립

(2) 데이터 확보 계획 수립 절차

• 데이터 확보 계획 수립 절차
  • 목표 정의
    • 성과 목표 정의, 성과 지표 설정
  • 요구사항 도출
    • 데이터 및 기술 지원 등과 관련된 요구사항 도출
  • 예산안 수립
    • 자원 및 예산 수립
  • 계획 수립
    • 인력 투입 방안, 일정 관리, 위험 및 품질관리

2) 분석 절차 및 작업 계획

(1) 빅데이터 분석 절차

• 분석 절차
  • 문제 인식
  • 연구조사
  • 모형화
  • 자료 수집
  • 자료 분석
  • 분석 결과 공유

(2) 빅데이터 분석 작업 WBS 설정

• WBS 설정
  • 데이터 분석 과제 정의
    • 분석 목표 정의서를 기준으로 프로젝트 전체 일정에 맞게 사전 준비를 하는 단계
    • 단계별 필요 산출물, 주요 보고 시기 등으로 구분하여 세부 단위별 일정과 전체 일정이 예측될 수 있도록 일정을 수립
  • 데이터 준비 및 탐색
    • 데이터 처리 엔지니어와 데이터 분석가의 역할을 구분하여 세부 일정이 만들어지는 단계
    • 분석 목표 정의서에 기재된 내용을 중심으로 데이터 처리 엔지니어가 필요 데이터를 수집하고 정리하는 일정 수립
    • 데이터 분석가가 분석에 필요한 데이터들로부터 변수 후보를 탐색하고 최종적으로 도출하는 일정 수립
  • 데이터 분석 모델링 및 검증
    • 데이터 준비 및 탐색이 완료된 이후 데이터 분석 가설이 증명된 내용을 중심으로 데이터 분석 모델링을 진행하는 단계
    • 데이터 분석 모델링 과정에 대해서는 실험방법 및 절차를 구분
    • 기획하고 검증하는 내용에 대해 자세한 일정을 수립
  • 산출물 정리
    • 데이터 분석 단계별 산출물을 정리하고, 분석 모델링 과정에서 개발된 분석 스크립트 등을 정리하여 최종 산출물로 정리하는 단계