ADsP5 [ADsP 요약] 3과목. 데이터 분석(3) 제5장 정형 데이터마이닝 제1절 데이터마이닝의 개요 • 데이터마이닝 - 대용량 데이터에서 의미있는 패턴을 파악하거나 예측하여 의사결정에 활용하는 방법 - 통계분석은 가설이나 가정에 따른 분석이나 검증을 하지만 데이터마이닝은 다양한 알고리즘을 활용하여 데이터로부터 의미있는 정보를 찾아내는 방법을 통칭한다. • 데이터마이닝 추진 단계 1. 목적 설정 - 데이터마이닝을 위한 명확한 목적을 설정한다. 2. 데이터 준비 - 모델링을 위한 다양한 데이터를 준비한다. 데이터 정제를 통해 데이터의 품질을 보장하고, 필요 시 데이터를 보강하여 충분한 양의 데이터를 확보한다. 3. 가공 - 모델링 목적에 따라 목표 변수를 정의한다. - 데이터를 분석 기법에 적용할 수 있는 형식으로 가공한다. 4. 기법 적용 - 설정한 목.. 2023. 7. 27. [ADsP 요약] 3과목. 데이터 분석(2) 제4장 통계 분석 제1절 통계분석의 이해 • 통계 - 특정 집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현 • 통계자료의 획득 방법 - 총 조사(census): 대상 집단 모두를 조사하는 것. 많은 비용과 시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않는다. - 표본조사: · 모집단: 조사하고자 하는 대상 집단 전체 · 원소: 모집단을 구성하는 개체 · 표본(sample): 조사하기 위해 추출한 모집단의일부 원소 · 모수: 표본 관측에 의해 구하고자 하는 모집단에 대한 정보 · 모집단의 정의, 표본의 크기, 조사방법, 조사기간, 표본추출방법을 정확히 명시해야 한다. - 표본 추출 방법에 따라 분석 결과 해석에 큰 차이가 발생한다. 1. 단순랜덤추출법(simple r.. 2023. 7. 27. [ADsP 요약] 3과목. 데이터 분석(1) 제1장 데이터 분석 개요 제1절 데이터 분석 기법의 이해 • 데이터 처리 - 데이터 웨어하우스(DW)와 데이터 마트(DM)을 통해 분석 데이터를 구성한다. - 신규 데이터나 DW에 없는 데이터는 기존 운영시스템(legacy)에서 가져오기 보다는 운영시스템에서 임시로 데이터를 저장하는 스테이징 영역(Staging area)에서 데이터를 전처리해서 DW, DM과 결합하여 데이터를 구성하도록 한다. - 또는 ODS(Operational Data Store)에서 운영시스템과 유사한 정제된 데이터를 가져와서 DW에서 가져온 내용과 결합하여 활용한다. - 최종 데이터 구조로 가공한다. · 시뮬레이션: 모델링에 적합한 단계별 처리시간에 대한 분포를 파악할 수 있는 내용과 유형, 그에 따른 특성을 속성으로 만든다. ·.. 2023. 7. 27. [ADsP 요약] 2과목. 데이터 분석 기획 제1장 데이터 분석 기획 이해 제1절 분석 기획 방향성 도출 • 분석 기획의 정의 - 실제 분석을 수행하기에 앞서 분석을 수행할 과제의 정의 및 의도했던 결과를 도출할 수 있도록 하는 방안을 사전에 계획하는 일련의 작업 - 분석 과제 및 프로젝트를 직접 수행하는 것은 아니지만, 어떠한 목표를 달성하기 위하여 어떤 데이터를 가지고 어떤 방식으로 수행할지에 대한 일련의 계획을 수립하는 작업이기 때문에 성공적인 분석 결과를 도출하기 위한 중요한 사전 작업 - 분석을 기획한다는 것은 해당 문제 영역에 대한 전문성 역량 및 수학/통계학적 지식을 활용한 분석 역량과 분석의 도구인 데이터 및 프로그래밍 기술 역량에 대한 균형 잡힌 시각을 가지고 방향성 및 계획을 수립해야 한다는 것을 의미 - 목표 시점 별로는 당면한.. 2023. 7. 27. 이전 1 2 다음