빅데이터분석기사13 [빅데이터분석기사 필기] 2-2 데이터 탐색 1. 데이터 탐색 개요가. 탐색적 데이터 분석(EDA)주어진 데이터만 가지고도 충분한 정보를 찾을 수 있도록 개발한 데이터 분석 방법다양한 차원과 값을 조합해가며 특이한 점이나 의미 있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정으로, 데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법들의 통칭데이터의 값을 눈으로 보면서 전체적인 추세와 어떤 특이사항이 있는지 관찰할 수 있고, 여기서 사용되는 기본 도구는 도표, 그래프, 통계요약이다. 탐색적 자료분석확증적 자료분석조사 종류탐색조사전략조사목적통찰을 얻어 방향설정마케팅 행동안에 평가로 채택 여부 결정사용되는 통계기술통계가설검정에 사용되는 추론통계비교기준치와 비교결과물- 평균이나 퍼센트, 분포도에 의한 요약- 이차원 분할표나 상관계수에 의한 .. 2024. 8. 11. [빅데이터분석기사 필기] 2-1 데이터 전처리 1. 데이터 전처리의 필요성데이터 전처리는 로우 데이터에 대한 정제, 데이터 통합, 데이터 변환 등의 과정을 수행하여 진행하고자 하는 분석에 최적화된 형태로 데이터를 변형하는 과정에 해당데이터 확보는 양뿐만 아니라 질적인 측면까지 동시에 고려해야 함데이터 다양성은 분석 모델의 완성도를 높일 수 있는 등 현실을 반영하는 데이터를 의미확보된 데이터가 분석이 가능한 형태로 준비되어야 함2. 데이터 전처리 유형데이터 정제: 데이터 내의 결측치와 이상치를 파악하고, 이들을 제거하거나 적절한 값으로 대치하여 데이터를 다듬는 작업데이터 통합: 여러 테이블에 저장된 데이터들을 병합하거나 통합하여 분석에 적절한 데이터셋을 생성하는 작업데이터 축소: 분석에 필요한 변수들만 선택하거나 데이터의 특성을 반영하고 있는 요약변수.. 2024. 8. 10. [빅데이터분석기사 필기] 1-3 데이터 수집 및 저장 계획 1. 데이터 수집가. 데이터 수집 기법빅데이터 수집 기법구분특징대상Log Aggregator웹 서버 로그, 웹로그, 트랜잭션 로그, DB로그 등 각종 서비스 로그 수집 오픈 소스 기술로그 데이터 수집크롤링SNS, 웹 뉴스 정보 등 인터넷상에서 제공되는 웹 문서에 대한 정보 수집웹 문서 수집스크래핑인터넷 웹 사이트에 노출되는 내용 중 특정 정보만을 추출하고, 추출과 관련된 모든 동작을 자동 수행하는 기술웹 데이터 수집FTPTCP/IP 프로토콜을 이용하여 인터넷 서버로부터 각종 파일 송수신파일 수집Open API서비스, 정보, 데이터 등 오픈된 정보로부터 API를 통해 데이터를 수집하는 기술실시간 데이터 수집RSS웹상의 최신 정보를 공유하기 위한 XML 기반의 콘텐츠 배급 프로토콜Contents 수집Stre.. 2024. 8. 7. [빅데이터분석기사 필기] 1-2 데이터 분석 계획 1. 데이터 분석 기획의 방향 가. 분석기획 이란분석 기획: 실제 분석을 수행하기에 앞서 분석을 수행할 과제를 정의하고, 의도했던 결과를 도출할 수 있도록 이를 적절하게 관리할 수 있는 방안을 사전에 계획하는 일련의 작업데이터 사이언티스트의 필요 역량Math & StatisticsInformationTechnologyDomain Knowledge나. 분석의 유형Optimization(최적화): 분석 대상과 분석 방법을 이해하여 현 문제를 최적화 형태로 수행 (분석대상 o, 분석 방법 o)Solution(솔루션): 분석 대상을 잘 알고 있지만 분석 방법을 모를 경우 솔루션을 찾아서 분석 (분석대상 o, 분석 방법 x)Insight(통찰): 분석 대상에 대해서는 명확히 알 수 없지만 분석 방법을 잘 알고 .. 2024. 8. 4. 이전 1 2 3 4 다음