본문 바로가기

분류 전체보기91

[빅데이터분석기사 필기] 2-3 통계기법의 이해 1. 표본 표출가. 표본조사개요어떤 대상집단에 대한 조사방법은 그 집단의 구성원 모두를 조사하는 전수조사와 대상집단의 일부를 표본으로 하는 표본조사가 있다.장점전수조사에 비해 시간과 비용을 절약전수조사가 불가능한 경우에 적용 가능비표본 오차를 줄여 전수조사보다 정확한 자료를 획득할 수 있음자료의 수집, 집계 및 분석과정을 신속하게 처리단점표본설계가 복잡한 경우 시간과 비용이 낭비될 수 있음표본의 대표성 문제가 제기되면 일반화의 가능성이 낮아짐모집단의 크기가 작을 경우에는 표집 자체가 무의미용어모집단: 조사하고자 하는 대상집단 전체원소: 모집단을 구성하는 개체표본: 조사하기 위해 뽑은 모집단의 일부 원소들모수: 표본관측에 의해 구하고자 하는 정보표집틀: 표본추출시 필요한 모집단의 구성요소와 표본추출 단계별.. 2024. 8. 11.
[빅데이터분석기사 필기] 2-2 데이터 탐색 1. 데이터 탐색 개요가. 탐색적 데이터 분석(EDA)주어진 데이터만 가지고도 충분한 정보를 찾을 수 있도록 개발한 데이터 분석 방법다양한 차원과 값을 조합해가며 특이한 점이나 의미 있는 사실을 도출하고 분석의 최종 목적을 달성해가는 과정으로, 데이터의 특징과 내재하는 구조적 관계를 알아내기 위한 기법들의 통칭데이터의 값을 눈으로 보면서 전체적인 추세와 어떤 특이사항이 있는지 관찰할 수 있고, 여기서 사용되는 기본 도구는 도표, 그래프, 통계요약이다. 탐색적 자료분석확증적 자료분석조사 종류탐색조사전략조사목적통찰을 얻어 방향설정마케팅 행동안에 평가로 채택 여부 결정사용되는 통계기술통계가설검정에 사용되는 추론통계비교기준치와 비교결과물- 평균이나 퍼센트, 분포도에 의한 요약- 이차원 분할표나 상관계수에 의한 .. 2024. 8. 11.
[빅데이터분석기사 필기] 2-1 데이터 전처리 1. 데이터 전처리의 필요성데이터 전처리는 로우 데이터에 대한 정제, 데이터 통합, 데이터 변환 등의 과정을 수행하여 진행하고자 하는 분석에 최적화된 형태로 데이터를 변형하는 과정에 해당데이터 확보는 양뿐만 아니라 질적인 측면까지 동시에 고려해야 함데이터 다양성은 분석 모델의 완성도를 높일 수 있는 등 현실을 반영하는 데이터를 의미확보된 데이터가 분석이 가능한 형태로 준비되어야 함2. 데이터 전처리 유형데이터 정제: 데이터 내의 결측치와 이상치를 파악하고, 이들을 제거하거나 적절한 값으로 대치하여 데이터를 다듬는 작업데이터 통합: 여러 테이블에 저장된 데이터들을 병합하거나 통합하여 분석에 적절한 데이터셋을 생성하는 작업데이터 축소: 분석에 필요한 변수들만 선택하거나 데이터의 특성을 반영하고 있는 요약변수.. 2024. 8. 10.
[빅데이터분석기사 필기] 1-3 데이터 수집 및 저장 계획 1. 데이터 수집가. 데이터 수집 기법빅데이터 수집 기법구분특징대상Log Aggregator웹 서버 로그, 웹로그, 트랜잭션 로그, DB로그 등 각종 서비스 로그 수집 오픈 소스 기술로그 데이터 수집크롤링SNS, 웹 뉴스 정보 등 인터넷상에서 제공되는 웹 문서에 대한 정보 수집웹 문서 수집스크래핑인터넷 웹 사이트에 노출되는 내용 중 특정 정보만을 추출하고, 추출과 관련된 모든 동작을 자동 수행하는 기술웹 데이터 수집FTPTCP/IP 프로토콜을 이용하여 인터넷 서버로부터 각종 파일 송수신파일 수집Open API서비스, 정보, 데이터 등 오픈된 정보로부터 API를 통해 데이터를 수집하는 기술실시간 데이터 수집RSS웹상의 최신 정보를 공유하기 위한 XML 기반의 콘텐츠 배급 프로토콜Contents 수집Stre.. 2024. 8. 7.

티스토리툴바