본문 바로가기
반응형

데이터분석2

[서평] 데이터 문해력 빅데이터 시대, 성과를 이끌어 내는 데이터 문해력 그래프와 도표만 바라보는 당신에게 카시와기 요시키 지음 | 강모희 옮김 | 프리렉 | 2021년 03월 05일 출간 요즘 과제제안서를 쓰면서 데이터를 어떤식으로 바라보아야하는지 문제 정의를 어떻게 내려야하는지에 대해서 고민을 하고 있었다. 그러던 차에 읽은 이 책은 나에게 또다른 관점을 제시해 줬다. 우리가 명확하게 데이터를 통해서 무언가를 하려면 1. 목적& 문제 정의하기 2. 지표를 결정 3. 현재 상태를 파악 4. 평가 5. 요인을 분석 6. 해결방안 모색 위와 같은 프로세스로 진행된다. 어떻게 보면 당연한 것이지만, 수 많은 데이터들 사이에서 무엇인가를 얻기위해서는 이 흐름을 놓쳐서는 안된다는걸 깨달았다. 요즘 빅데이터분석기사 앞단원을 공부하고 있.. 2022. 1. 18.
pySpark 란? Apache Spark는 대규모의 데이터를 처리할 수 있는 기능을 제공하는 빅데이터 처리용 플랫폼이다. SQL, 기계학습, 딥러닝 및 그래프 처리를 위한 모델이 내장된 빅데이터 처리용 데이터 분석 엔진을 말한다. pySpark는 빠른 데이터 처리를 위해 Spark와 Python 간의 인터페이스를 만들기 위해 출시 되었다. pySpark는 Spark용 Python API를 말한다. pySpark는 일관된 방식으로 여러 서버에서 실행할 수 있는 범용 분산 계산 엔진으로 분산 데이터 세트를 읽고 Spark 내에서 실행하도록 작성한 코드를 기반으로 해당 데이터를 처리할 수 있게 합니다. 스파크에 대한 설명 참고 https://wikidocs.net/16565 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 w.. 2021. 5. 26.
728x90
반응형