목록Computer Language/Apache Spark (1)

J's Study log

[Spark] 등장배경1 - 구글의 빅데이터 분산처리 발전

구글은 검색에서 방대한 규모의 인터넷 문서를 다룬다. 구글 검색엔진이 발전하던 중 헤아릴 수 없는 양의 문서를 다루고 index를 만드는 것이 당시 RDBMS 같은 전통적인 저장시스템 뿐만 아니라 어떤 프로그래밍 수단으로도 불가능했다. 따라서 구글은 이 문제를 해결하기 위해 GFS(Google File System), MapReduce, BigTable 등을 만들어 냈다. GFS는 클러스터 안에서 상용 서버에 장애 내구성이 있는 분산 파일 시스템을 제공했고, BigTable은 GFS를 기반으로 구조화된 대규모 데이터의 저장 수단을 제공했다. MapReduce는 함수형 프로그래밍 개념을 기반으로 GFS와 빅테이블 위에서 대규모 데이터 분산 처리가 가능한 새로운 병렬 프로그래밍의 패러다임을 소개했다. 먼저 ..
Computer Language/Apache Spark 2024. 3. 9. 00:15
Prev 1 Next