KENSEI IT BLOG

map reduce 기존 관계형 데이터베이스에서 대용량 수십 TB 를 Select 결과 추출 한계성 직면 (google) 단일 노드가 아닌 다수의 노드에서 병렬로 데이터를 저장하고 처리하는 시스템 필요 map reduce 알고리즘 발표 1. parallel, distributed system : 대용량 데이터는 분산된 시스템에서 병렬로 처리2. Fault-tolerance (내고장성) : 병렬 시스템에서 오류 발생시 전체 시스템에 영향을 줘서는 안된다. Map : 필요 데이터를 추출하여 Mapping 함수로 보내어 관련 있는 데이터 끼리 묶는 단계Reduce : Mapping 함수에서 나온 결과 값을 가지고 의미있는 데이터를 추출하는 단계 기본적으로 입출력에 분산파일 시스템을 이용, fault-toler..