KENSEI IT BLOG

pNFS(Parallel Network File System) http://www.pnfs.com

분산파일 시스템 종류 및 특징 원문 링크 https://d2.naver.com/helloworld/258077

glusterfs (SSD 최적화) 이미지 출처 및 원문 SSD 환경 아래에서 GlusterFS 성능 최적화 2016년 (논문)http://www.dbpia.co.kr/Journal/ArticleDetail/NODE06599145김덕상, 엄현상, 엄현영 이슈 HARD DISK 기반으로 설계, SSD 성능 100% 활용 여부 SSD : I/O-cache, Read-ahead, Write-behind Translator 방법론? hot data : ssd 에 저장cold data : harddisk 저장 glusterfs 메타 서버 없음 (메타 데이터 요청시 병목현상 발생하지 않음), DHT (Distributed Hash Table) 이용 brick 저장소의 기본 단위 * 일반적으로 FUSE (Filesy..

순차 및 랜덤 액세스 작업의 구별점 순차 및 랜덤 액세스 작업의 구별점은 무엇입니까? 순차 및 랜덤 액세스 작업의 구별점 중의 하나는 디스크 사용의 측면에서 응용 프로그램의 효율성을 평가하는 방법의 차이 입니다. 디스크 하드웨어 작업 원리에 근거하여 볼 때 순차적으로 데이터를 엑세스하는 것은 렌덤 엑세스 하는 것보다 빠릅니다. 디스크 헤드의 오른 쪽 디스크 실린더에서 데이터를 엑세스할 때는 I/O 프로 세스의 다른 부분에서 보다 더 많은 시간이 걸립니다. 랜덤 읽기는 순차 읽기보다 많은 찾기 조작(seek operations )이 필요하고 또한 낮은 데이터 처리량을 전송합니다. 랜덤 쓰기는 랜덤 읽기와 비슷한 과정을 거칩니다. 고객님께서 고객님의 워크 로드가 순차 작업을 하는 지 랜덤 작업을 하는지 확인..

cifs mount glusterfs gluster-fs samba 설정 yum install samba samba-common samba-vfs-glusterfs selinux-policy-targeted -y * selinux-policy-targeted 은 selinux가 비활성화 이면 필요 없음 (selinux 활성화일때 데몬 우회 처리시 필요) samba 데몬 활성 systemctl start smb.servicesystemctl enable smb.servicesystemctl start nmb.servicesystemctl enable nmb.service systemctl restart smb.servicesystemctl restart nmb.service vim /etc/samba/sm..

glusterfs nfs 마운트하기 gv0 이라는 볼륨을 nfs.disable 되어 있는것을 off 시킨다, 즉 활성화 시킨다는것이다. gluster volume set gv0 nfs.disable off Gluster NFS is being deprecated in favor of NFS-Ganesha Enter "yes" to continue using Gluster NFS (y/n) yvolume set: success * gnfs (glusternfs) 를 활성화 시키고 NFS-ganesha 를 더 이상사용하지 않겠냐는 질문 : gnfs 는 마운트 연결시 -t nfs, nfs-ganesha는 -t nfs4 로 마운트 연결 glusterfs 4.12 에서 마운트 시도 [root@localhost ~..

glusterfs 설치 다운로드 및 repo 페이지 https://download.gluster.org/pub/gluster/glusterfs/ centos8 (repo 저장) 최신 다운로드 wget https://download.gluster.org/pub/gluster/glusterfs/LATEST/CentOS/glusterfs-rhel8.repo -P /etc/yum.repos.d/테스트 환경 virtualbox VM, CENTOS7 64bit, sdb 10G 추가host 이름으로 서로 통신 /etc/hosts 192.168.56.7 glusterfs1 192.168.56.8 glusterfs2 : 아이피 및 도메인으로도 통신 가능함 glusterfs 버젼 검색 yum search centos-re..

RAID 종류 raid 0 (stripe) 백업없음, 속도 빠름raid 1 (mirror) 최소 디스크 : 2개 이상 최대 용량 : (디스크 수 / 2) * 디스크 용량 파일은 모든 디스크에 각각 저장되며 모든 파일은 중복장점 : 안전, 단일 디스크에 비해 읽기 성능이 같거나 좋음 raid 2 : 더 이상 사용되지 않음 raid 5 (패러티가 있는 stripe) 패러티를 순환시키는것 없이 각 어레이에 접근 최소 디스크 : 3개 이상 최대 용량 : (디스크 수 - 1) * 디스크 용량 RAID4 처럼 데이터의 블럭은 모든 디스크에 나뉘어 저장, 향상 균등하지 않고 패러티 정보도 모든 디스크에 저장장점 : 지원하는 회사가 많음, 한개의 드라이브가 고장나는것을 허용함 raid 3 (패러티를 사용하고 디스크를 ..

map reduce 기존 관계형 데이터베이스에서 대용량 수십 TB 를 Select 결과 추출 한계성 직면 (google) 단일 노드가 아닌 다수의 노드에서 병렬로 데이터를 저장하고 처리하는 시스템 필요 map reduce 알고리즘 발표 1. parallel, distributed system : 대용량 데이터는 분산된 시스템에서 병렬로 처리2. Fault-tolerance (내고장성) : 병렬 시스템에서 오류 발생시 전체 시스템에 영향을 줘서는 안된다. Map : 필요 데이터를 추출하여 Mapping 함수로 보내어 관련 있는 데이터 끼리 묶는 단계Reduce : Mapping 함수에서 나온 결과 값을 가지고 의미있는 데이터를 추출하는 단계 기본적으로 입출력에 분산파일 시스템을 이용, fault-toler..

XFS 저널링 파일시스템 (신속한 복구, 대용량 디스크 지원) 온라인 및 마운트 상태에서도 de-fragmented 혹은 확장이 가능