it-swarm-korea.com

ZFS 대 XFS

~ 16TB 스토리지 서버 구축을 고려하고 있습니다. 현재 ZFS와 XFS를 모두 파일 시스템으로 고려하고 있습니다. 장점, 단점은 무엇입니까? 무엇을 찾아야합니까? 더 나은 세 번째 옵션이 있습니까?

64
Tamas Czinege

XFS가 대용량 파일 시스템이 많은 대용량 파일 시스템에 더 적합하다는 것을 알았습니다. 나는 2 년 이상 문제없이 3.6TB XFS 파일 시스템을 운영해 왔습니다. 그 크기에서 (특히 많은 큰 파일과 많은 I/O를 다룰 때) ext3보다 확실히 더 잘 작동합니다.

ZFS를 통해 얻을 수있는 것은 파일 시스템 자체에 내장 된 장치 풀링, 스트라이핑 및 기타 고급 기능입니다. 구체적인 내용은 말할 수 없지만 (다른 사람들이 의견을 말하도록하겠습니다), 제가 말할 수있는 것 중에서 Solaris를 사용하여 가장 큰 혜택을 얻고 자합니다. 이미 하드웨어 RAID를 사용하고 있다면 ZFS가 얼마나 도움이되는지 확실하지 않습니다.

45
Mark Renouf

ZFS는 소프트웨어 RAID 이상의 이점을 제공합니다. 명령 구조는 매우 신중하게 배치되고 직관적입니다. 또한 메타 데이터 인덱싱 속도를 높이기 위해 압축, 스냅 샷, 복제, 파일 시스템 보내기/받기 및 캐시 장치 (멋진 새 SSD 드라이브)가 있습니다.

압축:

#zfs set compression=on filesystem/home

라이브 마운트 할 수있는 COW (Copy-On-Write) 스냅 샷 생성을 간단하게 지원합니다.

# zfs snapshot filesystem/home/[email protected]
# cd filesystem/home/user/.zfs/snapshot/tuesday

파일 시스템 복제 :

# zfs clone filesystem/home/[email protected] filesystem/home/user2

파일 시스템 보내기/받기 :

# zfs send filesystem/home/[email protected] | ssh otherserver "zfs receive -v filesystem/home/user"

증분 전송/수신 :

# zfs send -i filesystem/home/[email protected] | ssh otherserver "zfs receive -v filesystem/home/user"

캐싱 장치 :

# zpool add filesystem cache ssddev

이것은 모두 빙산의 일각에 불과합니다. Open Solaris 설치를 직접 시도하고 시도해 보는 것이 좋습니다.

http://www.opensolaris.org/os/TryOpenSolaris/

Edit : 이것은 매우 오래되었으며 Open Solaris가 중단되었습니다. ZFS를 사용하는 가장 좋은 방법은 Linux 이거나 FreeBSD .


전체 공개 : 저는 썬 스토리지 아키텍트 였지만 1 년이 넘도록 일하지 않았으며이 제품에 대해 매우 흥분했습니다.

75
Chris

고려해야 할 몇 가지 추가 사항.

  • 파일 시스템과 상관없이 드라이브가 하드웨어 RAID 배열로 죽으면 장치의 모든 블록을 다시 작성해야합니다. 데이터를 보유하지 않은 것조차. 반면 ZFS는 볼륨 관리자, 파일 시스템이며 데이터 중복성 및 스트라이핑을 관리합니다. 따라서 데이터가 포함 된 블록 만 지능적으로 재구성 할 수 있습니다. 이로 인해 볼륨이 100 % 가득 찬 경우를 제외하고 재구성 시간이 더 빨라집니다.

  • ZFS에는 백그라운드 스크러빙 기능이있어 데이터가 디스크에서 일관성을 유지하고 데이터 손실이 발생하기 전에 발견 된 모든 문제를 복구합니다.

  • ZFS 파일 시스템은 항상 일관된 상태이므로 fsck가 필요하지 않습니다.

  • ZFS는 또한 LVM에서 제공하는 스냅 샷과 비교하여 스냅 샷 및 클론으로 더 많은 유연성과 기능을 제공합니다.

Linux, LVM, XFS 스택에서 대형 비디오 제작을 위해 대용량 스토리지 풀을 실행했습니다. 내 경험에 따르면 스토리지를 미세 관리하기가 쉽습니다. 이로 인해 논리 볼륨을 관리 할 때 할당되지 않은 할당 공간과 시간/문제가 많이 발생할 수 있습니다. 스토리지를 미세 관리하는 풀 타임 스토리지 관리자가있는 경우 큰 문제가되지 않을 수 있습니다. 그러나 ZFS의 풀 스토리지 방식이 이러한 관리 문제를 제거한다는 것을 알게되었습니다.

14
3dinfluence

ZFS는 정말 놀랍습니다. 5 x 1 TB HD 파일 서버)의 홈 파일 서버로 사용하고 있으며 거의 ​​32 TB 드라이브 공간 : 빠르고 사용하기 쉬우 며 데이터 손상에 대한 최상의 보호 기능을 제공합니다.

우리는이 서버에서 특히 OpenSolaris를 사용하고 있습니다. 새로운 기능에 액세스하고 새로운 패키지 관리 시스템과 업그레이드 방법을 제공했기 때문입니다.

8
X-Istence

나는 당신이 성능에 집중해야한다고 생각하지 않습니다. XFS, ext4 등으로 데이터가 안전합니까? 아닙니다.이 박사 논문 및 연구 논문을 읽으십시오 :

XFS는 데이터 손상에 대해 안전하지 않습니다 : pages.cs.wisc.edu/~vshree/xfs.pdf

Ext3, JFS, ReiserFS 등도 마찬가지입니다. zdnet.com/blog/storage/how-Microsoft-puts-your-data-at-risk/169?p=169&tag=mantle_skin%3bcontent "매혹적인 PhD 논문을 보았습니다. IRON 파일 시스템 Vijayan Prabhakaran의 5 가지 상품 저널링 파일 시스템 (NTFS, ext3, ReiserFS, JFS 및 XFS)이 스토리지 문제를 처리하는 방법을 분석합니다.

간단히 말해 그는 모든 파일 시스템이

. . . failure policies that are often inconsistent, sometimes buggy, and generally inadequate in their ability to recover from partial disk failures. "

그러나 ZFS는 데이터를 성공적으로 보호합니다. 여기에 대한 연구 논문이 있습니다 : zdnet.com/blog/storage/zfs-data-integrity-tested/811

7
Miklo

어떤 OS를 실행할 계획입니까? 아니면 다른 고려 사항입니까? Solaris를 실행하는 경우 XFS는 내가 아는 한 옵션이 아닙니다. Solaris를 실행하지 않는 경우 ZFS를 어떻게 사용할 계획입니까? 다른 플랫폼에서는 지원이 제한됩니다.

Linux 서버에 대해 이야기하고 있다면 Ext3은 가장 많은 테스트를 받았기 때문에 개인적으로 고집합니다. zfs-Fuse는 여전히 매우 젊습니다. 또한 커널 업데이트 후 버그로 인해 데이터가 손상되면 XFS에 한 번 문제가 발생했습니다. Ext3에 비해 XFS의 장점은 원격 데이터 센터에있는 머신을 복원하는 데 드는 비용을 능가하지 못했습니다.

7
Kjetil Limkjær

FS 중심의 답변은 아니지만 죄송하지만 많은 디스크 컨트롤러가 2TB 이상의 LUN/논리 디스크를 처리하지 않으므로 스토리지 구성 방식이 상당히 제한 될 수 있습니다. 방금 16TB를 처리 할 수 ​​있도록 시스템 전체를 검사 할 수 있도록 알고 싶었습니다.

5
Chopper3

그것은 당신이 원하는 기능에 달려 있습니다 ... 두 가지 합리적인 선택은 xfs와 zfs입니다 .xfs 코드는 꽤 잘 테스트되었습니다 .8 년 전에 IRIX에서 처음 사용했습니다.

Xfs에서 스냅 샷을 얻을 수 있습니다 (lvm 및 xfs_freeze 사용)

SSD와 같은 별도의 로그 장치를 가질 수 있습니다

mkfs.xfs -l logdev=/dev/sdb1,size=10000b /dev/sda1

큰 xfs는 전통적으로 검사 할 메모리가 많이 필요합니다

0이 나타나는 문제는 "보안"기능으로, 얼마 전에 사라 졌다고 생각합니다.

1
James

이미 언급 한 것과는 별도로, MD 기본 RAID의 xfs는 스트리밍 미디어의 zfs보다 성능이 뛰어납니다. 나는 xfs에서 정확히 10 년 동안 동일한 미디어를 사용했고 미디어 서버에서 zfs와 거의 같은 시간을 사용했습니다. xfs가있는 Intel Atom 330)에서 나는 stuter를 경험하지 못합니다. 복잡한 장면의 zfs에서는 동일한 하드웨어가 유지할 수 없어 프레임을 놓기 시작합니다.

1
user718960

글쎄, zfs에 대한 최신 추가 사항 : 중복 제거를 잊지 마십시오. 그리고 iscsi, nfs 또는 smb 공유를 즉석에서 이야기 할 수 있습니다. 다른 사람들이 이미 말했듯이 zfs 파일 시스템, 스냅 샷, raidz (= raid5) 블록 체크섬, 동적 스트라이프 너비, 캐시 관리 및 기타 많은 것들의 내보내기. zfs에 투표합니다.

0
PiL

대안은 Sun 7410 일명 Toro입니다. 솔루션과 함께 제공되는 매우 유용한 소프트웨어가 있습니다.

0
Jauder Ho