[sage] Welches Dateisystem ist am besten

bernhard glomm bernhard.glomm at ecologic.eu
Fri Jan 31 18:26:07 CET 2014 

---------------------
Message: 1
Date: Fri, 31 Jan 2014 16:25:43 +0100
From: Peer Heinlein <p.heinlein at heinlein-support.de>
Subject: [sage] Welches Dateisystem ist am besten?
To: sage at guug.de
Message-ID: <52EBC077.1060002 at heinlein-support.de>
Content-Type: text/plain; charset="iso-8859-15"

Signed PGP part


Hallo,

die Frage im Subject ist ebenso ketzerisch, wie nat?rlich grundfalsch,
weil jeder Anwendungszweck seine eigenen Anforderungen an das
Dateisystem stellt. :-)

Aber f?r das neue Dovecot-Buch habe ich mir die M?he gemacht und
wochenlang gro?e Testszenarien mit ext3, ext4, xfs und btrfs gemacht um
rauszukriegen, welches FS f?r einen Mailserver das beste ist.

Nat?rlich gibt es auch hier sehr unterschiedliche Anforderungen:

*) Je gr??er der Mailserver ist, desto mehr parallele Requests wird er
erzeugen. > 15.000 simultan arbeitende Mailclients sind ja nun nicht
selten. Ein Filesystemtest wird oft eine derartige Parallelit?t nicht
abbilden.

*) Auch das Speicherfomat erzeugt ein anderes Profil: Maildir = viele
kleine Dateien, mdbox = viele 10 MByte-Files.

Jetzt bin ich durch, aber ehrlich gesagt stehe ich etwas ratlos vor den
Ergebnissen und freu mich ?ber Feedback und Deutungshinweise. Vielleicht
gibt's hier ja doch den einen oder anderen FS-Spezialisten.

Der erste Test war ein theoretischer Test auf 10K-Platten mit postmark:

transactions=500000
numbers=200000
subdirectories=10000

XFS war im Beispielszenario mit 877 Transaktionen deutlich vor
ext4/ordered mit 679 Transaktionen. Ein ext4/ordered/noatime hat es
immerhin auf 800 Transaktionen gebracht, w?hrend ein xfs/noatime kaum
noch eine Steigerung auf 892 Transaktionen brachte. Auch der
Lese-/Schreibdurchsatz in MB war bei XFS besser.

Aus dieser (jetzt allerdings sehr einfachen) Sicht ist XFS hier deutlich
Testsieger, w?hrend ext4 mit etwas weniger CPU-Verbrauch punktete.

Okay. Ich bin traditionell ein Freund von ext4 und wurde mit xfs nie
richtig warm, aber Ehre, wem Ehre geb?hrt. Man lernt ja um.

Dummerweise habe ich dann noch einen zweiten Test gemacht und auf jedes
Dateisystem ein gro?es tar-File auspacken lassen, das  aus 100 GB
Maildirdaten und im zweiten Durchlauf aus 100 GB mdbox-Daten bestand.

Erste Erkenntnis: Egal ob Maildir oder mdbox, beide Schreibdurchl?ufe
waren in den Zeiten auf jedem FS fast gleich. Caching scheint hier viel
zu retten.

Zweites Problem jedoch: XFS ben?tigte f?r diese Aufgabe 104 Minuten,
ext3/ext4 nur 86 Minuten. Das ist schon ein krasser Zeitunterschied.

Hier fehlte es nat?rlich an der massiven Parallelit?t und darum
entspricht das nur bedingt einem vollwertigen Mailserver-Szenario.
Trotzdem h?tte ich nach dem ersten postmark-Test nicht erwartet, dass
der ganze Prozess unter XFS am lahmsten ist.

Kann mir das jemand erkl?ren?

Sch?nen Gru?

Peer



--
Heinlein Support GmbH
Schwedter Str. 8/9b, 10119 Berlin

http://www.heinlein-support.de

Tel: 030 / 405051-42
Fax: 030 / 405051-19

Zwangsangaben lt. ?35a GmbHG: HRB 93818 B / Amtsgericht
Berlin-Charlottenburg,
Gesch?ftsf?hrer: Peer Heinlein -- Sitz: Berlin


--
Heinlein Support GmbH
Schwedter Str. 8/9b, 10119 Berlin

http://www.heinlein-support.de

Tel: 030 / 405051-42
Fax: 030 / 405051-19

Zwangsangaben lt. ?35a GmbHG: HRB 93818 B / Amtsgericht
Berlin-Charlottenburg,
Gesch?ftsf?hrer: Peer Heinlein -- Sitz: Berlin



------------------------------

> Message: 2
> Date: Fri, 31 Jan 2014 16:56:31 +0100
> From: Claus Kalle <kalle at uni-koeln.de>
> Subject: Re: [sage] Welches Dateisystem ist am besten?
> To: Peer Heinlein <p.heinlein at heinlein-support.de>, sage at guug.de
> Message-ID: <52EBC7AF.2090909 at uni-koeln.de>
> Content-Type: text/plain; charset="iso-8859-1"
> 
> Hallo,
> 
> schrieb Peer Heinlein am 31.01.2014 16:25 Uhr:
> > Aber f?r das neue Dovecot-Buch habe ich mir die M?he gemacht und
> > wochenlang gro?e Testszenarien mit ext3, ext4, xfs und btrfs gemacht um
> > rauszukriegen, welches FS f?r einen Mailserver das beste ist.
> 
> Willst Du nicht auch gpfs betrachten? Es ist besonders auch f?r grosse
> parallele Last geeignet... Ich glaube die Kollegen in M?nster betreiben
> Dovecot mit gpfs.
> 
> Und dann ist ja noch Ceph um die Ecke.
> --
> Freundliche Gruesse, Claus Kalle


Hallo,
btrfs lief ausserhalb der Konkurrenz mit?
Na ist ja auch nach wie vor experimentell.

gpfs ist ein Cluster Filesystem, und nicht kostenlos.
das ist weit weg von ext4.

ceph, ist (noch) kein Cluster Filesystem, es sei den man bringt
den Applicationen bei radosgw-api statt posix zu sprechen.
cephfs ist derzeit noch richtig kaputt (pre alpha würd' ich das nennen)
aber rbd funktioniert leidlich.
Das entbindet aber nicht von der Frage nach "welches Dateisystem"…
denn in das rbd muss dann ja nun eines hinein… xfs z.B. oder eben ext4.
Wer nicht den nicht geringen Administrationsaufwand scheut kann damit
dann sicher Spass haben.

Ich habe seit kurzem (natives) ZFS zum testen hier in meiner ubuntu Umgebung
(zfsoninux.org) und hab es bisher zumindest noch nicht kaputt bekommen
(das kommt aber sicher noch, die raid-rebuild Funktion habe ich noch nicht ausgetestet….)
Bisher kann ich nur sagen: lohnt sich zu probieren!
Aus ganz verschiedenen Gründen: 
- schnell
- sicher (so sagt man ;-)
- kann snappshots
- besser als raid ….
Wie gesagt, "mach kaputt und heile" (Platte wechseln) das steht noch aus.
Ich hab die drei Zahlen von oben gerad einer meiner Testkisten vorgeworfen.
Das System ist:
i7-3770K 3,5GHz 8 Kerne sichtbar
32 GB Ram
4 willkürliche unterschiedliche SATA-Platten 7,5k und 10k (2* 4TB, 1*1B, 1*0,5TB)
davon jeweils nur eine 450 GB grosse Partition in einem raidz1 Verbund
ZIL und ZFScache liegen auf partition 2 und 3 einer SSD das Betriebssystem auf der ersten Partition der selbigen.
Das Ergebnis:

….. /test # postmark
PostMark v1.51 : 8/14/01
pm>set transactions 500000
pm>set number 200000
pm>set subdirectories 10000
pm>run
Creating subdirectories...Done
Creating files...Done
Performing transactions..........Done
Deleting files...Done
Deleting subdirectories...Done
Time:
        605 seconds total
        549 seconds of transactions (910 per second)

Files:
        450096 created (743 per second)
                Creation alone: 200000 files (4255 per second)
                Mixed with transactions: 250096 files (455 per second)
        249584 read (454 per second)
        250081 appended (455 per second)
        450096 deleted (743 per second)
                Deletion alone: 200192 files (22243 per second)
                Mixed with transactions: 249904 files (455 per second)

Data:
        1456.29 megabytes read (2.41 megabytes per second)
        2715.89 megabytes written (4.49 megabytes per second)

Mit mehr/anderen Platten würd man das sicher auch schneller bekommen.

hth & regards

Bernhard






-------------- nächster Teil --------------
Ein Dateianhang mit HTML-Daten wurde abgetrennt...
URL: http://lists.guug.de/pipermail/sage/attachments/20140131/ed5ded21/attachment-0001.htm 
-------------- nächster Teil --------------
Ein Dateianhang mit Bin?rdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigr??e  : 495 bytes
Beschreibung: Message signed with OpenPGP using GPGMail
URL         : http://lists.guug.de/pipermail/sage/attachments/20140131/ed5ded21/attachment-0001.pgp

More information about the SAGE mailing list