<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><div>---------------------</div><div>Message: 1<br>Date: Fri, 31 Jan 2014 16:25:43 +0100<br>From: Peer Heinlein <<a href="mailto:p.heinlein@heinlein-support.de">p.heinlein@heinlein-support.de</a>><br>Subject: [sage] Welches Dateisystem ist am besten?<br>To: <a href="mailto:sage@guug.de">sage@guug.de</a><br>Message-ID: <52EBC077.1060002@<a href="http://heinlein-support.de">heinlein-support.de</a>><br>Content-Type: text/plain; charset="iso-8859-15"<br><br><fieldset style="padding-top: 10px; border: 3px solid rgb(204, 204, 204); padding-left: 20px; position: static; z-index: auto; "><legend style="font-weight:bold">Signed PGP part</legend><div style="padding-left:3px;"><br><br>Hallo,<br><br>die Frage im Subject ist ebenso ketzerisch, wie nat?rlich grundfalsch,<br>weil jeder Anwendungszweck seine eigenen Anforderungen an das<br>Dateisystem stellt. :-)<br><br>Aber f?r das neue Dovecot-Buch habe ich mir die M?he gemacht und<br>wochenlang gro?e Testszenarien mit ext3, ext4, xfs und btrfs gemacht um<br>rauszukriegen, welches FS f?r einen Mailserver das beste ist.<br><br>Nat?rlich gibt es auch hier sehr unterschiedliche Anforderungen:<br><br>*) Je gr??er der Mailserver ist, desto mehr parallele Requests wird er<br>erzeugen. > 15.000 simultan arbeitende Mailclients sind ja nun nicht<br>selten. Ein Filesystemtest wird oft eine derartige Parallelit?t nicht<br>abbilden.<br><br>*) Auch das Speicherfomat erzeugt ein anderes Profil: Maildir = viele<br>kleine Dateien, mdbox = viele 10 MByte-Files.<br><br>Jetzt bin ich durch, aber ehrlich gesagt stehe ich etwas ratlos vor den<br>Ergebnissen und freu mich ?ber Feedback und Deutungshinweise. Vielleicht<br>gibt's hier ja doch den einen oder anderen FS-Spezialisten.<br><br>Der erste Test war ein theoretischer Test auf 10K-Platten mit postmark:<br><br>transactions=500000<br>numbers=200000<br>subdirectories=10000<br><br>XFS war im Beispielszenario mit 877 Transaktionen deutlich vor<br>ext4/ordered mit 679 Transaktionen. Ein ext4/ordered/noatime hat es<br>immerhin auf 800 Transaktionen gebracht, w?hrend ein xfs/noatime kaum<br>noch eine Steigerung auf 892 Transaktionen brachte. Auch der<br>Lese-/Schreibdurchsatz in MB war bei XFS besser.<br><br>Aus dieser (jetzt allerdings sehr einfachen) Sicht ist XFS hier deutlich<br>Testsieger, w?hrend ext4 mit etwas weniger CPU-Verbrauch punktete.<br><br>Okay. Ich bin traditionell ein Freund von ext4 und wurde mit xfs nie<br>richtig warm, aber Ehre, wem Ehre geb?hrt. Man lernt ja um.<br><br>Dummerweise habe ich dann noch einen zweiten Test gemacht und auf jedes<br>Dateisystem ein gro?es tar-File auspacken lassen, das<span class="Apple-converted-space"> </span> aus 100 GB<br>Maildirdaten und im zweiten Durchlauf aus 100 GB mdbox-Daten bestand.<br><br>Erste Erkenntnis: Egal ob Maildir oder mdbox, beide Schreibdurchl?ufe<br>waren in den Zeiten auf jedem FS fast gleich. Caching scheint hier viel<br>zu retten.<br><br>Zweites Problem jedoch: XFS ben?tigte f?r diese Aufgabe 104 Minuten,<br>ext3/ext4 nur 86 Minuten. Das ist schon ein krasser Zeitunterschied.<br><br>Hier fehlte es nat?rlich an der massiven Parallelit?t und darum<br>entspricht das nur bedingt einem vollwertigen Mailserver-Szenario.<br>Trotzdem h?tte ich nach dem ersten postmark-Test nicht erwartet, dass<br>der ganze Prozess unter XFS am lahmsten ist.<br><br>Kann mir das jemand erkl?ren?<br><br>Sch?nen Gru?<br><br>Peer<br><br><br><br>--<br>Heinlein Support GmbH<br>Schwedter Str. 8/9b, 10119 Berlin<br><br><a href="http://www.heinlein-support.de">http://www.heinlein-support.de</a><br><br>Tel: 030 / 405051-42<br>Fax: 030 / 405051-19<br><br>Zwangsangaben lt. ?35a GmbHG: HRB 93818 B / Amtsgericht<br>Berlin-Charlottenburg,<br>Gesch?ftsf?hrer: Peer Heinlein -- Sitz: Berlin<br><br><br>--<br>Heinlein Support GmbH<br>Schwedter Str. 8/9b, 10119 Berlin<br><br>http://www.heinlein-support.de<br><br>Tel: 030 / 405051-42<br>Fax: 030 / 405051-19<br><br>Zwangsangaben lt. ?35a GmbHG: HRB 93818 B / Amtsgericht<br>Berlin-Charlottenburg,<br>Gesch?ftsf?hrer: Peer Heinlein -- Sitz: Berlin</div></fieldset><br><br><br>------------------------------<br><br></div></div><blockquote type="cite">Message: 2<br>Date: Fri, 31 Jan 2014 16:56:31 +0100<br>From: Claus Kalle <<a href="mailto:kalle@uni-koeln.de">kalle@uni-koeln.de</a>><br>Subject: Re: [sage] Welches Dateisystem ist am besten?<br>To: Peer Heinlein <<a href="mailto:p.heinlein@heinlein-support.de">p.heinlein@heinlein-support.de</a>>, <a href="mailto:sage@guug.de">sage@guug.de</a><br>Message-ID: <52EBC7AF.2090909@<a href="http://uni-koeln.de">uni-koeln.de</a>><br>Content-Type: text/plain; charset="iso-8859-1"<br><br>Hallo,<br><br>schrieb Peer Heinlein am 31.01.2014 16:25 Uhr:<br>> Aber f?r das neue Dovecot-Buch habe ich mir die M?he gemacht und<br>> wochenlang gro?e Testszenarien mit ext3, ext4, xfs und btrfs gemacht um<br>> rauszukriegen, welches FS f?r einen Mailserver das beste ist.<br><br>Willst Du nicht auch gpfs betrachten? Es ist besonders auch f?r grosse<br>parallele Last geeignet... Ich glaube die Kollegen in M?nster betreiben<br>Dovecot mit gpfs.<br><br>Und dann ist ja noch Ceph um die Ecke.<br>--<br>Freundliche Gruesse, Claus Kalle<br></blockquote><div><br></div><div><br></div>Hallo,<div>btrfs lief ausserhalb der Konkurrenz mit?</div><div>Na ist ja auch nach wie vor experimentell.</div><div><br></div><div>gpfs ist ein Cluster Filesystem, und nicht kostenlos.</div><div>das ist weit weg von ext4.</div><div><br></div><div>ceph, ist (noch) kein Cluster Filesystem, es sei den man bringt</div><div>den Applicationen bei radosgw-api statt posix zu sprechen.</div><div>cephfs ist derzeit noch richtig kaputt (pre alpha würd' ich das nennen)</div><div>aber rbd funktioniert leidlich.</div><div>Das entbindet aber nicht von der Frage nach "welches Dateisystem"…</div><div>denn in das rbd muss dann ja nun eines hinein… xfs z.B. oder eben ext4.</div><div>Wer nicht den nicht geringen Administrationsaufwand scheut kann damit</div><div>dann sicher Spass haben.</div><div><br></div><div>Ich habe seit kurzem (natives) ZFS zum testen hier in meiner ubuntu Umgebung</div><div>(<a href="http://zfsoninux.org">zfsoninux.org</a>) und hab es bisher zumindest noch nicht kaputt bekommen</div><div>(das kommt aber sicher noch, die raid-rebuild Funktion habe ich noch nicht ausgetestet….)</div><div>Bisher kann ich nur sagen: lohnt sich zu probieren!</div><div>Aus ganz verschiedenen Gründen: </div><div>- schnell</div><div>- sicher (so sagt man ;-)</div><div>- kann snappshots</div><div>- besser als raid ….</div><div>Wie gesagt, "mach kaputt und heile" (Platte wechseln) das steht noch aus.</div><div>Ich hab die drei Zahlen von oben gerad einer meiner Testkisten vorgeworfen.</div><div>Das System ist:</div><div>i7-3770K 3,5GHz 8 Kerne sichtbar</div><div>32 GB Ram</div><div>4 willkürliche unterschiedliche SATA-Platten 7,5k und 10k (2* 4TB, 1*1B, 1*0,5TB)</div><div>davon jeweils nur eine 450 GB grosse Partition in einem raidz1 Verbund</div><div>ZIL und ZFScache liegen auf partition 2 und 3 einer SSD das Betriebssystem auf der ersten Partition der selbigen.</div><div>Das Ergebnis:</div><div><br></div><div><div><font face="tahoma, arial, helvetica, sans-serif">….. /test # postmark</font></div><div><font face="tahoma, arial, helvetica, sans-serif">PostMark v1.51 : 8/14/01</font></div><div><font face="tahoma, arial, helvetica, sans-serif">pm>set transactions 500000</font></div><div><font face="tahoma, arial, helvetica, sans-serif">pm>set number 200000</font></div><div><font face="tahoma, arial, helvetica, sans-serif">pm>set subdirectories 10000</font></div><div><font face="tahoma, arial, helvetica, sans-serif">pm>run</font></div><div><font face="tahoma, arial, helvetica, sans-serif">Creating subdirectories...Done</font></div><div><font face="tahoma, arial, helvetica, sans-serif">Creating files...Done</font></div><div><font face="tahoma, arial, helvetica, sans-serif">Performing transactions..........Done</font></div><div><font face="tahoma, arial, helvetica, sans-serif">Deleting files...Done</font></div><div><font face="tahoma, arial, helvetica, sans-serif">Deleting subdirectories...Done</font></div><div><font face="tahoma, arial, helvetica, sans-serif">Time:</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 605 seconds total</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 549 seconds of transactions (910 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"><br></font></div><div><font face="tahoma, arial, helvetica, sans-serif">Files:</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 450096 created (743 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> Creation alone: 200000 files (4255 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> Mixed with transactions: 250096 files (455 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 249584 read (454 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 250081 appended (455 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 450096 deleted (743 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> Deletion alone: 200192 files (22243 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> Mixed with transactions: 249904 files (455 per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"><br></font></div><div><font face="tahoma, arial, helvetica, sans-serif">Data:</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 1456.29 megabytes read (2.41 megabytes per second)</font></div><div><font face="tahoma, arial, helvetica, sans-serif"> 2715.89 megabytes written (4.49 megabytes per second)</font></div></div><div><font face="tahoma, arial, helvetica, sans-serif"><br></font></div><div><font face="tahoma, arial, helvetica, sans-serif">Mit mehr/anderen Platten würd man das sicher auch schneller bekommen.</font></div><div><br></div><div><font face="tahoma, arial, helvetica, sans-serif">hth & regards</font></div><div><font face="tahoma, arial, helvetica, sans-serif"><br></font></div><div><font face="tahoma, arial, helvetica, sans-serif">Bernhard</font></div><div><blockquote style="margin: 0 0 0 40px; border: none; padding: 0px;"><div><div><br></div></div></blockquote><div><div><br><br><br><br></div></div><br></div></body></html>