[sage] Welches Dateisystem ist am besten?

[Wolfgang Stief]

Hallo Peer!

Ich kann's auch nicht erklären, aber mal ein paar Gedanken einwerfen,
die vielleicht weiter helfen. Interessantes Problem übrigens.

On Fri, 31 Jan 2014 16:25:43 +0100
Peer Heinlein <p.heinlein at heinlein-support.de> wrote:
> 
> Dummerweise habe ich dann noch einen zweiten Test gemacht und auf
> jedes Dateisystem ein großes tar-File auspacken lassen, das  aus 100
> GB Maildirdaten und im zweiten Durchlauf aus 100 GB mdbox-Daten
> bestand.
> 
> Erste Erkenntnis: Egal ob Maildir oder mdbox, beide Schreibdurchläufe
> waren in den Zeiten auf jedem FS fast gleich. Caching scheint hier
> viel zu retten.

Aus Sicht des Filesystems ist auspacken eines TAR-Files ein sequential
write. Die Files aus dem TAR werden ja alle nacheinander geschrieben.
Deshalb verwundert es mich nicht sonderlich, dass die Zeiten für
das jeweilige Filesystem ungefähr gleich waren. Wie viele Files waren
das jeweils bei mdbox bzw. mdir? Wie groß sind jeweils die mdbox-Files?
Lag das TAR-File auf dem selben Filesystem oder der selben Platte?
100GB passen ja nicht am Stück in den Cache, müssen also auch
(sequentiell) von Platte gelesen werden.

> Zweites Problem jedoch: XFS benötigte für diese Aufgabe 104 Minuten,
> ext3/ext4 nur 86 Minuten. Das ist schon ein krasser Zeitunterschied.

Ich könnte mir vorstellen, dass hier das Logging schuld ist. Wobei ich
mir bisher noch nie angesehen habe, wie das Logging bei ext3/4 genau
gemacht ist. XFS hat seine Stärken bei Multimedia-Zugriffen. In der
Praxis bedeutet das große Files, die sequentiell gelesen oder
geschrieben werden. Große Files bedeutet hier etliche MB. Gerade bei
Operationen, die viel Metadaten-IO provozieren, ist XFS häufig bis
immer langsamer. 

Ich hatte mal einen Kunden, der musste für seine Applikation in einem
XFS regelmäßig um die 500.000 Files zu je 4kB bis 10kB löschen. Nach
etlichen Tests mit Mount-Optionen hat er seine Applikation so
umgeschrieben, dass er unmountet, das Filesystem neu erzeugt und wieder
mountet. Zeitverhalten: ein paar Sekunden vs. knapp zwei Stunden.

Testweise könntest Du den Logging-Bereich für das Filesystem mal z. B.
in eine Ram-Disk legen und schauen, was dabei raus kommt (mkfs.xfs -l,
Rest steht in der Manpage). Ich überlege gerade, ob /dev/null ein
gültiges Logging-Device wäre. Im Produktivbetrieb ist davon natürlich
unbedingt abzuraten :-)


wolfgang

-- 
German Unix User Group     T: +49-89-380 125 95 0
Postfach 25 01 23          F: +49-89-380 125 95 9
D-44739 Bochum             http://www.guug.de/
-------------- next part --------------
A non-text attachment was scrubbed...
Name: signature.asc
Type: application/pgp-signature
Size: 190 bytes
Desc: not available
Url : http://lists.guug.de/pipermail/sage/attachments/20140201/adfc190e/attachment.pgp