[sage] Jemand Erfahrungen mit NFS ueber 10 Gbit/s?

[Wolfgang Stief]

Hallo Admins!

Wir haben hier in meiner Firma im Moment ein bisschen Spielhardware von 
Sun rumstehen. Ua. eine X4500, auch bekannt als Thumper. Das Teil hat 2x 
Opteron und 48x 500GB S-ATA. Jeweils 6 Platten an einem S-ATA 
Controller. Innerhalb der Maschine kommen wir da auf einen 
Schreibdurchsatz (ZFS, random write) von etwa 1 GByte/s. Einen Teil der 
Leistung haetten wir gerne ueber 10GBit/s Ethernet 'auf die Strasse' 
gebracht.

Wir haben uns also zwei Neterion Xframe Karten besorgt. Sind von Solaris 
supported, es gibt auch per default einen Solaris-Treiber dazu. Eine 
Karte in die X4500, die andere wahlweise in eine T2000 (8core UltraSPARC 
T1), eine X4200 (2 Opteron) oder eine X4600 (4 Opteron) und jeweils back 
to back mit der X4500 verbunden. Alles sowohl unter Solaris 10 als auch 
Solaris 11 (hier Solaris Express und teilweise den aktuellen Build 
selbst gebaut).

Das 'Dilemma' ist jetzt: Sehr viel mehr als 200 MByte/s kriegen wir mit 
NFS (v4) nicht durch. Auch mit CIFS (aktuelles Samba) und ftp wird's 
nicht mehr. Messen wir dagegen mit netperf, kriegen wir knapp 800 MB/s 
ueber den Draht. In allen Faellen haben wir Jumboframes enabled. Den 
Sun-Treiber der Karte haben wir auch schon durch den Original-Treiber 
des Herstellers getauscht, damit koennen wir dann auch Jumboframes 
einschalten und das CRC offload der Karte nutzen. Der Durchsatz fuer 
NFS/CIFS/ftp wird damit aber auch nicht besser.

Fragen in die Runde:

  - Hat jemand aehnliche Erfahrungen gemacht?
  - Kann NFS einfach nicht schneller? Oder machen wir einfach einen
    Denkfehler?
  - Hat jemand Ideen, an was das liegen koennte und wie man's schneller
    kriegt?


Ich werde -- sofern ich Zeit habe -- heute mal auf den Server ein 
aktuelles Linux packen, wahrscheinlich ein Ubuntu. Mal sehen, was dabei 
rauskommt. Montag muessen wir leider die Neterion-Karten wieder an den 
Distributor zurueckgeben...

Ooops... und grade beim Tippen faellt mir ein: Kann es sein, dass 10Gbit 
Ethernet spezielle Kabel voraussetzt? Wir haben im Labor 3 Meter Cat5 
(koennte auch Cat6 sein) zwischen den beiden Maschinen.


wolfgang

-- 
stief at guug.de                                   http://www.guug.de/
GPG: www.chaes.de/id.html        http://www.guug.de/lokal/muenchen/