Push-Nachrichten von MacTechNews.de
Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?
Forum>Hardware>hat jemand erfahrung mit 25gb/40gb netzwerk?

hat jemand erfahrung mit 25gb/40gb netzwerk?

noah68
noah6830.06.2221:15
möchte 5 rechner mit superschnellem netz verbinden … und zwar auch einen macstudio
(ohne pci) … thunderbolt-bridge hab ich rumgetüftelt …(auch 10gb- switch/ cat7 kabel) aber bleibe bei ca 6-800mb/s stecken … ssd-raids schaffen zwischen 6-9gB/s … anscheinend gibts von atto ein unverschämt teures teil …
vllt jat da jemand gute ideen?
+1

Kommentare

Thorin.IT
Thorin.IT30.06.2222:16
Windows, Linux, Mac (is klar) ??

Mac OS dürfte abseits des von Dir erwähnten "Thunderbolt 3 to 10/25GbE Dual Port Adapter" von Atto schwierig werden, der ist mit 1650 Euro aber nicht übermäßig teuer.

Wichtiger ist, dass der passende Switch vorhanden ist. Bei den Speeds braucht es für einen konstanten und hohen Durchsatz es relativ große Cache-Speicher im Switch (32 MB - ja, das ist viel). Mit dem Dell PowerSwitch S5212F-ON habe ich gute Erfahrungen gemacht. Er ist mit etwa 5.600 Euro auch relativ "preiswert". Der Vergleichbare HP CX 8360 ist mit fast 23.000 Scheinen da schon deutlich teurer.


Zudem ist es von hoher Bedeutung, dass der Switch richtig konfiguriert ist (jumboframes - mtu 9216 / flowcontrol rx on - tx off / spanning tree edge / disable auto neg). Frames müssen bei allen Teilnehmern angepasst werden.


Wenn das nicht stimmt bekommst Du selbst bei noch so schnellen physikalischen Verbindungen keine echte Beschleunigung hin.
„Dein lokaler IT-Support“
+3
noah68
noah6830.06.2222:55
oh ... klar ...nur macs ... Mac Pro und eben einen studio ...
den 25/40gbe atto meinte ich ... (ca4.5k) ...

sehe ich das richtig, dass schnell mal 10-15k ausgaben ins haus stehen ... wobei im besten falle vielleicht 2GB/s
erreicht werden können? danke mal soweit für deine ausführungen
0
Maniacintosh
Maniacintosh30.06.2223:36
noah68

Mit 10GbE ist bei ca. 1 GByte/s Schluss, mit 40GbE dürften 4 GByte/s das Limit sein. Die 6-9 GByte/s wirst du extern angebunden selbst mit einem DAS nicht erreichen. Thunderbolt 3/4 macht ja „nur“ 40 Gbit/s in der Spitze. Das geht im Mac Pro ggf. noch intern per PCI Express.

Nur aus Interesse: Was hast du vor? Wofür brauchst du so schnell angebundenen Netzwerkspeicher?
+2
gfhfkgfhfk01.07.2208:02
noah68
möchte 5 rechner mit superschnellem netz verbinden … und zwar auch einen macstudio
(ohne pci) … thunderbolt-bridge hab ich rumgetüftelt …(auch 10gb- switch/ cat7 kabel) aber bleibe bei ca 6-800mb/s stecken … ssd-raids schaffen zwischen 6-9gB/s … anscheinend gibts von atto ein unverschämt teures teil …
vllt jat da jemand gute ideen?
Das Maß der Dinge bei schnellen Netzwerken ist Mellanox (nun Teil von nVidia). Es gibt Hardware für 10/25/40/50/100/200/400 GbE d.h. sowohl NICs wie auch Switche. Es gibt einen kompakten Switch SN2010 (4×100, 18×25), der nicht all zu teuer ist. Der SN2100 (18×100) ist fast doppelt so teuer. Die Fullsize Switche sind noch teurer. Preise kannst Du unter anderem bei DELTA Computer sehen. Es sind allesamt non-blocking HPC Switche. Es gibt Switche auch von anderen Anbietern, aber diese sind üblicherweise teurer und meist keine non-blocking Switche.

Am Mac bist Du auf Ethernet Hardware limitiert, sonst hättest Du probieren können gebrauchte Infiniband Hardware zu kaufen, da man so sehr viel Geld sparen kann. Atto ist meines Wissens der einzige Anbieter, der für Macs schnelleres Ethernet als 10GbE liefert. Aber auch da geht das nur bis 100GbE als PCIe Karte und 40GbE als Thunderbolt Adapter. TB gibt halt nicht mehr her.


Nachtrag: Den Thunderbolt 40GbE Adapter hat Atto wohl nicht mehr im Programm.
+2
Marcel_75@work
Marcel_75@work01.07.2209:28
Die Fibre Channel Karten von ATTO sollten doch genau das richtige für Dich sein? Vor allem werden die offiziell von macOS unterstützt und sind in der Industrie (also auch bei Pixar etc.) quasi der gesetzte 'Standard':



Und passend dazu gibt es dann z.B. SAS-Bridges:

0
noah68
noah6801.07.2214:11
tja ... man kommt auf seltsame Ideen, wenn apple so langsam wünsche erfüllt ...(macpro) arbeite in einem grossbauprojekt als Entwurfsarchitekt, bin einer von 60 fachplanern arbeiten vernetzt im revitzto bzw archicad.
der Bauherr möchte jedoch immerwieder alles in octane gerendert. d.h. 3dmodelle liegen schnell mal bei 3-5GB.
um flüssig arbeiten zu können, bzw. die renderslaves schnell gefeedet werden wollen, ist das 10gbe netz der flaschenhals... bei einem 5GB file dauert halt länger als nötig ... bei einem Einzelprojekt zahlt sich die Datenreduktion aus, aber bei einem sich täglich änderndem Projekt wird's schwierig ... am schönsten wär halt doch ein "masterrechner" mit 12 PCI plätzen gefüllt mit grakas ... oder ein zukünftiger macpro mit einem dutzend ultra's oder so

Maniacintosh
noah68

Mit 10GbE ist bei ca. 1 GByte/s Schluss, mit 40GbE dürften 4 GByte/s das Limit sein. Die 6-9 GByte/s wirst du extern angebunden selbst mit einem DAS nicht erreichen. Thunderbolt 3/4 macht ja „nur“ 40 Gbit/s in der Spitze. Das geht im Mac Pro ggf. noch intern per PCI Express.

Nur aus Interesse: Was hast du vor? Wofür brauchst du so schnell angebundenen Netzwerkspeicher?
+2
noah68
noah6801.07.2214:13
danke für all euer beiträge ... bin sehr froh um eure hilfe beim überblickverschaffen ...
+2
gfhfkgfhfk01.07.2214:50
noah68
um flüssig arbeiten zu können, bzw. die renderslaves schnell gefeedet werden wollen, ist das 10gbe netz der flaschenhals... bei einem 5GB file dauert halt länger als nötig ... bei einem Einzelprojekt zahlt sich die Datenreduktion aus, aber bei einem sich täglich änderndem Projekt wird's schwierig ... am schönsten wär halt doch ein "masterrechner" mit 12 PCI plätzen gefüllt mit grakas ... oder ein zukünftiger macpro mit einem dutzend ultra's oder so
Der Octane Render läuft doch auch unter Linux.

Als reiner Renderknecht bietet sich dann eine Linux Workstation an. SuperMicro hat ein Modell im Programm, dass vier fullsize GPU Karten (auch passive für Server) aufnehmen kann. Da kann man dann vier GTX 3090 einbauen. Das dürfte preislich noch vertretbar teuer sein. Die Serverkarten sind leider sehr teuer geworden ca. 15k pro A100 und ca. 30k pro H100. Es gibt zwar GPU Server Boxen die 16 GPUs verbaut haben, aber die sind irgendwo jenseits der 200k anzusiedeln. Was auch noch ginge ist ein Bladecenter mit GPU Blades.
0
noah68
noah6801.07.2216:28
das "traurige" octane zickt beim network rendering (sharing der slaves im live viewer) dh. es akzeptiert keine crossplattform clients ... es zickt auch bei anderen Netzwerkformen (zb tb-bridge) statt ethernet ...
beim hochladen auf renderfarmen gibts halt auch oft Probleme ...plugins/deformer/spez shader und die ganze ORBX Umwandlung braucht halt auch viel zeit ... (oder ich bin halt zu dumm
gfhfkgfhfk
noah68
um flüssig arbeiten zu können, bzw. die renderslaves schnell gefeedet werden wollen, ist das 10gbe netz der flaschenhals... bei einem 5GB file dauert halt länger als nötig ... bei einem Einzelprojekt zahlt sich die Datenreduktion aus, aber bei einem sich täglich änderndem Projekt wird's schwierig ... am schönsten wär halt doch ein "masterrechner" mit 12 PCI plätzen gefüllt mit grakas ... oder ein zukünftiger macpro mit einem dutzend ultra's oder so
Der Octane Render läuft doch auch unter Linux.

Als reiner Renderknecht bietet sich dann eine Linux Workstation an. SuperMicro hat ein Modell im Programm, dass vier fullsize GPU Karten (auch passive für Server) aufnehmen kann. Da kann man dann vier GTX 3090 einbauen. Das dürfte preislich noch vertretbar teuer sein. Die Serverkarten sind leider sehr teuer geworden ca. 15k pro A100 und ca. 30k pro H100. Es gibt zwar GPU Server Boxen die 16 GPUs verbaut haben, aber die sind irgendwo jenseits der 200k anzusiedeln. Was auch noch ginge ist ein Bladecenter mit GPU Blades.
0
becreart01.07.2223:04
ich hab nur Erfahrung mit 25GBit Internet, dass ab dem modem in ein 10Gbit switch geht. also 25Gbit nur von aussen nicht intern.
-2
gfhfkgfhfk05.07.2215:23
noah68
das "traurige" octane zickt beim network rendering (sharing der slaves im live viewer) dh. es akzeptiert keine crossplattform clients ... es zickt auch bei anderen Netzwerkformen (zb tb-bridge) statt ethernet ...
Mein Gedanke war, dass ihr euch eine inhouse Renderfarm aus ein paar Linux Workstations aufbaut, d.h. da läuft auf allen Knoten die gleiche Software.
noah68
beim hochladen auf renderfarmen gibts halt auch oft Probleme ...plugins/deformer/spez shader und die ganze ORBX Umwandlung braucht halt auch viel zeit ... (oder ich bin halt zu dumm
Ich meinte eigene Hardware, um solche Probleme zu vermeiden. Oder gibt es bereits Probleme zwischen den verschiedenen Software Versionen auf macOS und Linux?
0
noah68
noah6805.07.2216:34
ja, wenn man quasi eine eigene renderfarm installiert, ist diese "in sich" konsistent. das beschriebe ist eben die "renderfarm im renderfenster des "masters" ... d.h. im modelliermodus hast du direkt die renderleistung mehrerer Rechner ... aber da MUSS exakt die gleiche version installiert sein ... und einem, da bräuchte es MAXIMALEN Durchsatz ... (darum Wunschgedanken an "multi ultra" ...

mit renderfarmen hatte ich einfach manchmal ärger, d.h. das das hochgeladenen file bei einigen Rechnern in der farm zu unterschiedlichen Resultaten führte, bzw. unbrauchbar bei Animationen ... oder zb files lokal einige mega's aber bei ORBX Umwandlung mehrere GIGA's aufwiesen ...(animierte nurbs etc) ...

gfhfkgfhfk
noah68
das "traurige" octane zickt beim network rendering (sharing der slaves im live viewer) dh. es akzeptiert keine crossplattform clients ... es zickt auch bei anderen Netzwerkformen (zb tb-bridge) statt ethernet ...
Mein Gedanke war, dass ihr euch eine inhouse Renderfarm aus ein paar Linux Workstations aufbaut, d.h. da läuft auf allen Knoten die gleiche Software.
noah68
beim hochladen auf renderfarmen gibts halt auch oft Probleme ...plugins/deformer/spez shader und die ganze ORBX Umwandlung braucht halt auch viel zeit ... (oder ich bin halt zu dumm
Ich meinte eigene Hardware, um solche Probleme zu vermeiden. Oder gibt es bereits Probleme zwischen den verschiedenen Software Versionen auf macOS und Linux?
0
gfhfkgfhfk06.07.2200:04
noah68
ja, wenn man quasi eine eigene renderfarm installiert, ist diese "in sich" konsistent. das beschriebe ist eben die "renderfarm im renderfenster des "masters" ... d.h. im modelliermodus hast du direkt die renderleistung mehrerer Rechner ... aber da MUSS exakt die gleiche version installiert sein ... und einem, da bräuchte es MAXIMALEN Durchsatz ... (darum Wunschgedanken an "multi ultra" ...
Ah, jetzt wird mir erst klar was Du willst. Für den Preview soll die Workstation entsprechend Renderleistung liefern, und deshalb willst Du diese Rechenleistung über verteilte GPUs erreichen. Mit schnellem Netzwerk wäre das machbar. Dafür würde man normalerweise Inifiniband nutzen und kein Ethernet, da Infiniband geringe Latenzen hat, und die erzielbare Gesamtrechenleistung von der Latenz begrenzt wird. Allerdings gibt es Infiniband nicht für macOS.

Alternativ könnte man einen GPU-Server nehmen (da passen 10×RTX A6000 rein), und nutzt diesen als Workstation im Rack. Es gibt DisplayPort- und USB-Verlängerungen, so dass man den lärmenden Server in ein Serverraum verbannen kann und ihn trotzdem als Workstation nutzen kann.

Allerdings läuft das jedesmal darauf hinaus, dass man sich von macOS als Workstation OS verabschiedet und dies mit Linux oder Windows ersetzt.

Die hässliche Realität ist, dass Apple in diesem Markt nichts mehr zu melden hat.
+2
noah68
noah6807.07.2212:38
genau ... du hast das perfekt formuliert ...

ich bin ein hoffnungsloser idealist ... habe seit dem "7200er" nun den 59.ten Mac angeschafft (ultra) ... in dieser zeit hatte ich mal 4 PC's als slaves ... hab dann aber Übung abgebrochen ...
wenn ich zb nur 3D machen würde, könnte ich mir vorstellen, das lager zu wechseln ...
ich verbringe extrem viel zeit an der Kiste > 12h/tag... und liebe (mehr oder weniger) den "mood" der Äpfel ...

vielleicht geschieht ein wunder, dass ein gescheiter macpro erscheint, und mir die nächsten Entscheidungen erleichtert ... .
gfhfkgfhfk
noah68
ja, wenn man quasi eine eigene renderfarm installiert, ist diese "in sich" konsistent. das beschriebe ist eben die "renderfarm im renderfenster des "masters" ... d.h. im modelliermodus hast du direkt die renderleistung mehrerer Rechner ... aber da MUSS exakt die gleiche version installiert sein ... und einem, da bräuchte es MAXIMALEN Durchsatz ... (darum Wunschgedanken an "multi ultra" ...
Ah, jetzt wird mir erst klar was Du willst. Für den Preview soll die Workstation entsprechend Renderleistung liefern, und deshalb willst Du diese Rechenleistung über verteilte GPUs erreichen. Mit schnellem Netzwerk wäre das machbar. Dafür würde man normalerweise Inifiniband nutzen und kein Ethernet, da Infiniband geringe Latenzen hat, und die erzielbare Gesamtrechenleistung von der Latenz begrenzt wird. Allerdings gibt es Infiniband nicht für macOS.

Alternativ könnte man einen GPU-Server nehmen (da passen 10×RTX A6000 rein), und nutzt diesen als Workstation im Rack. Es gibt DisplayPort- und USB-Verlängerungen, so dass man den lärmenden Server in ein Serverraum verbannen kann und ihn trotzdem als Workstation nutzen kann.

Allerdings läuft das jedesmal darauf hinaus, dass man sich von macOS als Workstation OS verabschiedet und dies mit Linux oder Windows ersetzt.

Die hässliche Realität ist, dass Apple in diesem Markt nichts mehr zu melden hat.
0
gfhfkgfhfk07.07.2218:37
noah68
vielleicht geschieht ein wunder, dass ein gescheiter macpro erscheint, und mir die nächsten Entscheidungen erleichtert ... .
Ich wundere mich halt gerade wie Du das mit dem Mac lösen willst. Octane ist ein reiner CUDA GPU Renderer, und die letzte CUDA Version für macOS ist 10.2 und die läuft nur noch auf macOS 10.13. Wie soll das in Zukunft funktionieren?
0
noah68
noah6807.07.2219:03
hmmm ... octane gibts für metal / M1+ usw ... meinst du nicht vray? ... die sind auf CUDA ...

gfhfkgfhfk
noah68
vielleicht geschieht ein wunder, dass ein gescheiter macpro erscheint, und mir die nächsten Entscheidungen erleichtert ... .
Ich wundere mich halt gerade wie Du das mit dem Mac lösen willst. Octane ist ein reiner CUDA GPU Renderer, und die letzte CUDA Version für macOS ist 10.2 und die läuft nur noch auf macOS 10.13. Wie soll das in Zukunft funktionieren?
0
gfhfkgfhfk07.07.2221:18
noah68
hmmm ... octane gibts für metal / M1+ usw ... meinst du nicht vray? ... die sind auf CUDA ...
Oh ist deren Webseite schlecht. Ich kenne das Produkt nicht und habe mir die Webseite angeschaut, wenn man aber in den Systemvoraussetzungen liest steht davon gar nichts.
0

Kommentieren

Diese Diskussion ist bereits mehr als 3 Monate alt und kann daher nicht mehr kommentiert werden.