hallo miteinander

hatte vor einiger zeit einen thread betreffend 25/40gbe Netzwerk gestartet.

es ist einiges gegangen: octane (alpha version 2024) schafft es endlich, damit 3D fans einigermassen mit macs mithalten können, d.h. das beste aus beiden welten zu nutzen: M(x) prozessoren zum modellieren ... RTX4090 zum rendern ... mehr info:
damit dies mit kleiner latenz funktioniert ist der netzwerkspeed entscheidend.

nun sind netzwerkkarten für den Mac rar:

atto: n311 (läuft sicher gut, aber super teuer)
chelsio: T62100-LP-CR (spec sagt system 10.x wird unterstützt, aber Firma reagiert nicht auf anfrage, ob 14.x unterstützt wird) wäre nur ca 1/3 preis von atto

und beim switch bin ich auf diesen gestossen: Mikrotik
kann mir da jemand weiterhelfen, betreffend Netzwerkkarten?

dank im voraus

das Video hab ich mir nicht angeschaut, sorry. Aber grundsätzlich würde mich mal Dein (gewünschtes) Setup interessieren:

wo sollten denn diese Datenmengen herkommen? Ist das nur zur Kommunikation von Macs untereinander gedacht oder sollen da auch Daten (Texturen, Caches, usw.) von nem Server kommen? Denn welcher Server liefert denn Daten so schnell daß Du an nem Client 100G bräuchtest? Als Verbindung von GAAAANZ dicken Servern zu Leaf- oder von mir aus auch noch Access-Switchen, ok. Auch da wäre das heute noch ziemlich "dick". Aber am Client???

Versteh mich nicht falsch, kann ja sein daß ich Deinen Spezialfall falsch verstehe. Ich will nur verhindern daß Du Dir ein extrem teures "Grab" schaufelst das letztendlich überhaupt nix bringt, zumindest gegenüber einer normalen 10Gbit-Anbindung (oder unter Umständen evtl. vielleicht auch noch 25Gbit, wobei auch das schon extrem krass wäre für Clients). Was im Mac soll den so schnell rendern (sprich Daten verarbeiten), daß ein konstanter 10Gbit-Strom ein Bottleneck wäre? Und wo sollten wenn dann diese Daten denn eben herkommen?

Oder noch anders gesagt: Du schreibst "damit dies mit kleiner latenz funktioniert ist der netzwerkspeed entscheidend.".

Hm, Was hat die Latenz in einem Netzwerk mit der Speed zu tun? Eigentlich nix. Außer natürlich die Bandbreite ist konstant stark ausgelastet und es kommt dadurch zu "Wartezeiten". Oder was meinst Du mit "Netzwerkspeed" genau? Wenn Du damit die Bandbreite meinst bist Du glaub aufm Holzweg.

so lang man da keine extrem großen Projekte bearbeitet , ist man doch mit nem normalen 10 GB Network gut ausgestattet

die client-renderer zieht sich einmal die Daten über das Netzwerk , rendert es und schickt die gerenderten Bilder zurück. So irre ist das nicht.
Mit 10 GB erreichst du theoretisch 1,2 GByte/s .. das ist schon ganz ordentlich und muss auch erstmal vom Computer geliefert werden. Wenn die Datenmengen so enorm groß sind , werden allein die notwendigen NVME-Speicher sehr viel Geld kosten.
Hast du tatsächlich so große, kommerzielle Projekte die Investitionen rechtfertigen würden?
Hast du es mal so probiert und festgestellt das die Geschwindigkeit nicht ausreichend ist?

hallo shakebox ... glaub mir ... ist ein extremer load: Mac Pro mit SSD raid0 (werde später beschreiben wenn alles läuft ... und die meisten Modelle sind zwischen 2-6gb gross ... ... ist wirklich nicht für spass ... ... beispiel 360° rendering für grossprojektion: 12800x1080px ... und das gebàudemodell wird laufend über revitzto aktualisiert, d.h. Datenreduktion ist sehr aufwändig bis unmöglich ... oder halt Kaffeemaschinen mit modellierten Bohnen ... schenken halt ein ... ... einfach ein paar Beispiele aus dem Alltag ...

Also ich bin da nicht so tief in der Materie drin, aber würde auch mal behaupten, dass das mit Kanonen auf Spatzen geschossen ist.

Die Daten, die unter den Nodes ausgetauscht werden, sollten ja gar nicht so rießig sein, dass Sie nicht zeitnah zwischen diesen transferiert werden können.
Viel wichtiger ist doch dabei dann die CPU/GPU Leistung des Nodes und so was wie RAM Größe und SSD Geschwindigkeit am Node.

Ich kann mir nicht vorstellen, dass eine 100Gbit Verbindung in einem solchen Cluster den Aufwand dafür rechtfertigt. Aber vielleicht spielt Geld ja auch überhaupt gar keine Rolle und es soll nur das absolute Maximum heraus geholt werden.

seit dem letzten thread (25/40gbe) habe ich ja mit 10gbe gearbeitet ... in der Realität vllt 5-700MB/s ... in den letzten tagen mit der alpha version: jede grössere modifikation (zb Texturen/geometrien) erfordert wieder abgleich ... und seit 3 jahren gönne ich mir 32TB ssd Speicher, welcher nicht mehr als 60% gefüllt ist ... 3D mit Mac ist halt schon "teurer" und aufwändiger ... sniff :'(

Nun kam deine erste Antwort fast zeitgleich mit meiner

Aber wenn du bisher schon die Nodes im 10GBit Netz nutzt: Wie lange ist denn wirklich die Übertragungs- bzw. Vorbereitungs-Zeit auf diese und wie lange rendern die dann wiederum an einer solchen Szene?

liebe Leute ... ich verstehe ja euere hinterfragungen ... bitte ersten film schauen: wenns um gemeinsames rendern im liveviewer geht, ist die Geschwindigkeit sehr wichtig: beispiel ein mittleres Modell mit 1gb 3d Daten, muss vom master in die M2 gpu geladen werden, erst dann wird der slave aufgefordert, das Modell übers netz zu ziehen, dieses dann in die GPU's laden, dann fortlaufend die Resultate zurückschieben (das sind nur ein paar pixel) aber bei jeder grösseren änderung spiel von vorn ... und das während dem arbeiten ... und glaubt mir ... die M-prozis sind GPU mässig s.......e!
bin einfach noch zu idealistisch ... könnte das Netzwerk sparen, und auf dem supergeilen rendernode arbeiten

sorry .... einfach ätzend ... weit weg von fluffy ... bei einem grossen Modell unerträglich 20s wartezeit bis node eingreift ...

renderzeit ist abhängig von der gewünschten +arbeitsqualiät ... aber entscheidend ist das Verhältnis master/slave ... und dies ist eben das grundproblem M2ultra ca 450 scores / 4x4090 ca 5500 scores d.h. ca 1:10+/- ... da ändert ein M3 auch nicht die welt (leider)

Nur mal so aus Interesse: Was soll eine 100GBit Netzwerkverbindung an einem 40GBit Port bringen?
Meiner persönlichen Einschätzung nach sind die 40GBit USB-C Ports mit 25GBit Netzwerkverbindungen schon mehr als gut beschäftigt.

also 100Gbs waren theoretisch 12.5GBs ... in der praxis +- 7-8GBs ... PCI 16x im macpro 2023 (der s......s hat aber nur 32 lanes) reicht aber für die 100Gbs ... vom raid auf den 8x pcie ports (2x) schieben ca 15-25GBs ... der PC hat auf dem 16x PCI port ein seehehr schnelle single SSD die > 8GBs schafft ... mein aktuelles 10Gbs netzt schafft ca 7-800MB/s ein 25er vermutlich 2GBs und 3in 40er eben ca 3-4GBs ... ok ... die oben genannten komponenten 100er switch ca €650.- und jetzt kommt der kern des threads: die atto ist schweineteuer: $1695 ...
die Chelsio ca €680.- kommen noch Kabel dazu ... ist IMHO nicht alle welt und der unterschied zu einem 40er netz auch nicht entsprechend der Leistung ... DARUM kennt jemand, der jemanden kennt, welcher etwas zur Chelsio sagen kann? (heute hat ein Netzwerker, welcher Chelsio verkauft, geschrieben: und dann: ...

Ah.. jetzt... ich nehme meinen vorigen Post zurück, wir reden von einem MacPro... Der kann über PCIe theoretisch mehr.
Sorry, mein Fehler

Ich hab mal beim nem Lieferanten nach 100GBit Netzwerkkomponenten gesucht, und kann mir seither nicht mehr vorstellen, dass man einen guten Switch oder Netzwerkkarte mit 100GBit für das von dir genannte Geld bekommt.
Allerdings betreibe ich Glas fast immer mit LR Modulen und bin vielleicht deshalb andere Preise gewohnt.

Aber ich gebe gerne zu, dass ich vom Rendern keine Ahnung habe, weshalb ich mich ab jetzt raus halte.

schau doch den 2.ten clip an ... der mikrotik ist scheinbar (habe jetzt 3 test angeschaut) sehr gut. der springende Punkt ist, dass etliche switches >24 ports haben ... und darum in den 5stelligen Bereichen sind ... DARUM habe ich das auch "gewagt" auf mactechnews zu posten ... fibre ist "fast" teurer ... und der mikrotik kostet gleichviel wie mein aktueller 10Gbe switch (ok 8 port) ...

Dumme Frage: Warum verbindest du dich nicht per VNC auf deinen RTX Rechner? Und bearbeitest dann dort das Projekt?

Dann könntest du selbst am MacBook deine aufwendigen Projekte bearbeiten, weil du quasi das MacBook nur als Eingabegerät nutzt. Verstehe nicht, wieso du da so einen Aufwand treiben willst.

Das MacBook dient hier nur exemplarisch als Beispiel.

tja ... guter input ...
ich liebe es in der kompletten macumgebung zu arbeiten, d.h. arbeite verschwenderisch auf 2 grossen Monitoren, im c4d, mit den wichtigsten Paletten offen ... c4d / photoshop (Texturen) / CAD (modellieren) geht alles hand in hand ... und wenn c4d auf dem pc wäre, müssen natürlich die Bestandteile dann auch auf dem pc liegen ... (oder aktualisiert werden) dann kann ich wie momentan jetzt, einfach auf dem PC arbeiten (1 monitor switchen) aber eigentlich will ich mit dem PC sowenig wie möglich machen (reicht schon die installation des ganzen gedöns) ... und die kosten für Lizenzen sind auch nicht zu unterschätzen ... (render nodes sind inklusive)

Liegt vermutlich daran, dass Verbindungen mit 100 Gbit/s eher im Bereich Backbone-Verkabelung größerer Netzwerke oder in Rechenzentren üblich sind und weniger auf dem „Desktop“ für den direkten Anschluss einzelner Systeme.
Nach einem kurzen Blick halte ich den Mikrotik für ein interessantes Gerät, wenn man einen Anwendungsfall hat. So wie Du, ich finde die benötigte Datenrate von grob geschätzt 25 Gbit/s für die Projektion echt beeindruckend.
Schade nur, dass der Mac Pro-Anwenderkreis so klein ist, was dann dazu führt, dass Firmen sich nicht dafür interessieren wie hier der Lieferant der Netzwerkkarte.
Auch wenn ich Dir nicht weiterhelfen kann, so wünsche ich Dir viel Erfolg bei Deinem Projekt. Du scheinst da ja viel Enthusiasmus und Herzblut einzubringen.

du hast offensichtlich noch nicht an großen Projekten gearbeitet. Ich würde mich sehr freuen wenn ich 20s Wartezeit hätte bis was anfängt zu rendern.

Aber naja wenn du dein Geld damit verdienst und das für dich so nicht funktioniert musst du wohl n bisschen Geld in die Hand nehmen

aus mangelnder Erfahrung in der Größenordnung (wir haben ein ganze Horde an ITlern dafür) , kann ich dir nicht konkret weiterhelfen.
Würd mich aber interessieren ob und was du unternimmst

Ich würde vermutlich keinen Mac nutzen dafür (ja weil die GPU Leistung immer noch nicht an führende nVidias ranreicht und vermutlich nie wird) und mir n Linuxrechner aufsetzen lassen.

ich meine 20s bei jeder weiteren Aktion ... nicht einmalig. letztes jähr war einfach eine qual. der 2019 macpro mit 2 6800ern wurde durch octane ab ca Juni nicht mehr unterstützt, dh. der studio war master, und der macpro slave, macpro renderte doch 5-6x schneller als der studio. musste dann grosse Projekte mit dem studio stemmen. dh renderjobs auf der renderfarm. tönt ja alles gut, aber da ladet man .orbx files, welche ca 3-5x grösser sind als die
objektfiles: ca8-15gb ... generieren 10min, hochladen 20min, entdecken auf den nodes 50min, rendern lassen 1h, downloaden 10min ... da habe dann für ein Projekt (ohne design/entwicklung) schnell mal 2-4 tage gebraucht ... was ich mit macpro zusammen alles inhouse in einem tag abgewickelt hab.
darum hab ich jetzt, da octane diese option anfängt umzusetzen (crossplatform liveviewerrendering) einen pc mit 4 rtx4090 geordert (alles wassergekühlt, mit 500x500mm externem radiator, welchen ich durch den Boden an die Kellerdecke führe, sorry pc stuff soll nächste Woche geliefert werden; und einen macpro (rackversion, ist wirklich geil das teil) geleast (super sache, 2 Jahresvertrag, dann die Kiste zurückgeben, zu 1/3 restwert) ... kleines rack mit der "PC-lücke wenn alles in die hose geht, ist der "feind" ja schon unter dem tisch ...

Das geht ja auch jetzt erst so langsam los. Zumindest bei den Switchen wird sich dieses Jahr einiges tun und damit natürlich auch bei den Netzwerkkarten für Linux und Windows. Problem wird immer der Anschluss an den Mac sein. Wobei ich jetzt 1.300,- für eine Karte auch nicht übertrieben teuer finde im Vergleich zum Mac Pro, in den sie ja nur rein kann.

Ich bin zugegebenermaßen nicht der Netzwerkspezialist aber wie wäre es mit Bündeln von zwei 25er Leitungen?
Nicht die 100er wie gewünscht aber vermutlich dramatisch preiswerter und besser verfügbar.

Sonst sehr spannend das Thema.

bündeln? hätte im Mac Pro 2 pcie plätze frei, wären 2 controller mit dual port (4x) denkbar?
der switch ist ausgelegt darauf, dass ein 100er port auf 4 25er zu splitten ...

Was hier noch gar nicht gefragt wurde: Wie viele Bohnen sind das??

hehe ... off topic ... ein bisschen Unterhaltung muss sein

ein screenshot mit einer missglückten füllung ... man lässt Bohnen "hineinfallen", mit physikalischen Parametern ... bis zum gewünschten Resultat ... damit sich die Bohnen schön anschmiegen ...
dann "höhlt" dann den haufen aus ... bis nur noch die sichtbaren Bohnen da sind ... lücken werden mit Texturen gefüllt ...
der ganze aufwand, damit bei animationen die Bohnen real wirken, bei stills könnte man ja noch "photoshoppen"

zu deiner frage: siehe infobox

für die interessierten, welche die infobox nicht gefunden haben auf screenshot wurden 24000 Bohnen eingefüllt ... im optimierten rendermodell sind etwa 1032 stück

Was sind denn Tafeln?

? tafeln?

Nur so ein Gedanke: Warum überhaupt ein Switch. Wenn ich dich richtig verstanden habe, hast Du nur zwei Rechner. Die gehen ohne Switch.

Du kannst die Rechner ja noch in ein zweites Netzwerk hängen um Internet und so zu haben (ganz normales 1GBit Netzwerk)

wenn das gehen würde? hab mal Rechner mit TB zusammenmmengehängt, OSX hat dann runtergedrosselt auf 1gbs oder so etwas ... müsste man checken ...

Ich nutze nun auch schon ewig SFP28 für eine direkte Verbindung mit Fiber. Also direkt Server PC und Server Mac ohne einen Switch. Man muss halt nur ein eigenes Subnetz einstellen. Alles über SFP28 wird halt einfach deutlich teurer.

und welche Übertragungsraten erreichst du damit?

Wenn Du das über TB machst bist Du halt wieder auf "nur" 40GBit begrenzt. Ob und wie Windows IP über TB unterstützt weiss ich nicht. Mit zwei Macs sollte das soweit ich weiss gehen.

Egal ob TB, Glas oder 10GBE: Wie grinch300 geschrieben hat musst du halt zwei unterschiedliche Netze konfigurieren. Das GBit Netzwerk wird sich vermutlich über DHCP selber eine IP suchen (z.B. 192.168.178.x/24), und das andere (direkte) Netzwerk muss manuell auf einen anderen IP Bereich konfiguriert werden (z.B. 192.168.100.x). Dieses Netz hat keine weiteren teilnehmer und auch keinen Gateway.

Das schlimmste was jetzt noch passieren kann ist das sich die Rechner über das falsche Netz verbinden wollen, aber dafür gibt es zur Not Firewalls auf den Rechnern. Auf dem schnellen Netz kannst Du dann noch IPv6 ausschalten.

Bei Ethernet gab es ja vor GBit die so genannten Cross Kabel. Ich kann mir aber nicht vorstellen, das man so was bei Glas braucht (man verwendet ja auch die selben Kabel um zwei Switche zu verbinden und um Switch mit Rechner zu verbinden). Ich würde bei den multimode Fasern (OM3/4) die ich einsetze einfach die Fasern vertauschen wenn es nicht geht. Da es ja nur zwei Möglichkeiten gibt ist das immer schnell gemacht wenn mal wieder irgendwo ein Dreher drin ist

(Ein bisschen) weniger Netzwerklatenz hast Du mit der switchlosen Konfiguration auch noch.

Grinch300: Aber mit SFP28 bist Du dann auf 25GBit begrenzt, oder? Für 100GBit braucht man dann QSFP28?

am Mittwoch sollte der pc abholbereit sein (inkl. 100er karte) die karte für den Mac wird erst um ca 20.1. ankommen, inkl. switch ... ich werd dann mal ohne switch probieren (vermutlich bin ich da auf hilfe angewiesen bei Nichtgebrauch kann ich den switch zurückschieben ... danke soweit für deinen konstruktiven input:)

Für welche QSFP28 Module hast Du dich entschieden? Einzelmodule + Kabel oder eine Einheit aus Kabel und Modulen?

Das braucht man nicht. Zum einen ist seit vielen Jahren IPv6 das Standardprotokoll in allen Apple-Betriebssystemen. Das verwendet automatisch die jeweiligen Local-Link-Adressen der Anschlüsse und man muss nichts konfigurieren.

Und wenn tatsächlich das veraltete IPv4 parallel zum Einsatz kommen soll, vergibt macOS automatisch APIPA-Adressen im Bereich 169.254.x.x. Es ist normal, dass die Anschlüsse dann den Status "gelb" haben, weil dieses Teilnetz kein Gateway zum Internet hat.

Ja Tafeln. Steht auf deinem Screenshot.

Sind ziemlich genau 25GBit. Evtl. Kann man auch 2x 25GBit zu 50GBit zusammenlegen, aber zumindest mir reicht die Bandbreite gut aus. Habe einen der Ports in den PC und den anderen Port zum Mac.

Alles mit normalen SFP28 Transceivern und Glasfaserkabel. Kurzstrecken kann man natürlich auch mit passiven Kabeln machen.

QSFP28 Ist halt schon wieder deutlich komplexer mit dem Kabel und Transceiver. Grade wenn man es mit aktiven Kabeln machen will. Dafür gibt es die Karten oft günstig gebraucht bei Ebay aus alten Servern. Meiner Erfahrung nach ist es aber teilweise echt schwierig, hier die volle Geschwindigkeit zu erreichen.

Sehr viel, da die schnelleren Netzwerkversionen eine niedrigere Latenz haben. Am besten ist aber immer noch Infiniband, was extra für die HPC-Kommunikation mit sehr geringer Latenz entwickelt wurde. Allerdings müssen das sowohl die Hardware wie auch die Software unterstützen, und mir sind keine Infinibandkarten für macOS Systeme bekannt.

Dann ein ganz wichtiges Thema was auch die Ethernetkarten betrifft: Wie gut sind die Treiber, d.h. wie viel der Offload Funktionalität des NICs wird überhaupt unter macOS unterstützt? Da gibt es oftmals Unterschiede bei den Herstellern.

noah68
Was die Preise für Atto betrifft, es hat leider seinen Preis Mac Nutzer zu sein. Die Intel 100GbE Karten sind billiger zu bekommen (ca. halber Preis gegenüber Atto), aber es gibt keine Treiber für macOS. Persönlich habe ich nur Erfahrungen mit Intel und Mellanox/nVidia NICs und deren Switches fürs HPC. Die Qualität ist hervorragend (gerade mit IB extrem geringe Latenzen), aber eben auch entsprechend teuer. Die Ethernet Switches sind auch am oberen Ende der Leistungsskala zu verorten. So wie sich das bei Dir liest, ist das alles jenseits Deiner finanziellen Möglichkeiten.

Was den Netzwerkdurchatz betrifft. Du nutzt hoffentlich schon Jumbo Frames? NFS ist zumindest unter Linux sehr viel besser in der Lage die Bandbreite der Übertragung auszunutzen als SMB. Das wäre bei der vorhandenen 10GbE Hardware einen Versuch wert, da das ohne zusätzliche Investitionen Verbesserungen ergeben könnte. Wenn das nicht mehr ausreicht helfen nur noch Cluster Filesysteme weiter, aber deren Verfügbarkeit für macOS ist sehr schlecht bzw. es wird wieder teuer, und dann dürften zusätzliche Lizenzen für Octane billiger sein.

danke für dein feedback 😀 … digitec hat mir zugesichert, dass ich karte &switch „schonend“ testen und bei unmut retournieren kann … es wird spannend… vllt gibts dann einen kompromiss… nehm einfach mal alles was schneller als 10gbe ist 😉 jumboframes muss ich noch anschauen… im moment ist des ganze setup noch frisch/im testmodus … und der brentford renderknecht sollte diesen mittwoch abholbereit sein … dh die heissen tests stehen noch an … hab bis jetzt einen leihpc zum pröbeln (10gbe)

kleines update: "der schöne & das Biest" : der renderknecht läuft (4xRTX4090 liquid) ... (im moment noch sehr laut, da "radiator" noch im raum, geplant an die decke im geschoss darunter zu montieren, via durchbohrter bodendose, und dort zu betreiben) ... switch funktioniert ...
nur die chelsio-karte geht zurück! am montag soll die "atto-karte" eintreffen ... zum glück habe ich gezögert mit bestellen ... letzte woche preisdrop - 30% ... jubel ... ich halt euch auf dem laufenden ... wenns dann mit dem netzwerk funzt. aber c4d mit octane 2024 R3 läuft geil ... (auf Mac arbeiten, mit PC Faktor 8-12 rendern