Rechner 1

rMBP, WD Elements 3TB, direkt angeschlossen: 1 Image mit 1,3TB: 14 Stunden Kopierzeit von der externen FW800-Platte

Rechner 2

HackMac von 2012, selbe Platte direkt angeschlossen, 1 Image mit 560GB: 96 Minuten vom internen RAID1.

Ist da irgendwas kaputt? Oder ist der Weg von Platte800TB-DisplayTB-BuchseUSB-BuchseUSB-Platte einfach so "verlustbehaftet"?

Ich danke für Aufklärerisches!

Direkt angeschlossen? Also wie unten ausgeführt via TB-Display? (Das ist für mich nicht direkt.)

Bottleneck wird FW sein. Wie ist die Platte am Hackmac angeschlossen?

Bei beiden USB3-Buchse direkt am Rechner. Also am Mainboard beim Hackmac und die linke USB-Buchse beim rMBP.

TB-Display hat nur USB 2.0 = max. 30MB/s !!!!

Ist ja egal, der Weg von TB-Display zum Rechner läuft ja über TB. Dessen Bandbreite ist ja größer als USB3 und FW800.

Was willst Du eigentlich mit dem Szenarium testen? Hol Dir halt einen der üblichen Verdächtigen (AJA oder Blackmagic) und miß mal voneinander unabhängig, was Deine FW-800-Platte und die USB3-Platte hergeben. 14 Std. für 1,3 TByte macht 27 MB/sec, wenn ich mich nicht verrechnet habe. Das ist ziemlich mau für den potentiellen Flaschenhals FW-800...

Isch hab dat mal, quasi graaafisch, aufjearbeitet...

Das ist keineswegs egal. Eine Kette ist immer nur so stark, wie ihr schwächstes Glied. Wenn Du nun die Platte am USB-2-Port des Thunderbolt-Displays anschließt, dann gehen die Daten erst mal nur mit max USB-2-Speed auf die Reise. Die Thunderbolt-Verbindung dahinter kann das nicht auf wundersame Weise beschleunigen.

Ah, also steckt die Platte per FireWire an TB-Display?

Dennoch gehst Du hier einen Weg über drei Schnittstellenarten. FireWire, Thunderbolt, USB-3. Ich vermute, dass die Daten im TB-Display auf USB-2-Speed gedrosselt werden, um über Thunderbolt weiter transportiert zu werden.

Ziemlich abenteuerliche Verbindung. Ich gehe mal davon aus, Du willst das so machen, damit Du Deine FW-Platte weiter am MBP nutzen kannst?

Wie oft muß er eigentlich noch wiederholen/aufmalen/telegraphieren/faxen, dass er genau das nicht tut?

Wo der Flaschenhals konkret liegt bzw. ob der sich erst in Kombination mehrerer Faktoren einstellt, kann man nur mit individuellen Messungen rauskriegen. An meinem Thunderbolt-Display kann ich jedenfalls über FW-800 mindestens das Doppelte von seinem Durchsatz rausnudeln. TB selbst dürfte kaum ein Flaschenhals sein, außer da hängen hinter dem TB-Display noch massig bandbreitenintensive Chosen, die parallel mit dem Mac am anderen Kabel kommunizieren (Bei TB1 wird ja DisplayPort über einen separaten Channel geroutet)

Du testest permanent Thunderbolt-Equipment, oder? Willst Du Dir nicht mal bisserl Zeit nehmen und endlich mal wenigstens grundsätzlich verstehen lernen, wie Thunderbolt eigentlich funktioniert? Wärst Du Deinen Lesern eigentlich schuldig. Und nebenbei: Es sind in seinem Setup 2 Schnittstellen: FW-800 und USB3.

Nun mal locker bleiben. Erstens: Ja! Ich teste laufend Thunderbolt-Equipment im Praxisbetrieb. (Rewind?)
Zweitens: Ich weiß recht gut, wie und was Thunderbolt kann. Das genannte Szenario schließt aber nicht aus, dass es hier irgendwo einen Flaschenhals gibt – aus welchem Grund auch immer. Sonst hätte er ja einen höheren Datendurchsatz. Und ich vermute, dass dieser Flachenhals hier irgendwo im Display zu suchen ist. Testweise könnte er sich ja mal einen Thunderbolt/FW-Adapter besorgen und die Platte direkt am Notebook anstecken.

Aus Sicht Deines Macs ist das so: An einer PCIe 2.0 Lane (die "kann" 500 MByte/sec) hängt ein Firewire-Controller (siehe ), der Firewire-seitig 800 MBit/sek "kann". Zieh das 8b10b-Encoding ab und Du landest irgendwo bei 60 MByte/sek über diese Strecke.

Dann hat Dein Mac noch einen USB3-Controller, der brutto so seine 5 GBit/sek "kann", wovon je nachdem, was der USB-Controller in Deiner WD-Platte so kann (kein UASP? Oder doch?) und Abzüglich Encoding-Verluste irgendwas oberhalb 100 MByte/sek übrigbleiben sollte.

So viel zu den "Schnittstellen an sich". Irgendwelche "Interferenzen" oder anderes von sonorman vermutetes Voodoo spielen da mal keine Rolle. Eher, ob bspw. die eine oder andere Platte extrem lahmt (und da würde man natürlich erstmal Richtung der FW-800-Platte vermuten, denn die Gegenprobe an Deinem Hackintosh bescheinigt ja der USB3-Platte knappe 100 MByte/sec).

Da das mit dem Herumvermuten aber eigentlich mehr oder weniger dämlich ist, würde ich mal nachmessen. In Deiner Situation mit fetten Image-Dateien ist auch der Finder einigermaßen aus dem Spiel, denn der fummelt ja vor allem bei vielen kleinen Dateien negativ in die Performance rein.

Habe weder das Eine, noch das andere behauptet. Bitte unterlasse solche Unterstellungen.

Fehler einkreisen ist schon ok. Dafür habe ich ja den TB/FW-Adapter zum Test ins Gespräch gebracht. Mit einer einfachen Messung via Disk Speed Test findet er auch nicht heraus, wo der Flaschenhals sitzt.

Ach so... drum vermutest, Du also, dass eine PCIe-Verbindung zwischen Mac und Firewire-Controller über ausgerechnet... USB geht? Weil zufälligerweise im selben Gehäuse (Display) neben dem per PCIe angebundenen "IEEE 1394 OHCI" noch ebenfalls per PCIe angebundene USB OHCI/EHCI verbaut sind.

Siehste mal. Und genau Letzteres ist ja das Seltsame... also wenn Du weißt, "was Thunderbolt kann"

Als jemand, der weiß, wie Thunderbolt funktioniert, sollte Dir aber klar sein, dass das PCIe-Setup exakt identisch ist (sogar der Firewire-Chip, der in Apples Adapter steckt, ist exakt identisch). Was fehlt sind USB-Ports im Adapter, das stimmt. Aber wenn man weiß, dass Thunderbolt in dem Fall nur "PCIe am Kabel" ist, dann läßt man sich davon auch nicht groß verunsichern, oder?

LOL, überleg Dir einfach mal, nachdem Du Dich informiert hast, was Thunderbolt ist bzw. wie's im konkreten Setup funktioniert (heißer Tipp: Vergiß das Wort Thunderbolt und beschäftige Dich mehr mit "PCIe"), wie man Deinen vorherigen Satz

nur interpretieren kann. Immer locker bleiben

Nu wird's mir hier zu Klugscheißer-Mäßig.
Sorry Thomas, Deine technischen Erfahrungen in allen Ehren, aber manchmal bist Du auch ganz schön überheblich und verkomplizierst die Dinge viel zu sehr. Wenn Du meinst, hier Deine wertvolle Zeit mit seitenlangen Analysen verbringen zu müssen, statt diese geballte Kompetenz lieber in bezahlten Jobs einzusetzen, dann nur zu. Aber versuch doch mal ein wenig auf dem Teppich zu bleiben.

Der Punkt hier ist, dass die Geschwindigkeit nicht so ist, wie erwartet. Aufgrund des Setups liegt ein irgendwie gearteter Flaschenhals nahe. Welche technischen Hintergründe das hat, ist für den User erst mal zweitrangig. Interessant ist, die Schwachstelle auszumachen und dann nach Wegen zu suchen, diese auszumerzen bzw. zu umgehen. Dein Referat über Thunderbolt, PCI und alles was dahintersteckt, ist eher kontraproduktiv. Deine Oberlehrer-Attitüde erst recht.

Testen will ich in dem Sinne nichts. Ich möchte rausfinden, ob beim rMBP irgendwas im Axxxh ist, jetzt wo die Garantie noch läuft.

Die FW800-Platte liest und schreibt mit 30MB/s. Das ist nicht ganz das, was ich erwartet hatte.
Zwei andere FW800 liegen bei 60MB/s write und knapp 70MB/s read.

Das ist uncool.

Am TB-Display hängen 4 Raid1 (Mirror) Taurus Super S3 LCM und am Ende ein Hydra Super LCM im Raid5.

Naja, um irgendeine Form des Testens wirst Du da kaum herumkommen.
Dann kann es eigentlich nur an der betreffenden FW-Platte liegen, nicht am MBP, wenn die anderen Platten in der selben Anbindung schneller laufen. Also kein Apple-Garantiefall.

Hast Du vielleicht die Möglichkeit, mal eine USB-3-Festplatte direkt am MBP anzuschließen und die Geschwindigkeit zu messen? Damit könntest Du ganz einfach feststellen, ob mit der Schnittstelle am MBP etwas nicht stimmt.

Scheint wohl, als müsste ich mich bald von den FW800 verabschieden....

Wie voll ist denn die FW800?

Hintergrund:
Vielleicht ist das Image extrem fragmentiert...

Ja mei, Erwartungen.

Du hast halt jetzt mit einem simplen Test den Flaschenhals eingrenzen können (mit was hast Du eigentlich gemessen und welchen Settings?). Die technischen Details, die ich hier nachgefüttert hatte, sind eigentlich gar nicht so wichtig, sollten nur klarmachen, dass andere grad dabei waren, Dich uninformiert auf einen ziemlichen Holzweg zu schicken...

D.h. hinter dem FW-Controller im TB-Display machst Du noch ordentlich Firewire-Daisy-Chaining? Falls ja, würd ich da mal ansetzen und die fragliche Platte direkt ans Display anschließen. Daisy-Chaining bei FW sollte eigentlich nicht negativ in die Performance reinspielen, theoretisch können aber Kabel-/Steckerprobleme den erreichbaren Durchsatz minimieren.

Nur zum Vergleich:
Meine externen FW800-Platten (2,5", SATA) haben 45-70 MB/sec Read/Write je nach Plattengröße, meine externe FW400 (3,5", ATA) liefert 12 MB Write, 32 MB Read, gerade getestet mit AJA.

Gemessen mit BlackMagic DiskSpeed und einem 5GB File.

Genau mit diesen Teilen habe ich gerade massive Probleme. Obwohl man eigentlich denken sollte, Firewire an einem Mac mini Server sollte ausreichen, ist der Zugriff über das Netzwerk auf die Firewire Platten deutlich langsamer als auf die interne Platte. Das Highlight gestern war, dass das Sicherheitsupdate für 10.7 nicht durchlief, solange die Platten an und dran waren.

Also wenn da in dem Enclosure 'ne 3,5"-Platte steckt, dann ist das definitiv zu wenig (völlig unabhängig davon, dass Dein Mac gesund ist und nichts an USB fehlt). Ich würde wirklich nochmal sicherstellen, dass die Platte direkt per Firewire, d.h. ohne Daisy-Chaining angeschlossen ist (also als erstes FW-Device ans Display -- das ist technisch zu 100% identisch wie der Anschluß an einen Thunderbolt-auf-Firewire-Controller).

Und wenn die Werte dann immer noch so niedrig sind, würde bei mir ein kleines Alarmlämpchen anspringen (denn die Theorie bzgl. extrem starker Fragmentierung ist nicht von der Hand zu weisen, eine 3,5"-Platte schafft aber Protokoll-Limitationen außen vor lassend, eigentlich das Dreifache von den Dauertransferraten her und ein dermaßenes Ausbremsen kraft Fragmentierung ist nahezu unmöglich außer die Platte ist uralt bzw. ... grad am Abnippeln)

In der Situation kommt aber im Gegensatz zu Schens' tatsächlich sowas wie "Protokoll-Stapelung" vor, d.h. es ist erstmal völlig normal, dass eine extern per FW-800 angeschlossene Platte langsamer übers Netz anzusprechen ist, als eine interne am SATA-Bus (selbst wenn das eine 5400 rpm Notebook-Schnarchnase sein sollte). Kann sogar "deutlich" langsamer sein.

Was hilft wie üblich? Messen. Besorg Dir HELIOS Lantest (webshare.helios.de tools/tools), vermesse auf dem Mac selbst beide Platten und über identische Netzwerk-Topologie von einem zweiten Mac aus per AFP (Gbit-Einstellungen). Und dann posten.

Bitte nicht immer gleich Schlimmstes bzw. Voodoo vermuten. Jedes Apple-Update ruft mehrere Funktionen auf, bevor es sich auf einem Rechner und auf dem Ziel-Volume installieren läßt. Apple hat's schon mehrfach in der Vergangenheit geschafft, da irgendwas zu verbocken (bspw. unkorrekte Pfad-Überprüfungen und sowas), d.h. das muß überhaupt nicht am Gehäuse oder dem dort verbauten Bridge-Chip oder sonstwas liegen, sondern kann auch schon an den Namen der Volumes oder an was auch immer gehangen haben. Per

[url=touch /tmp/com.apple.pkg.testing]

entlockt man Apples Updates oftmals noch weitere Debug-Informationen, die dann ebenfalls nach /var/log/install.log geschrieben werden. Da steht dann nach der Aktion vielmals im Klartext drin, was Sache ist. Ansonsten hilft es auch, ein Update per "pkgutil --expand" zu zerlegen, in die Datei "Distribution" wegen Vorabprüfungen zu gucken und das dann auspgepackte "echte" Installer-pkg nochmal im Finder per "Paketinhalt zeigen" aufmachen und im Ordner "Scripts" nach preflight/preinstall-Skripts schauen, was die so machen.

sollte natürlich
heißen.

OK, ich teste weiter.



Ich will große (25TB) Datenmengen spotlightfähig und einigermaßen redundant (jetzt alles R1-Mirror und 1 R5) und einigermaßen schnell und einigermaßen preislich vertretbar verwalten können.

Wie soll ich das machen?


Mir scheint, dass meine FW800-Kette sich langsam der immer größer werdenden Files beugen muss.

Wie wäre es mit einem Areca-Thunderbolt-RAID 8-Bay?
Und bitte über ein entsprechendes Backup nachdenken. Ein RAID schützt vor HDD-Ausfällen, aber nicht vor sonstigem Datenverlust.
Idealerweise räumlich getrennt, wenn sich das realisieren lässt.

Dazu sag ich lieber nix, weil das eh niemand hören will. Nur so viel: Ich hab beruflich mit Datenhortung im zwei- und dreistelligen TByte-Bereich in heterogenen Umgebungen zu tun. Und leider immer wieder mit Situationen, wo irgendwas schiefging, was sich Dunning-Kruger-Effekt sei Dank vorher mal wieder niemand vorstellen wollte.

Insofern Sensibilisierung eingetreten in der Form: fette online-Datengräber vermeiden, lieber Daten archivieren/auslagern (bspw. per RDX ), dann hat man auch nicht so horrende Anforderungen an ein funktionierendes Backup.

Wenn ich 25 TByte online halten müsste (was bedeutet nochmal separat ca. 30-35 TByte fürs Backup zu kalkulieren), würde ich auf zwei Selbstbau-NAS mit OpenSolaris, ZFS und Netatalk (später mal Samba) setzen. Aber ich verdiene in dem Umfeld auch meine Brötchen.

Die Standardantwort wird "RAID-5" lauten. Und das per Thunderbolt und mit HFS+ -- was da alles dagegen spricht, wurde hier vor paar Wochen in zwei ellenlangen Threads durchgekaut. Und warum das keine so wirklich gute Idee ist, kann man wohl nicht durch Erfahrungen Dritter lernen sondern muß selbst auf die Schnauze fallen... Scheint leider wirklich so zu sein bzw. zieht sich das wie ein roter Faden durch den Bereich Storage.

Nochmal: Sollte die Platte direkt per FW angeschlossen (also solo am Display) wirklich nur 30 MByte/sek hergeben, würde ich mir Gedanken machen. Jetzt und nicht irgendwann. Speziell wenn kein echtes Backup vorhanden sein sollte und Du mehr von dem Prinzip RAID erwartest als das je erfüllen kann...

Du hast ja Recht Thomas.
Wenn die Daten so wichtig sind, dass der Preis keine wirkliche Rolle mehr spielt.

Aber Du weißt auch, dass normalsterbliche immer ein wenig auf das Geld achten müssen, und manchmal auch wollen.
Daher werden im allgemeinen Alltag gewisse Abstriche nötig.
Und mind. 2x 2.500,- Euro für ein akzeptables 8-Bay-RAID inkl. Backup ist schon für viele eine Hausnummer.

Kackt genauso ab. Hab eine Platte rausgeschraubt und kopiere gerade um.

Mein Punkt war/ist doch ein ganz anderer: Warum bindet man sich heute Daten "online" im zweistelligen TByte-Bereich ans Bein? Weil's geht. Das ist der einzige Grund. Weil Platten so billig geworden sind, dass man auf die Idee kommt, den Kram immer durchlaufen zu lassen.

Wenn man das Ganze konzeptionell richtig angeht (und wieder sind wir bei dem häßlichen Wort Backup, das in diesen Größendimensionen ganz eigene Probleme aufwirft bzw. eigentlich durch weitere Maßnahmen wie Sync inkl. Versionierung ergänzt werden muß), kann man das ja auch gerne machen. Macht aber keiner (der nicht schon mal sauber auf die Fresse gefallen ist).

Ich hab in den letzten 2 Jahrzehnten so viel Ärger mit verschisselten RAID-Setups, bockigen RAID-Controllern, mit Backup-"Lösungen", die alles gesichert haben bis auf das Wesentliche oder die Daten in keinen realistischen Zeiträumen wieder rausgerückt haben, etc. pp. zu tun gehabt, dass für mich die ganz simple Erkenntnis übriggeblieben ist, dass ich das Datenhorten sein lasse, wo es geht.

Und wenn's sich nicht vermeiden läßt, werfe ich ausreichend Hirnschmalz, Zeit für Konzeption und Geld auf das Problem, damit das Ganze rund wird. Und das Konzeptionelle startet nie mit konkreten technischen Details sondern mit maximal untechnischen Anforderungen an Daten (Integrität, Verfügbarkeit, Wiederherstellbarkeit, etc. pp.), von denen sich ganz am Ende ein technischer Ansatz ableitet. Wie schon geschrieben: Macht aber keiner. Es bleibt dabei: Jeder muß selbst auf die Schnauze fallen.

Das Datenhorten ist das Problem. Ich mir gibt es den Engel und den Teufel von Tom&Jerry.

Der Engel sagt: "Lager die Daten auf eine externe Platte aus und kümmer Dich darum, dass diese vernünftig gelagert und gepflegt wird, denn die Daten wirst Du vermutlich nicht mehr brauchen"

Der Teufel sagt: "Du warst in Singapur und hast Dich 6 Wochen mit irgendwelchen Bürokraten für eine Drehgenehmigung von 3 Nanosekunden rumgeschlagen, es ist wesentlich billiger für Dich, das auf R1 auszulagern und ständig gemountet zu lassen, damit Dir Onkel SMART sagen kann, was schief läuft"

Vielleicht sollte ich wirklich indie Konzeptphase zurück und mir mal die RDX-Platten ansehen....

Das ist exakt der Punkt, warum mein Datenbestand wächst und wächst...

Verbunden mit einer gewissen Faulheit.

"Motion hat jetzt 19 Stunden an dem Kack gerendert, da behalte ich die Renderfiles..."

Und genau das ist schon mal ein super Ansatz: Daten in Kategorien aufteilen und strukturiert -- auf unterschiedlichen Datenträgern -- ablegen. Die Renderfiles sind letztlich redundant bzw. mit kalkulierbarem Aufwand bei identischer Qualität wiederherstellbar. Also brauch ich mir damit nicht unbedingt mein Backup zumüllen lassen, muß aber umso mehr aufpassen, dass Footage+Settings im Backup landen.

So ein Konzept steht und fällt aber mit Disziplin respektive Automatisierung. Früher hat man da auf irgendwelche kommerziellen Helfer zurückgreifen müssen oder Skripting. Heute kann man sich so 'ne Art "Archiv-Workflow" auch mit dem Automator zusammenklicksen. Wenn ausreichend Selbstdisziplin vorhanden, ist sowas am Ende sowohl besser als auch günstiger als ein fettes (und unter Gesichtspunkten der Verfügbarkeit höchst fragwürdiges) einzelnes RAID anzuschaffen und am Backup zu sparen.

Strukturierte Datenhaltung ist eigentlich schon die halbe Miete.

Der Vorschlag war sogar eher preisgünstig, weil er mit relativ günstigen Komponenten auskommt. Das Problem für die meisten Nutzer hier im Forum wäre aber die Verwaltung zweier OpenSolaris NAS.

Wenn man das Problem mit Geld erschlagen wollte, würde man richtig dicke Geschütze auffahren.

Ich weiß, worauf Thomas raus will.

Mir geht es so, wenn ich Häuslebauern vorschlage, Ihr Haus ohne Keller zu bauen.

Fakt ist: Der Keller kostet das selbe, wie der Rest, ist aber mit Dingen gefüllt, die eigentlich auf die Halde gehören!

Ich würde mir sowas aber auch nicht freiwillig ans Bein binden, obwohl ich's könnte

Ich denke, den meisten würde an der Stelle eher "einfach"/"simpel beherrschbar" vorschweben als eher dick/schnell/supertoll. Die üblichen Verdächtigen à la QNAP, Synology, Drobo & Co. wildern ja erfolgreich in dem Segment (dabei darauf setzend, dass die User der Kisten nicht nachdenken, was sie sich da eigentlich aufhalsen).

Bei Privatleuten, die TByte-weise irgendwelchen Medienschmarrn bunkern, ist ja eh alles egal. Aber Einzelkämpfern und kleinen Firmen kann man wirklich nur wärmstens empfehlen, über strukturierte Datenhaltung nachzudenken (nicht alle Daten sind gleich wichtig/wiederherstellbar, etc.) und über Archivierung flankierend zu Backup.

Und da können sich absolute Low-Cost-Lösungen sehr gut machen, bspw. NeoFinder http://www.cdfinder.de/de/index.html

Das Bild paßt zwar nicht wirklich. Aber ums aufzugreifen: Ich würde Daten archivieren und sie nicht im eigenen Keller sondern hier und dort verteilen (dito regelmäßig auch mal ein Fullbackup der "aktiven Daten") und mit so Bamperl-Tools à la NeoFinder den Überblick behalten...

Der Thread schläft ja gerade: Wenn mir Dunning-Kruger mal über'n Weg laufen, werde ich die zum Bier, ach, was erzähl' ich, zum Essen einladen