Push-Nachrichten von MacTechNews.de
Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?
Forum>Software>Neues Dateisystem mit Snapshot

Neues Dateisystem mit Snapshot

Rasmidas
Rasmidas04.06.1416:40
Ich habe gelesen, dass das Dateisystem von OS X HFS+ früher oder später eine Ablösung braucht. Kann mir einer erklären was Snapshots sind und warum das OS X ein neues Dateisystem braucht?
0

Kommentare

Apfelbutz
Apfelbutz04.06.1417:05
Würde mich auch interessieren. Seit 2008, als ich mit Apple angefangen, habe höre ich immer wieder von dem ZFS was irgendwann kommen soll.
„Kriegsmüde – das ist das dümmste von allen Worten, die die Zeit hat. Kriegsmüde sein, das heißt müde sein des Mordes, müde des Raubes, müde der Lüge, müde d ...“
0
dom_beta04.06.1419:25
In anderen Produkten wird oder soll es bereits eingesetzt werden.

Podcast zu ZFS:

CRE049 Das ZFS Dateisystem
Veröffentlicht am 21. Oktober 2007

Die eierlegende Wollmilchsau von Sun Microsystems

„...“
0
dreyfus05.06.1406:58
Das ist eine ewige Diskussion, wobei ich Snapshots (bzw. das Fehlen derer) nicht als das Hauptproblem von HFS+ bezeichnen würde.

Snapshots sind nur ein Abbild des Ist-Zustandes eines Dateisystems und dienen dazu, Inkonsistenz und Downtimes bei Backups zu vermeiden. Die Grundüberlegung ist, dass man zwei Problemen bei Backups (das Verschieben von Dateien von einem noch nicht gesicherten Verzeichnis in ein bereits gesichertes führt zu gar keinem Backup dieser Dateien, Änderungen an Dateien während die Datei blockweise gesichert wird führen ggf. zu einer korrupten Sicherung dieser) auf zwei Arten begegnen kann: 1) Während der Sicherung für alle Nutzer alles "read only" setzen (bei hochverfügbaren 24/7 Systemen ohne Downtime nicht darstellbar), 2) die Sicherung von einem sog. Snapshot, also einem eingefrorenen Abbild des Dateisystems, während auf dem "Livesystem" ohne Einschränkung weitergearbeitet werden kann.

Somit ist diese Snapshot Funktion hauptsächlich für Multi-User Systeme mit zeitintensiver Sicherungsdauer wirklich relevant. Eine andere Anwendung für Snapshots (Rollback, Wiederherstellung eines bestimmten Systemzustandes) lässt sich auch durch konventionelle Backup-Software und, zumindest teilweise, selbst durch Time Machine realisieren. Für die allermeisten Macs (die nicht als Server arbeiten) ist diese Funktion eher irrelevant, wobei es hier durchaus Ausnahmen gibt (Testsysteme, Entwicklung, etc.).

Das sicher größere Problem von HFS+ ist, dass es mit Data Degradation, also statistisch in geringem Maße immer vorhandenen Fehlern, wie die meisten verbreiteten Dateisysteme, nicht umgehen kann. Mit immer größer werdenden Platten und RAIDs, und immer größeren Dateien steigt damit die Wahrscheinlichkeit des Verlustes einzelner Dateien. Davor sind ZFS, ReFS und Btrfs besser geschützt.
0
SchaubFD10.06.1411:16
Das ist eine ewige Diskussion, wobei ich Snapshots (bzw. das Fehlen derer) nicht als das Hauptproblem von HFS+ bezeichnen würde.

Es ist nicht das Hauptproblem sicher, es würde aber Timemachine grundlegend ändern. Sicherungen könnten sowohl auf der lokalen, alsauch in dem Timemachine Backup liegen, je nach Bedarf. Eine volle Wiederherstellung (rollback) könnte von einem ZFS fähigen System egal ob von CD/DVD oder Platte durchgeführt werden. Die Neuinstallation wäre nahezu überflüssig, weil man gleich alles wiederherstellt und das noch wesentlich schneller.

Das was Timemachine macht, wäre sowohl lokal, alsauch im Backup möglich. Backup bleibt nach wie vor nötig, egal ob Timemachine oder eine ZFS Sicherung!

Durch OpenZFS gibt es nun eine kompatible ZFS Implementierung, die zwischen den Nachfolgern von OpenSolaris, Linux, PC/FreeBSD und Apple OS X austauschbar ist. OpenZFS ist für den Mac ist derzeit eher denen zu empfehlen, die sich in der Shell auskennen.

Die ZFS LZ4 Kompression ist mittlerweile so schnell, dass man diese bei Festplatten einschalten sollte, a) man bekommt mehr auf die Platte und b) langsame Platten werden schneller, weil mehr Information in der Zeit schreiben kann.

Unabhängige Info: Ich finde es erschreckend, wie viel Mist in anderen Foren über ZFS geschrieben wird. Mir ist kein anderes System (auch RAID) bekannt, welches Volumemanager und Dateisystem ist und nur annähernd gleiche Funktionalitäten, sowie durchgängige Sicherheit auf Blockebene bietet. Weder ReFS noch BTRFS können dies in dieser Art. ReFS kann vieles nicht, weil es Storage Spaces oder RAID Controller braucht. Letzteres verhindert dies bei ReFS auch eine durchgehende Datenintegrität (nur Metadaten sind sicher). BTRFS ist ein reines Dateisystem, kein Volume Manager und vieles ist Linux typisch in Entwicklung oder Zusatzsoftware. Wobei BTRFS noch mehr können wird als ReFS und Storage Spaces zusammen. ZFS wird sicherlich kommen. Spätestens, wenn die Datenmengen weit über der Bitfehlerhäufigkeit liegen. Viele der heutigen RAID5 Systeme sind noch noch mit ca. 80% Wahrscheinlichkeit wiederherstellbar.

Hat sich mal jemand die Frage gestellt, was man sichert, wenn man Müll von der Platte ließt?
0
dom_beta08.07.1423:28
Lesestoff:







und wie oben: hört euch das Podcast an, siehe oben!
„...“
0
o.wunder
o.wunder12.07.1411:01
HFS+ ist ein sehr altes Filesystem das immer wieder etwas erweitert wurde, man könnte auch sagen das dort im Lauf der Zeit viel dran rum refrickelt wurde. Ich glaube Apple ist immer noch nicht klar, dass wir heute Datenmengen im TByte Bereich haben, was vor allem durch Medien wie Filme, Bilder und Musik zustande kommt, Apple bleibt trotzdem bei sehr kleinen Platten/SSDs. Deshalb verwenden etliche heute NAS Systeme um grosse Datenmengen auszulagern.

Das grosse Problem bei HFS+ sehe ich vor allem darin, dass eine Verfälschung von Daten einer Datei nicht bemerkt wird, ZFS kann das. Auch der Backup Mechanismus ist nicht im Filesystem HFS+ berücksichtigt, sondern wurde drum herum gebaut. ZFS hat das eingebaut.

Das Problem bei ZFS ist vielleicht, das es viel Arbeitsspeicher benötigt um gut zu funktionieren und es ist nicht boot fähig. Ein weiteres Problem könnte sein, gute Programmierer zu finden die ZFS für Apple so anpassen können, das es bootfähig wird und die jetzigen Meta-Informationen von HFS+ speichert. Gute Spezialisten für Filesysteme und Betriebssysteme sind heute sehr selten.
0
gfhfkgfhfk12.07.1417:47
SchaubFD
Mir ist kein anderes System (auch RAID) bekannt, welches Volumemanager und Dateisystem ist und nur annähernd gleiche Funktionalitäten, sowie durchgängige Sicherheit auf Blockebene bietet.
IBMs GPFS kann vieles von ZFS auch, obwohl es für einen anderen Einsatzzweck entwickelt wurde. Insbesondere aus dem HPC Bereich kommend wurde es notwendig klassische RAIDs aufzugeben und durch declustered RAIDs zu ersetzen. Da es ein paralleles FS ist, ist es in erster Linie auf Durchsatzraten optimiert. Mittlerweile vertreibt IBM GPFs auch für Businessanwendungen, weil der Bedarf an sehr großen Storagesystemen stark zu genommen hat.
0
SchaubFD30.07.1411:27
Nichts gegen die IBM Entwicklung. Ich denke aber, dass es durch IBM wohl kaum zu einer offenen und freien Lösung kommen wird. ZFS ist zudem auf vielen der Unixoiden Platformen schon unterwegs und auch viele Speichersystem Hersteller haben es im Einsatz.

Ansonsten weiß ich nicht, ob wieder ein LVM unter GPFS ist, also ähnlich Storage Spaces unter ReFS bei Windows. Ich mag dieses Konzept der Plattenverwaltung nicht, weil spätestens beim RAIDset Schluß ist (Datenintegrität) und das RAIDset wieder eine eigene Verwaltungsstruktur ist. Damit meine ich die einfache Nutzung von ZFS (nur zwei Befehle zpool/zfs). LVM bedeutet meist auch, dass ich bei den Platten auf gleiche Anschlusstechnik setzen muss (SAS,FC,IB,USB etc.).

Ich habe ZFS unter Linux und OS X am Laufen und nutze die Vorteile die es für mich bringt. Also Datenkompression, Durchgängige Datenintegrität sowie Spiegelung zwischen Rechnern in jeglicher Form, sowie Portabilität der Pools. Als Notfall habe ich immer ein Sabayon Linux auf einem USB Stick als Live Version. So komme ich an nahezu alle Dateisysteme außer ExFAT.
0
Timmeyy30.07.1412:10
o.wunder
Das Problem bei ZFS ist vielleicht, das es viel Arbeitsspeicher benötigt um gut zu funktionieren und es ist nicht boot fähig.

Wenn ich mich richtig erinnere booten Solaris und FreeBSD (letzteres seit Version 10) von ZFS. Ich kann mich aber auch irren. Aber auch eine kleine Bootpartition unter UFS oder HFS+ tut ja eigentlich nicht weh.

Das mit dem Arbeitsspeicher stimmt bedingt. Für Caching usw. sind die heute üblichen Speichergrößen vollkommen ausreichend um eine Maschine 24/7 zu betreiben.
Was richtig auf den Speicher geht ist m.E. Deduplication. Das ist aber für den Heimgebrauch auch nicht unbedingt sinnvoll.

Nutze es selber in Kombination mit TM und rsync und finde es eine sinnvolle Ergänzung.
0
sierkb30.07.1413:11
Mir ist kein anderes System (auch RAID) bekannt, welches Volumemanager und Dateisystem ist […], sowie durchgängige Sicherheit auf Blockebene bietet.

Zum Beispiel:
  • JFS/JFS2 (IBM)
  • XFS (SGI)
  • ReiserFS/Reiser4
  • btrfs
und nur annähernd gleiche Funktionalitäten

btrfs
SchaubFD
Nichts gegen die IBM Entwicklung. Ich denke aber, dass es durch IBM wohl kaum zu einer offenen und freien Lösung kommen wird.

Immerhin hat IBM (ähnlich, wie SGI das mit seinem XFS Dateisystem kurz zuvor auch schon gemacht hat) das im Jahre 2002 schon einmal gemacht mit deren JFS bzw. JFS2, und es gehört wie die anderen Genannten heute zur selbstverständlichen Auswahl eines jeden GNU/Linux, da der Treiber wie die anderen Genannten inzwischen offizieller Bestandteil der Linux-Kernel-Sourcen ist:

Wikipedia (de): Journaled File System (JFS)
IBM/SF.net: JFS for Linux
ZFS ist zudem auf vielen der Unixoiden Platformen schon unterwegs und auch viele Speichersystem Hersteller haben es im Einsatz.

U.a. IBMs JFS und SGIs XFS ebenso und das bereits schon viel länger.
Ich habe ZFS unter Linux und OS X am Laufen und nutze die Vorteile die es für mich bringt.

Dann weißt Du ja um das, was ich grad' in Erinnerung gerufen habe.
Dass ZFS dem allen trotzdem die Krone aufsetzt und ein absolutes Leckerli ist, ist unwidersprochen. Ich will nur dem Eindruck entgegenwirken, dass es da bisher so gar nichts gab und gibt auf dem Feld, was die von Dir angeführten Eigenschaften (LVM- und RAID-Fähigkeit) angeht.
Oder irre ich da und erzähle nonsense?
0
sierkb30.07.1413:43
o.wunder
Das grosse Problem bei HFS+ sehe ich vor allem darin, dass eine Verfälschung von Daten einer Datei nicht bemerkt wird

Es "vergisst/verliert" offenbar auch Daten/Dateien (und disqualifiziert sich allein in diesem Punkt eigentlich für ein Backup-Dateisystem):

Aymeric on Software (10.06.2014): HFS+ Bit Rot

Dieses Problem ist nicht allein theoretischer Natur. Ich selber hatte zu Leopard-Zeiten leider ein Mal aus heiterem Himmel und im Leerlaufbetrieb (auf einmal drehte Spotlight total durch, lähmte den kompletten Rechner, Ursache war das grad' kaputtgegangene Dateisystem bzw. dessen Journaling) genau dieses Problem mit meiner Systemfestplatte: aus heiterem Himmel und bei laufendem Betrieb plötzlich das Dateisystem bzw. dessen Journaling (das ja korrupte Daten eigentlich vorbeugend verhindern soll) zerschossen, der Rechner ließ sich noch nicht mal mehr im Single-User-Modus sauber hochfahren. Unrettbar zerschossen, da war nix mehr zu reparieren. Eine ganze Woche hatte ich gebraucht, um der Ursache auf den Grund zu gehen bzw. um's wieder zu reparieren. No Chance. Ergebnis meiner intensiven Recherche im Internet: genau dieser Fehler mit auch diesen Symptomen und Fehlermeldungen tritt zwar höchst selten auf, kann aber unter HFS+ offenbar mal passieren, dass dieses Problem existiert, ist also bekannt. Sprich: selbst auf das Journaling von HFS+ kann man sich offenbar eigentlich nicht verlassen, wenn selbst das im Grunde unzuverlässig ist.

Dass die Festplatte selber nicht die Ursache war und völlig intakt, bewies nicht nur ein entsprechender Hardware-Test, sondern danach auch eine Neuinstallation mit dem zu dem Zeitpunkt gerade neu erschienenen Snow Leopard – dieselbe Festplatte lief danach noch lange Zeit tadellos und ohne Fehler durch (erst letztes Jahr gab sie ihren Geist durch eindeutig unnormal klingende Geräusche, begleitet von entsprechend aussagereichen vorherig schon aufgelaufenen SMART-Fehlermeldungen, ihren Geist auf).

Diese Negativ-Erfahrungen zugrundegelegt, die ja offenbar auch von anderer Seite so oder so ähnlich bestätigt werden, habe ich kein sonderlich hohes Vertrauen mehr (ich hatte es mal) in HFS+ und hoffe sehr, dass Apple da bald mal einen besseren Nachfolger ins Rennen schicken wird. Dieser Schritt ist überfällig.
0
Marcel_75@work
Marcel_75@work30.07.1416:50
Tja, die fehlende Prüfsummen-Kontrolle ist mir schon lange ein Dorn im Auge bei Apples Haus- und Hof-Dateisystem.

Wer sich übrigens für das Thema NAS und RAID und ZFS interessiert, sollte sich in jedem Fall mal FreeNAS genauer ansehen:
0
SchaubFD31.07.1408:15
@sirkb, Reiser und XFS brauchen einen Volume Manager zum Zusammenfassen von Festplatten in einem RAID und stellen eher reine Dateisysteme dar. Durchgängige Datenintegrität kann bisher nur BTRFS aus deiner Zusammenstellung denke ich. Wir müssen auch etwas unterscheiden zwischen LVM und Pools, da die Nutzung teils unterschiedlich ist.

Bitte Klammere bei mir JFS komplett aus, da ich JFS und auch JFS2 nicht kenne.

Nein, du redest keinen Nonsense. ZFS ist für mich wie bei vielen hier Apple. Ich rede fast jeden Tag darüber! Bin da richtig Fan davon, verzeihe es mir bitte!
0
SchaubFD31.07.1408:35
@Marcel, ich habe mir FreeNAS und Nas4Free schon angesehen. So richtig glücklich bin ich mit sowas nicht. Das Problem liegt nicht in ZFS, auch nicht in Linux oder dem Aufsatz selbst. Wenn man da Konsequent wäre, dann wäre der Aufbau mit ZFS einfacher zu gestalten.Also entweder ZFS ganz oder garnicht. Dieses erst definieren von Festplatten und dann daraus einen Pool bauen. Das gleicht irgendwie einem bauen sie ihren PKW selbst, hier sind die Einzelteile. Das ist wie Windows ReFS und Storage Spaces.

Lache bitte nicht, aber mir ging das so auf den Nerv, dass ich in der Shell für einen Spiegel kurz einen "zpool create pool1 mirror sdd sde" sowie "zpool export pool1" absetzte. Anschließend habe ich den Pool in FreeNAS oder Nas4Free importiert. Ich finde diese Platteneinrichtung gräslich ... meine Meinung. Gut, es ist eine SOHO Lösung.

Leider habe ich da in den BSD Varianten keinen aktuellen Stand, aber sollte das recht nahe zu Solaris sein, dann sollten auch folgende Dinge möglich sein:

zfs set sharenfs=on pool1/data
oder
zfs set shareiscsi=on pool1/data
oder
zfs set sharesmb=in pool1/data
0
sierkb31.07.1410:23
Reiser und XFS brauchen einen Volume Manager zum Zusammenfassen von Festplatten in einem RAID und stellen eher reine Dateisysteme dar.

Bzgl. XFS könntest Du Recht haben, bzgl. ReiserFS jedoch, insbesondere Reiser 4, ist, wenn ich nicht falsch informiert bin, u.a. genau das einer der Bestandteile und Vorteile von ReiserFS/Reiser 4.
Durchgängige Datenintegrität kann bisher nur BTRFS aus deiner Zusammenstellung denke ich.

Ich denke da anders und möchte Dir da widersprechen. Zumindest in Bezug auf ReiserFS/Reiser 4, das über Jahre genau das im Fokus habend, dahingehend entwickelt worden ist, dass das sichergestellt ist. Ich habe noch im Ohr, als das in der Anfangszeit leider noch nicht so sichergestellt war und es in der Anfangs- und Experimentierphase Datenverluste gab und drüber geschrieben worden war. Inzwischen hat sich das aber wohl stabilisiert, wenn ich mich nicht irre.

Trotzdem halte ich BTRFS für das bessere Dateisystem als ReiserFS/Reiser 4. Auch, weil an ReiserFS nicht mehr oder kaum mehr entwickelt wird bzw. da die Entwicklung fast aprubt geendet hat mit der Verurteilung von Hans Reiser vor ein paar Jahren (er wurde des Mordes an seiner Frau für schuldig befunden und verurteilt und sitzt seitdem ein).
SchaubFB
Bitte Klammere bei mir JFS komplett aus, da ich JFS und auch JFS2 nicht kenne.

Ich habe das nur deshalb angeführt, weil Du es oben IBM nicht zutraust, dass sie da irgendwas bzgl. GPFS offenlegen und freigeben und anderen zur Verfügung stellen. Ich finde: denen kann und sollte man so einen Schritt durchaus zutrauen, sie haben genau das in den letzten Jahren gleich mehrfach bewiesen, die sind nämlich sehr engagiert in Bezug auf Open-Source und Linux und knien sich da richtig rein, RICHTIG rein. Von daher: abwarten, ob sie's tun oder nicht, noch ist nicht aller Tage Abend.
ZFS ist für mich wie bei vielen hier Apple. Ich rede fast jeden Tag darüber! Bin da richtig Fan davon, verzeihe es mir bitte!

ZFS IST ja auch in der Tat sehr gut und faszinierend, es lohnt ja auch drüber zu reden, auch ich halte ja sehr viel davon, so ist es ja nicht. Und empfinde es als großen Fehler, dass Apple es damals in Snow Leopard nicht eingeführt hat oder wenigstens dann, als die juristische Situation durch Oracle bereinigt worden ist. Wenigstens jetzt sollte Apple meiner Ansicht nach diesen Schritt nochmal überdenken und überlegen, ob sie ihr ursprüngliches Ansinnen nicht vielleicht doch wieder aufgreifen und umsetzen sollten, die OSX-Plattform würde dadurch enorm profitieren, gewisse Dinge wie zum Beispiel Time Machine würden dadurch enorm aufgewertet werden, weil sie auf einem Dateisystem aufbauen würden, das wie geschaffen ist für solche Einsatzzwecke und damit sicher optimal zusammenarbeiten würde.
0
SchaubFD01.08.1412:29
@sirkb, lese da bitte nochmal in Wikipedia oder Ähnlichem nach, einiges legst du nicht korrekt aus. Nicht jedes FS hat einen LVM oder eine Poolverwaltung. Finde es aber toll, dass du Beiträge auch kritisch ließt.

mdadm --create /dev/md0 --run --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1
mdadm --create /dev/md1 --run --level=1 --raid-devices=2 /dev/sdd1 /dev/sde1
mdadm --create /dev/md2 --run --level=0 --chunk=64 --raid-devices=2 /dev/md0 /dev/md1
mkfs.reiserfs /dev/md2

Für ein RAID 10 aus 4 Platten sieht mir nicht nach Reiser internen LVM oder Pool aus.

Obiges in ZFS:
zpool create pool1 mirror sdb sdc mirror sdd sde

Gestern hatte ich jemand bei uns im Haus, der sich mit Objektspeichern im Petabyte Bereich befasst. Er sagte mir, man braucht für Szenarien immer das passende System. Ich habe mal bewusst RAID, Volumemanager etc. weggelassen. In dem Petabyte Bereich finden sich kaum Anbieter, die EMC oder Netapp heißen es gibt dort auch kein ZFS, wenn es wirklich im Multi x00 GB/s geht. Er meinte aber, ZFS wäre das Beste was man derzeit in dem Bereich wo wir uns bewegen wäre. Im Multipetabyte Bereich würden Ringe aus Servern aufgebaut, die die Information einfach parallel wegschreiben.
0
sierkb01.08.1413:36
SchaubFD
Nicht jedes FS hat einen LVM oder eine Poolverwaltung.

Geht/ging es wirklich um die Frage, ob das FS eine eigene LVM- bzw. Poolverwaltung mitbringt, oder ging/geht es nicht eher um die Frage, ob das betreffende FS grundsätzlich fähig und geeignet dazu ist, per LVM/Pool verwaltet zu werden? Ich meinte die ganze Zeit Letzteres. Wenn Du was anderes gemeint haben solltest, haben wir wohl anscheinend aneinander vorbeigeredet. Dass gerade in diesem Punkt ZFS um Einiges besser punkten kann auch von der Bedienung her als andere, steht außer Frage, habe ich nie angezweifelt.
Von daher sehe ich da zwischen uns beiden eigentlich mehr Konsens als Dissens, ja eigentlich sogar überhaupt keinen Dissens.
Gestern hatte ich jemand bei uns im Haus, der sich mit Objektspeichern im Petabyte Bereich befasst. Er sagte mir, man braucht für Szenarien immer das passende System.

Recht hat er. Es gibt nicht das eine, das sinnvoll ist für alle use cases. Vielmehr: für jeden use case die passende und daraufhin optimierte Lösung.
Er meinte aber, ZFS wäre das Beste was man derzeit in dem Bereich wo wir uns bewegen wäre.

Das habe ich mit keinem Wort bestritten, ganz im Gegenteil, da gehe ich mit Dir ja auch sehr d'accord.
Bin da richtig Fan davon, verzeihe es mir bitte!

Die Begeisterung dafür sollte trotzdem nicht den Blick insofern einengen, als dass auch andere Mütter hübsche Töchter haben (ZFS aber trotzdem ein leuchtender Stern am Himmel ist. Wenngleich auch nicht der einzige, der schön und hell leuchtet).
Umso bedauernswerter ja, dass Apple ihn bislang verschmäht. Anstatt beherzt zuzugreifen und sich und seinen Nutzern was Gutes und Schönes zu gönnen.
Im Multipetabyte Bereich würden Ringe aus Servern aufgebaut, die die Information einfach parallel wegschreiben.

Wenn Du schon in diese hohen Sphären vordringen willst, so sind dort dann wohl eher solche Dateisysteme wie Google File System (GFS oder GoogleFS), Hadoop Distributed File System (HDFS), Andrew Filesystem (AFS), Amazon Dynamo und ähnliche für verteilte Rechnersysteme zu nennen, die dann auch in den entsprechenden Cluster- bzw. Cloud-Anwendungsszenarien zum Einsatz kommen. Für unsere Spähren, in denen wir uns hier bewegen mit unseren vergleichsweise spärlichen Daten, völlig ungeeignet und totaler Overkill.
0
Marcel_75@work
Marcel_75@work01.08.1414:59
Was mir hier übrigens Kollegen berichtet haben, die im Forschungsumfeld (Uni) mit ZFS professionell zu tun hatten in den letzten Jahren:

ZFS benötigt RAM, RAM, RAM! Umso mehr, desto besser.

Und dazu für das logging möglichst SSD-Geschwindigkeit.

Das könnte, abgesehen von der damaligen Lizenz-Problematik, der ausschlaggebende Grund für ein "vorerst NEIN" gewesen sein Apple-intern.

Denn selbst wenn mittlerweile 16 GB RAM fast Standard sind (bisher ja wohl eher immer noch "nur" 8 GB), möchte man ja nicht, dass das Filesystem allein allen Arbeitsspeicher aufbraucht und für normale Programme kaum noch etwas übrig bleibt ...

Davon abgesehen gab es wohl auch äußerst schwerwiegende bugs in einzelnen Versionen von ZFS, die teilweise zu komplettem Datenverlust führen konnten! Kann man sicher auch noch nachträglich nachschauen, in welchen Bereichen da was genau gefixt wurde - und da schlackern einem dann teilweise die Ohren.

Summa summarum ist ZFS neben btrfs wohl das einzig derzeit "brauchbare" und btrfs soll wohl noch wesentlich "schlimmer" sein was bugs betrifft, dann schon doch lieber ZFS.

Aber ich befürchte, es wird noch einige Zeit ins Land ziehen, bis wir ZFS unter OS X mal als Standard-Dateisystem zur Verfügung haben.

Da würde Apple zwischenzeitlich eher noch HFS+ Extended Journaled inkl. Prüfsummen entwickeln.
0
gfhfkgfhfk01.08.1415:00
SchaubFD
Gestern hatte ich jemand bei uns im Haus, der sich mit Objektspeichern im Petabyte Bereich befasst. Er sagte mir, man braucht für Szenarien immer das passende System. Ich habe mal bewusst RAID, Volumemanager etc. weggelassen. In dem Petabyte Bereich finden sich kaum Anbieter, die EMC oder Netapp heißen es gibt dort auch kein ZFS, wenn es wirklich im Multi x00 GB/s geht.
IBMs GPFs kommt genau aus dieser Ecke. Es erlaubt "RAID" 0, 1 und 10 über Server Ebene, d.h. man kann Server gegen Ausfall absichern, in dem man den kompletten Server spiegelt. RAID0 ist für ein paralleles Filesystem ohnehin trivial, das können alle. Die GPFS Server bestehen physikalisch aus zwei Filern an denen üblicherweise vier bis sechs JBODs hängen, da sie spezielle JBODs nutzen passen da 58 Platten rein (und mehrere SSDs als Caches und Metadatenspeicher), d.h. bis zu 1,3PB (348x4TB) Rohkapazität pro GSS. Jedes JBOD ist redundant SAS verkabelt, so daß der Ausfall eines SAS HBAs in einem Server keinen Ausfall des Servers bedingt. Mittlerweile bietet IBM auch kleinere Lösungen mit weniger und kleineren JBODs an. Auf den JBODs wird ein declustered RAID gefahren, d.h. die Server verwalten die Platten selbst es wird kein LVM oder so mehr genutzt.

Jeder der physikalischen Server hängt mit mindestens 10GbE in der Fabric, üblich sind aber mehrere Infiniband QDR oder FDR Uplinks in die Fabric. IBM liefert Benchmarks von realen Installationen, die pro GSS 10Gbyte/s akkumulierten Durchsatz liefern. Da das FS sauber skaliert steigt der Durchsatz linear mit der Anzahl der GSS.

Die günstigste Lösung ist das Lustre Filesystem, welches lokal auf andere Filesysteme aufsetzt. D.h. im Netz fährt man Lustre und als Storage Backend auf jedem OSS (ObjectStorageServer) läuft dann etwa XFS oder ext4. Neben den OSS gibt es auch noch MDS (MetaDataServer), die die Metadaten verwalten. Üblicherweise läßt man MDS und OSS auf verschiedenen Maschinen laufen. Ganz ähnlich funktioniert FhGFS, Panasas, …

Interessant ist es nun, daß mit NFSv4.1 pNFS Einzug in das Protokoll gehalten hat.

GFS2 ist dagegen ein SAN FS, welches als FS für verschiedene Server dient, die parallel auf iSCSI Storage zugreifen müssen. Dann gibt es noch GlusterFS, ExtremeFS, HadoopFS, usw. die allesamt andere Fähigkeiten haben und für andere Einsatzzwecke optimiert wurden.
0
SchaubFD02.08.1417:36
Über die Petabytesysteme lasse ich mich jetzt nicht aus.

@sirkb, ja wir haben es von unterschiedlichen Seiten gesehen.
@Marcel, ich denke die Probleme lagen eher in der Implementierung der verschiedenen Betriebssysteme (Meine Meinung). Ich habe auch Probleme gehabt, dass mal durch Kernel Updates im Linux nichts mehr ging, aber ich habe keine Daten verloren. Man sollte aber trotz allem vorsichtig sein, weil jedes Betriebssystem was ZFS nicht kennt, im Grundsatz mal davon ausgeht, sein eigenes Dateisystem darauf anlegen zu wollen.
@gf..., danke für die Info, ich erhoffe mir ja auch, das pNFS bald mal kommt. Ich betreibe derzeit 200 VM's über NFS/ 40 über iSCSI und mein Kollege jammert mir die Ohren mit seinem iSCSI über IPMP voll.
0

Kommentieren

Diese Diskussion ist bereits mehr als 3 Monate alt und kann daher nicht mehr kommentiert werden.