Hallo zusammen,

ich brauche mal ein wenig Hilfe, es geht um Daten und wie diese zukünftig verfügbar gemacht werden können.

Die IST-Sitiation ist zur Zeit so:
Alle Daten liegen auf einem Fileserver, hier in unseren Büroräumen. Mit Backup etc.
Soweit so gut, alle Rechner sind im LAN - extern wird, wenn per VPN auf die Daten zugegriffen.

So, nun wird der Fall kommen, dass wir ein zusätzliches Büro anmieten werden, in einer anderen Stadt. Das Problem ist nun, wie können die Rechner dort auf die Daten zugreifen.

Mir fallen da zwei Lösungen ein, die aber beide nicht wirklich überzeugen.
1. Von Büro zwei per VPN auf Büro eins zugreifen.
Vorteil, Daten sind immer aktuell.
Nachteil, bei großen Daten wird es per VPN extrem langsam.

2. Von Büro eins Nachts einen Snyc zu Büro zwei erstellen.
Vorteil, schneller Zugriff auf die Daten.
Nachteil, Daten sind nie wirklich aktuell.

Kennt jemand noch eine andere Lösung?

Interessant wären die Rahmenbedingungen.
Was für eine Internetleitung steht zur Verfügung?
Wie groß sind die Dateien an denen gearbeitet wird?

Die Daten ins Netz zu legen würde noch gehen, was allerdings den Zugriff für alle verlangsamt.
Daher würde ich mir eher Gedanken machen, wie ich die VPN-Verbindung schneller bekomme.

Die Lösung, die die VPN-Verbindung am wenigsten belastet wären dann wohl virtuelle Desktops. Dabei werden nur die Bilddaten übertragen.
Ob das für dich interessant ist, hängt davon ab in welcher Branche du arbeitest und welches Betriebssystem du verwendest.
Alternativ kannst du dich nach einem SVN-Tool (Subversion) umsehen. Damit könnten vor dem Arbeiten die Daten abgeglichen werden (zB auch auf einem Zwischenserver in Büro 2) und anschließend wieder hochgeladen werden. Da kann es allerdings sein, dass eine gewisse Absprache von Nöten ist.

Hier im Büro VDSL 50, im zweitem Büro noch nicht klar, ggf. auch VDSL 50.
Die Datenmengen sind unterschiedlich, von 10 MB bis teilweise 1-2 GB.
Es geht um indesign Daten mit Bildern, wobei die Bilder teilweise zwischen 50-500 MB haben, da kommt schnell was zusammen.

Die Daten gesamt ins Netz zu legen, wird nichts bringen, Büro eins braucht direkten zugriff, weil hier mehr Arbeitsplätze sind und sein werden.

Eine konstante VPN Verbindung könnte ich direkt über die Router herstellen.
Bei großen Datenmengen wäre es aber immer noch zu langsam.

Traum Lösung wäre, wenn die Daten im Büro zwei lokal stehen und bei Benutzung geprüft wird ob auf dem Server im Büro eins aktuellere Daten sind, wenn snyct er die Daten. Sowie Nachts immer alle Daten.

Als einfache Lösung würde ich in jedem Büro einen Server aufstellen und auf diesen einen gesharten Ordner (Dropbox, Owncloud, rsync, ...) einrichten. Dort können dann die Daten gelagert werden, auf die beide Büros zugreifen müssen. Das löst natürlich nicht die Problematik, dass geklärt sein muss, wer denn gerade welche Datei verändern darf.
Zusätzlich kann man ja Nachts einen rsync über beide Server laufen lassen.

Bei dieser hohen Datenmenge sehe ich keine Chance online und in Echtzeit was über VDSL50 zu schieben oder synchron zu halten.

Ich würde die Schnittmenge der von beiden Büros benötigten Daten so gering wie möglich halten und ansonsten in jeder Stadt die Feindaten vorhalten, die offensichtlich auch dort (Kundennähe?) gebraucht werden.

Zum syncen kann ich Bittorrent Sync empfehlen.

Wenn man auf dem selben Server arbeiten will solltest du dich mit dem Thema WAN-Optimierung beschäftigen
Da kann man entweder mit Open Source Software und nem Linux Rechner was basteln oder von Riverbed, Exinda, Cisco, Juniper oder so ne Appliance kaufen.
Wenn einen auch die Themen Firewall, Content Filtering, Auto-VPN, 3G/4G Failover, Layer-7 Firewall etc. Interessieren kann ich euch die Meraki Geräte ans Herz legen.

Mengen und Änderungsraten wären natürlich interessant um mal den Daten-Taschenrechner zu schwingen.

Oder simpel Mac / Linux Server nachts mit rsync abgleichen, dann müsst ihr euch aber wirklich absprechen wer woran arbeitet. Wer früher Speichert verliert

Transporter könnte die Lösung sein:

Hierzu:

Wir realisieren sowas teils über Kontinente hinweg für Kunden. Der Knackpunkt ist, dass Du alle "normalen" Sync-Softwares für den Zweck bei Deinen Randbedingungen in die Tonne treten kannst (weil zu ineffizient) und WAN-Beschleuniger im Mac-Umfeld auch fast nichts bringen.

Rechne Dir alleine mal aus, wieviele Daten Du in 1 Std. über einen 10 Mbit/sek-Upstream durchdrücken kannst (je nach Latenz zwischen den Standorten, paralleler Nutzung der Internetanbindung und Anzahl paralleler Syncs sind das ggf. nicht mal 3 GByte).

IDs Format ist leider in aktuellen Versionen denkbar ungeeignet für differentielle Syncs (weil nicht nach einem Speichern-Vorgang einfach nur die Änderungen hinten an die Datei angehängt werden, sondern die komplette Datei einmal durch den Wolf gedreht wird. Eine 10 MByte große ID-Datei, in der sich auch nur ein Zeichen geändert hat, wird anschl. auch komplett zu syncen sein, d.h. typischerweise 6 MByte Traffic -- ID läßt sich mit passenden Algorithmen auf ca. 60% verlustfrei eindampfen).

Je nachdem, wie die beiden Standorte vom Workflow her verbunden sind, läßt sich ggf. bzgl. der Datenmengen was drehen. Wenn bspw. an Standort A Retusche und Layout/Montage gemacht wird und Standort B eigentlich nur Layoutkorrekturen durchführen soll, dann syncen wir bei so einem Ansatz die Bilddaten verlustbehaftet komprimiert (JBIG2 für Strich oder JPEG2000 für alles andere) und stellen sie dann qualitativ schlechter am anderen Standort im Originalformat wieder her (teils auch in der Variante, dass dann in einem zweiten Sync-Vorgang die Bilddaten nochmal verlustfrei komprimiert übertragen werden. Was auch noch was bringt, ist das bei Syncs nach Retuschevorgängen, dass man eine visuelle Differenzabbildung an Standort A erzeugen läßt, diese synct und dann an Standort B mit der dort vorliegenden vorherigen Version verrechnen läßt). Die platzierten Bilder einer ID-Datei lassen sich praktischerweise auch direkt aus der ID-Datei auslesen, so dass man recht elegant Seiten + Bilder syncen lassen kann, so das überhaupt zum Workflow paßt.

Ohne einen smarten Ansatz dürfte das bei den Datenmengen und Bandbreiten nicht machbar sein. Und sowas kostet je nach Komplexität auch gerne im höheren vierstelligen bis ggf. fünstelligen EUR-Bereich, weil "Spezialanfertigung", der exakt auf Eure Produktionsbedürfnissen zugeschnitten ist. Bei Interesse kannst Du ja mal direkt anfragen.

Vielleicht wäre für diesen Fall wirklich Subversion (SVN), oder auch git? (kenne ich in der Praxis nicht) praktisch.
An jedem Standort ein SVN Server, die sich Nachts syncronisieren oder auch direkt nachdem eine Datei gespeichert und eingecheckt wurde.

needs-locks für bestimmte Dateien die nicht merge-fähig sind - dann kann nur einer zur Zeit arbeiten, denn es MUSS ein lock zum bearbeiten geholt werden.
(pre)/post-commits könnten ggf. ein direktes syncronisieren mit dem zweiten SVN Server anstoßen.

Das wäre eine Umstellung im Workflow und bestimmt nicht jedem ganz lieb / einfach zugänglich.

- Virtuelle Desktops würde ich als alternative tatsächlich auch empfehlen.


- Als letzte Idee: Hat Adobe nicht selber mal mit der CS2 oder CS3 eine Art Team Kooperation ermöglicht mit locken von Dateien etc?

Ohne das wird's eh nicht gehen. Um das überhaupt realistisch zu betrachten, muß man eigentlich eine Art Monitoring aufsetzen, das mal mitprotokolliert, welche Daten sich ändern, was wie gesynct werden müsste in welchen Zeitfenstern und was bzgl. "harter" Randbedingungen ggf. änderbar ist (mehr Bandbreite bspw. -- wir haben bei einem Kunden bspw. vor Jahren einen ADSL-Anschluß von QSC dazugebucht, weil die auch ADSL mit "umgedrehtem" Up-/Downstream anboten)

Am Mac viel zu ineffizient. Wenn dann müssten die beiden Standorte auf Windows umsteigen, denn RDP/ICA lassen sich im Gegensatz zu Apples ARD/VNC-Variante hervorragend remote einsetzen.

VersionCue, ist tot und hätte für den Zweck auch nichts gebracht. Auf Basis der bisherigen Schilderungen halte ich auch sämtliche anderen "zentrales Repository"-Ansätze für zu ineffizient.

Office-Arbeiten funktionieren recht gut über Aquaconnect.
Aber bei ID würden die Mitarbeiter recht bald aus dem Fenster springen vor Frust

@ Thomas Kaiser: +1

Aquaconnect ist dafür vermutlich keine Lösung außer wirklich alle User arbeiten nur noch damit und sämtliche Daten liegen lokal auf der Kiste, die auch Terminal-Server spielt. In allen anderen Situationen kracht's früher oder später, denn da es um ID mit platzierten Bildern geht und Aquaconnect für jeden angemeldeten User die/das Server-Volume(s) anders benamst einhängt (der erste kriegt ein Volume "Bla" als /Volumes/Bla, der zweite als /Volumes/Bla-1, der dritte als /Volumes/Bla-2 usw. usf.) stimmen anschl. die ganzen Bildplatzierungen nicht mehr... und die User kriegen's nicht mal mit, denn im Finder sehen sie alle nur "Bla". Kann man per Skript richten, ist aber Quatsch und fehlerträchtig (und schlägt gemäß Murphy's Law immer dann zu, wenn man's gar nicht brauchen kann, bspw. knappe Auslieferungstermine)

Ja das kommt sogar noch dazu.
Wie gesagt, mit Office-Programmen funktioniert das sehr gut und zuverlässig.
Dass es bei ID nicht funktionieren wird, war mir klar.

Für Indesign gibt es doch einen Server. Kostet zwar einiges in der Anschaffung und die Konfiguration soll auch nicht ohne sein. Und wie die Performance ist weiß ich auch nicht aber irgendwofür muß er ja gut sein

Evtl ist die Creative Cloud für Teams von Adobe etwas für euch ?

Das Grundproblem ist die Bandbreite und die Latenz bei einer Standortkopplung. An der Latenz kann man nur bedingt etwas ändern, die Bandbreite ist ein reines Geldproblem. Ein normaler ADSL Anschluß erscheint mir keine sinnvolle Lösung für eine Standardortkoppelung zu sein, weil die Uplinkgeschwindigkeit sehr begrenzt ist.

Daher müßte eine schnellere Verbindung eingerichtet werden, dazu gibt es prinzipiell drei Möglichkeiten

• Koppellung über eine öffentliche Verbindung durch das Internet
• Eine angemietete verwaltete dedizierte Leitung
• Eine angemietete Dark Fibre, die selbst zu beleuchten ist.

Die erste Frage ist, wie weit sind die Standorte voneinander entfernt? Danach kann man Angebote für die verschiedenen Verbindungen einholen. Wichtig ist auch noch, welche Infrastruktur an den Standorten zur Verfügung steht. Denn nicht überall sind OS1 oder OS2 Fasern im Gebäude gleich verfügbar, und wenn irgend jemand etwas verlegen muß, wird es richtig teuer. Und das betrifft jede Lösung, die schneller als ADSL ist.

Wenn man selbst beleuchtet, dann spart man bei längerem Nutzungszeitraum definitiv Geld. Aber man hat erstmal eine höhere Investitionssumme zu schultern und Dark Fibre ergibt unterhalb von einem 1Gbit keinerlei Sinn und wahrscheinlich ist es nur sinnvoll, wenn man 10GbE nutzt. Bei langen Verbindungen kommt man mit Standardausrüstung nicht mehr aus, so daß man spezielle Booster braucht, das treibt den Preis nach oben. Daher ist die Entfernung wichtig.

Bei einer verwalteten Leitung braucht man sich darum gar nicht kümmern, das macht der Anbieter. Aber auch hier spielt die Länge für die Preisgestaltung eine Rolle.

Jeder Standort bekommt einen Server und die Daten werden per bittorrent sync synchronisiert. Wäre ne Möglichkeit.

Oder noch besser:
Ein zentraler Server und die Daten werden über ein Versionsverwaltungssystem dort abgelegt und bei Bedarf aus-/Eingecheckt. zB Polarion, Github etc.

Danke erstmal für die ausführlichen Antworten!

Aufgrund der Situation und der Kosten, wird es wahrscheinlich auf ein Site-to-Site VPN für kleine Sachen und große Projekte werden mit Absprache per bit-Sync in einem Shared Ordner gelegt.
Nicht die Träum Lösung, aber ich denke so wird es erstmal gehen.

@Tago

...und wenn dann noch alle Stricke reissen, dann verschickt Ihr einen USB-Stick. Der ist auch schnell vor Ort. Manchmal sogar bis 17:00 Uhr im Briefkasten und morgens dann da.
Muß man erst mal drauf kommen, heutzutage

Hallo,

@virk

ich mußte so lachen, stimmt aber. Ich habe noch immer Herrn Tanenbaum im Ohr bei einer Gastvorlesung (Buch Rechnernetzwerke) : Meine Herren, unterschätzen sie niemals die Bandbreite eines LKW auf der Autobahn vollgeladen mit Backup-Bändern.

Und so haben ich es dann für einen großen Mobilfunkprovider hier in Deutschland gemacht. Riesige Datenmengen, die niemals (damals) über eine Datenleitung bewegt werden konnten, wurden als Paket mit fester Zustellzeit versendet.

Randnotiz: Da oft die Zustellzeit (damals) nicht eingehalten wurde, waren die Pakte fast immer kostenlos versendet.

Gruß

Wie wäre es mit Wuala for Business?

Ja, dass mit dem Stick ist auch gut, besonders wenn es mal um viel Daten geht.

Cloud kommt nicht in Frage, da Büro A immer lokalen Zugirff haben muss, dafür arbeiten wir zu viel auf unterschiedlichen Projekten und auf zu großen Datensätzen.
Unser Server hat derzeit ca. 2,5 TB belegt, wobei nicht alle Datensätze in Benutzung sind.
Aber es gibt Tage wo viele Bilder hinzukommen und / oder bearbeitet werden, da kommen schnell mal mehre GB zusammen.

Das Problem sind echt die Bilder, der Rest würde sogar über VPN funktionieren.

Dazu kommen auch die Preise, wir wollen und können auch nicht tausende von Euro im Jahre dafür ausgeben.

Daher wird Büro B hauptsächlich an eigenen zugewiesen Projekten arbeiten, die aber auch Abends in den Snyc Ordner gelegt werden, damit diese immer im Büro A präsent sind.
Sollte Büro B an bestimmen Projekten mitarbeiten, muss diese halt geplant werden, damit die Daten rechtzeitig da sind. Zu not auch nur die Indesign Daten ohne Bilder. Dann kann später in Büro A alles wieder zusammen gesetzt werden. So wie es schon Thomas Kaiser sagte, Retuschen finden dann im Büro A statt und Satz (oder ähnliche Sachen) im Büro B.

Wie gesagt, nicht der Traum, aber machbar.

Hallo,

bei uns in NRW sind die, bzw. der Kabelnetzbetreiber Unity sehr stark und auch für Geschäftskunden sehr gut (150 MBit/s down und 10 MBit/s up) das sind 1 GB in 15 Minuten über die Leitung gewuppt und das bei 75,- Euro (netto) monatlich.

Gruß

Abwarten/ausprobieren. Je nach Art der Programme und der Latenzen der WAN-Verbindung habt Ihr bei direktem Werkeln über VPN nämlich mehr oder weniger "kleine Probleme", die ein sinnvolles Arbeiten unmöglich machen können.

Kleine Beispielrechnung: InDesign und "Bilder laden" (unter OS X in 4 KByte-Brocken, unter Windows je nach ID-Version teils byteweise). Ein Bild mit bspw. 40 MByte und eine Latenz (Round trip time) von bspw. 50 ms ergeben dann folgende Verzögerung: 10.000 x 50 ms = 500.000 ms = 500 Sekunden länger per VPN und das in jedem Fall on top und völlig unabhängig von der Bandbreite, die aufgrund der Latenzproblematik allerdings fast keine Rolle mehr spielt.

Betrifft andere Programme und auch den Finder je nach OS X Version auch mehr oder weniger. Wir haben erst vor Kurzem bei einem Kunden eine smarte Sync-Lösung an den Start gebracht, weil auch 100 MBit/sek exklusiv zwischen zwei Standorten und Riverbed-WAN-Equipment für 80.000,- EUR keine Randbedingungen schaffen konnten, mit denen an Arbeiten zu denken gewesen wäre. Der Latenzen halber...

Seit wann supportet Adobe denn wieder das direkte Arbeiten auf dem Server in einer Mac-Umgebung?
Bislang hält sich Adobe doch raus aus dem Support und hat angegeben, dass die Projekte lokal bearbeitet werden müssen, damit die lustigen kleinen Probleme nicht auftreten können.

Ich denke auch, dass die Trennung mit nächtlichem Sync der beste Weg sein wird, wenn hohe Kosten nicht in Frage kommen.

Sync ist nur gut wenn er augenblicklich bei Änderung geschieht um die Gefahr der gleichzeitigen Bearbeitung zu verringern. (wie zB mit Bittorent Sync möglich).

Ansonsten sind Versionsverwaltungssysteme mit zentralem Server, wie zB Subversion, Polarion, oder GitHub etc. natürlich immer vorzuziehen.

Man braucht für eine WAN-Verbindung ein geeignetes Filesystem. HFS+ ist dafür nicht geeignet. Ich kenne aus eigener Nutzung nur Lustre über WAN-Verbindungen, und Lustre hat so seine eigenen Probleme, weshalb meine Begeisterung dafür gering ist. Für OSX ist Lustre ohnehin keine Lösung, weil es keinen Client dafür gibt. Man müßte Lustre über NFS reexportieren.

Offiziell gar nicht und das ist ja auch Teil des Problems. Wenn man kraft Lizenzzahl(ung)en ausreichend Druck auf Adobe ausüben kann, kriegst Du LAN-Probleme sogar bis hoch in die Entwicklung eskaliert. Aufgrund Adobes prä-CC-Entwicklungs-/Test-/Release-Zyklen war das nur bis vor Kurzem noch nahezu witzlos, weil für die aktuelle Produktgeneration sowieso nix mehr gefixt wurde.

Meine initiale Bemerkung zu Sync war -- aus der Erfahrung von 'zig Projekten -- dass man alle gängigen Sync-Ansätze in die Tonne treten kann, wenn Daten an mehr als einem Standort verändert werden (können/müssen). Dann funktioniert sowas nur, wenn der Sync-Mechanismus smart implementiert wird und Arbeitsabläufe abbildet/unterstützt.

Bei Kunden haben wir das verschieden implementiert, manche triggern/visualisieren den Sync-Status von ganzen oder partiellen Jobs über Etiketten/Finder-Labels, bei manchen triggert den Sync das Ändern von Dateinamen/Ablagepfaden, manche haben Droplets, mit denen sie Job- oder Projektordner (bzw. die verlinkten Komponenten) auf die Reise schicken, manche haben eine Integration der Sync-Vorgänge in ein Softproof-System oder ein Asset-Management-System (interne/externe Freigabe bzw. Statusänderung triggert dann die Übermittlung der Jobdaten an anderen Standort), bei einem hatten wir einen Sync an eine Sachproof-Druckerqueue drangeschraubt. Das ist weniger ein technisches als ein simples organisatorisches Problem, wenn man nicht unendliche finanzielle Mittel hat.

Bringt nur nix fürs praktische Szenarium mit großen InDesign-Dateien und verlinkten Bildern (weil die Pfade zu den Bildern nicht sonstwohin zeigen dürfen sondern sowas wie /Volumes/blubb/bla oder \\Server\Share\blubb\bla sein müssen). Aus der Nummer kommst Du mit einem zentralen System eigentlich nur raus, wenn Du auch die Dokumentaufbereitung nicht über die Arbeitsplatzversion mit "klassischer Verlinkung" auf Server-Volume erledigst sondern entweder zentral über InDesign-Server (nix für Feinlayout) oder über Lösungen, die auf InDesign-Plugins setzen, Dokumente nebst platzierter Assets aus- und wieder einchecken und Pfade intern verwalten. Kostenrahmen für die kleinsten Lösungen locker 25.000,- eher 50.000,- EUR. Und die Integrationskosten bzw. die Abbildungen der Workflows verschlingt locker den identischen Bertrag.

Und sowas gibt es eben nicht, wenn die Aufgabenstellung "graphisches Gewerbe" bzw. InDesign + platzierte Bilder lautet.

Sicher?

Etwas suchen führt zu ExtreemFS . Das hört sich doch gar nicht so schlecht an, da man hier lokale OSS betreiben kann, die übers WAN repliziert werden. Es gibt einen OSX Client der über OSX Fuse läuft.

Hört sich in der Tat gar nicht so schlecht an. Ebenfalls kurze Suche attestiert dem FS aber häßlich geringe Performance. Kommt auf die TODO-List, es mal anzutesten (aber im Moment ist so viel anderes dringlicher, dass das Monate dauernd wird, das wirklich mal unter die Lupe zu nehmen).

Ich sehe aber nach wie vor zwei Knackpunkte:

a) Konflikte, wenn an mehr als einem Standort eine Datei geändert werden soll. Die Replica-Variante, die XtreemFS wählt, klingt nicht nach einer Lösung des Problems , wie man es im LAN durch simples Locking abfrühstücken kann (ich wiederhol mich und bleib dabei: Die Replikation von Änderung und Auflösung von Sync- bzw. Versionskonflikten muß zum Workflow passen bzw. auf diesen voll und ganz abgestimmt sein)

b) die APIs bzw. Semantiken, wie typische Programme aus der graphischen Produktion auf Daten zugreifen. Wir haben hier schon in Situationen mit inoffiziell unterstützten Setups (Fileserver per AFP) solche Probleme gehabt (mit sowohl Quark als auch InDesign -- bei Letzterem hatten wir irgendwann auch 'nen direkten Draht zu den Adobe-Entwicklern, um das Problem auf API-Ebene einzugrenzen bzw. zu lokalisieren), dass ich noch gar nicht dran denken will, wie die sich dann auf FUSE benehmen. Aber das läßt sich simpel prüfen, wir haben inzwischen ein paar Testcases "im Werkzeugkasten" für sowas