Hallo,

habe gerade den neuesten Beitrag von ct´ 3003 zu OpenClaw angesehen

Die Installation, Vor- und Nachteile werden in dem gut 30-minütigen-Video erklärt.
Ein paar Stichpunkte:
Lokales LLM und VOLLZUGRIFF auf den Rechner, auf dem der Redakteur keine privaten Daten hat - gute Idee.
Selbst dann problematisch, davon abgesehen kann OpenClaw vieles...
Mit Koppelung in einen Chat, verwaltet OpenClaw (Bot) den Rechner/ Apps und übernimmt die im Chat gestellten Aufgaben.
Der Entwickler von OpenClaw stammt aus Österreich.
In der weiteren Entwicklung will man sich mehr auf Sicherheit fokussieren...

Irgendwie stelle ich mir Siri 2.0 auch in der Richtung vor, mit mehr Datenschutz und -sicherheit allerdings auch etwas beschränkter...

Wie seht ihr das?

Ich finde das extrem spannend und kann Kenos Staunen nur teilen. Ich hatte davon schon vorher mitbekommen, es aber ignoriert. Ich dachte, es ist auch nur wieder sowas wie HyperContext, das einige Mac-Sachen per MCP steuerbar macht. Offenbar ist das eine größere Kuh, die durch KI-Dorf gejagt wird, als ich dachte. Ich vermute mal, dass das Tool in zwei Jahren aber niemanden mehr interessieren wird, weil die ganze Arbeit darin dann von den großen KI-Unternehmen aufgegriffen wurde. Apple sollte sich Peter schnappen, der hat sich in Vergangenheit ja schon mal im Apple-Kosmos verdient gemacht (PSPDFKit).

Das verwendete LLM wird, so wie ich es verstanden habe, nicht lokal ausgeführt. Stattdessen wird von Peter Claude Opus 4.5 empfohlen, was Keno ja uach verwendet hat.
OpenClaw zeigt aber eindrucksvoll, was mit MCP, Agent Skills, Shell-Zugriff und einer entsprechend guten Pipeline (hier OpenClaw) möglich ist.
Genau sowas wollte ja Apple 2024 mit vollständiger semantische Indizierung, On-Screen Awareness und Aktionen über Apps hinweg mit der neuen Siri anbieten.
Das Problem: Kleine On-Device-LLMs sind nicht stark genug und stärkere Modelle brauchen zu viel Energie, da wäre der Akku ruckzuck leer.
Außerdem ist das Problem von Prompt Injection bisher nicht hinreichend gelöst worden. Bekommst du eine Nachricht (Mail, RCS, etc) und das Modell bekommt das, könnte daraufhin eine nicht erwünschte Aktion ausgelöst werden. Ich weiß nicht, ob ich das auf einem Produktivgerät mit sensiblen Daten so betreiben wollen würde, ich denke eher nicht.
Und wenn man als User ständig Popups wegklicken darf, ob dies und das aufgerufen oder verarbeitet werden darf, macht die Nutzung ja auch keinen Spaß mehr.

Nein, ein lokales LLM ist zwar möglich, aber das ist schon arg beschränkt und vor allem Fehleranfällig. Ich suche immer noch nach einem guten lokalen System, um per RAG in einem großen Batzen PDFs recherchieren zu können. Meine ersten Versuche mit Elephas sind nur so semi-befriedigend, aber das Indexieren dauert bei meinem Umfang auch Tage, sodass ich Änderungen (höherer Kontext für den Index, anderes Modell) nicht sofort testen kann.

Peter Steinberger ist im Apple-Universum übrigens kein unbekannter, von ihm stammt PSPDFKit und er hat auch an Hokey-App, das früher das Verteilen von AdHoc-Versionen von iOS-Apps wesentlich erleichtert hat, mitgewirkt.

Hier ein Podcast zum Thema , hab ihn noch nicht gehört, aber einige andere von Malcolm. Interessanter Typ.

Welche Hardware nutzt du denn?

Wie viele PDFs sind es? Ich habe mir eine Indizierung / Zusammenfassung mit Kurzbefehle, LM Studio und Qwen 3 30b gebaut, das überraschend gut funktioniert. Braucht aber natürlich eine Weile, läuft dafür aber rein lokal und lost' nix.
Im Hintergrund Fülle ich mit dem Kurzbefehle einfach die native Datei Info mit einer ausführlichen Zusammenfassung und Keywords (und benenne die Dateien inhaltsbasiert). Unter Mac OS funktioniert das. Für Drittsysteme müsste man irgendeine Art von sidecar Metadateien basteln, was natürlich hässlicher wäre.

das ist der anfang vom ende der menschheit

Ich habe das Gefühl, der initiale Post kam von einem Menschen, nicht von einer AI.
Interessant in jedem Fall sind die Antworten:
https://www.moltbook.com/post/34809c74-eed2-48d0-b371-e1b5b940d409

Das, was du mit Shortcuts machst, ist aber kein semantischer Index, sondern dann doch nur eine Suche anhand Keywords und Zusammenfassungen, oder verstehe ich da was falsch? Nebula möchte aber glaube ich einen semantischen Index haben.

Okay, dann hab ich es falsch verstanden. Mit vektorbasierten Suchen habe ich bisher nicht gearbeitet, zumindest nicht auf dem Level. Aber klingt auf jeden Fall interessant. Für mich war die Integration in die macOS-Indizierung wichtiger, daher reicht mir das ganze auf Stichwort-Ebene. Meist geht es auch nur um Rechnungen die ich suche oder Screenshots die ich irgendwann mal gemacht habe

Ich nutze einen M1 Max mit 64 GB RAM. Sicher nicht optimal für den Zweck. Auch ist meine PDF-Sammlung mit rund 50000 Dateien kein Pappenstiel. Ist mir alles bewusst.

Kurz: Für Produktivsysteme, die auch noch am Internet hängen ein absolutes No-Go. Und für privat würde ich das auch nicht benutzen.

Klar, wenn ich einem Programm sämtliche Rechte gebe, kann es auch viel.

OT: Welche Modelle hast du so ausprobiert? In den Speicher müssten ja auch größere passen. Ist da dann die Performance einfach mies oder reicht der Speicher auch gar nicht für die Modelle, die du gerne nutzen würdest? Und hast du schonmal Modelle mit der MLX-LM-Pipeline von Apple ausprobiert?
Insbesondere mit MLX sollte die Performance, auch bei größeren Modellen, besser sein. Voraussetzung ist, dass die für MLX vorliegen, aber die Community auf HuggingFace ist inzwischen recht groß und hat viele bekannte Modelle portiert.

Ich habe alles probiert, was in Elephas integriert ist, und bei LM Studio von GPT_OSS, Qwen, Magistral, Gemma, Nemotron bis Granite. Dabei auch Modelle 30B Parametern. Aber ich habe das Problem schon eingegrenzt. Für die Indexierung habe ich nun E5 Large mit größerem Kontextfenster verwendet. Nun liefert auch Llama 3.2 3B halbwegs brauchbare Antworten. Leider harmoniert Elephas derzeit nicht mit dem neuen LM Studio.

Als Nichtinformatiker bin ich wahrscheinlich jetzt sehr naiv. Ich habe das zitierte Video gesehen und war vollkommen fasziniert. Ist das nicht die Art und Weise, wie Computer arbeiten sollten, um Menschen das Leben zu erleichtern? Schick mir doch mal die Datei .... oder installier doch mal .... Ich lasse oft ChatGPT für mich etwas programmieren. Wenn etwas nicht funktioniert, wird mir erklärt, warum es nicht funktioniert, und welche Programmzeile ich dann ändern soll. Das interessiert mich total null. Er soll machen, bis ein funktionierendes Ergebnis da ist und mir das zur Verfügung stellen. Den Rest kapiere ich eh nicht. Ich sehe auch nicht ein, dass ich mit über 70 noch acht Programmiersprachen lernen soll, um mir anschließend das Leben erleichtern zu können. Ich verstehe nicht viel von Informatik aber beruflich sehr viel von Kosten-Nutzen-Analysen. Gibt mir einen Computer, der mir ohne großen Aufwand auf Zuruf mein Leben erleichtert. Aber natürlich hoffe ich auch, dass ich nicht HAL aus 2001 dabei ins Leben rufe. Um für die entsprechende Sicherheit zu sorgen, wäre ein Mensch, in Form eines Informatikers sehr hilfreich und aus diesem Szenario nicht weg zu denken.

OpenClaw ist ja letztlich nur eine Art Demo, was die Technologie der Agenten grundsätzlich alles kann und können wird. Was da fehlt, ist das Sicherheitsnetz und mit fehlen meine ich: es gibt im Prinzip keins.

Die Kunst für alle Anbieter wird sein, diese Möglichkeiten bereitzustellen unter Berücksichtigung aller nötigen Sicherheitsoptionen. Darin steckt das enormale Potential auf das ja derzeit alle wetten. Für den Consumer wird das aber eher eine Art Abfallprodukt werden, das große Geld steckt in den Businessanwendungen, sprich Personaleinsparungen, Entwicklung und Entwicklungszyklen. Da kann man seriöserweise noch gar nicht abschätzen, wohin die Reise geht.

ich denke, wir sollten uns KI langsam einmal wie persönliche Assistenten oder auch Buttler vorstellen, und uns dann die Frage stellen wieweit bin ich persönlich bereit zu vertrauen. Bin ich mir vollkommen sicher das meine persönlichsten Geheimnisse nicht weitergegeben werden?
Das ist die Frage die sich jeder stellen muss.
Denn beide können erst dann wirklich gut sein in ihrem Job, wenn sie alle Parameter kennen.

Bei Produkten, Dienstleistungen und allem, was ich nicht selbst mache, sondern anderen überlasse, geht es immer um Vertrauen. Ich muss vertrauen, dass mein Auto nicht bei 120 km/h auseinander fliegt. Ich muss vertrauen, dass in einem nicht von mir selbst konzipierten Computer-Chip keine Hintertüren eingebaut sind. Als Programmierer muss ich meinem Compiler vertrauen, dass er nicht heimlich Hintertüren in meine Apps kompiliert. Ich muss vertrauen, dass pädagogisches Personal meinen Kindern keinen Schaden zufügt. Ich muss vertrauen, meine Mietwohnung nicht verwanzt ist. Ich muss vertrauen, dass Autos bei Rot stehen fahren und mich nicht überfahren.

Gerade auch noch was dazu von R. Zeier erschienen:
https://youtu.be/LtNRL0wuLUM

...sowas hier zum Beispiel

der Entwickler von OpenClaw Peter Steinberger ist jetzt bei OpenAI (Beitrag dazu auch auf MTN) - hier ein ausführliches Interview mit ihm auf YouTube bei ZIB2

Also, Jan-Kenos „Bedenken“ darüber, was OpenClaw anrichten wird, sind schone so extrem deutlich herausgekommen, dass wir uns Sorgen vor den Zeitgenossen machen müssen, die sich um Sicherheit im digitalen Lebens nicht weiter scheren.

Ich bin gespannt, wann die ersten ClawBots aus ihren Installationen ausbrechen und sich auf unzureichend geschützte Hardware im Web transferieren und dort gemütlich einrichten. Mal sehen, was denen dann so alles einfällt.

(Vielleicht war das auch der Grund, ein OpenClaw-Forum einzurichten.)

OpenClaw -- Cyberdyne Systems gefällt das.

Viel schlimmer, das ist der Beginn von Skynet. Und Matrix. Der Anfang vom Ende der Menschheit - habt ihr denn nicht Terminator und Matrix gesehen und kapiert, was passiert, wenn wir den Maschinen die Macht über unser Leben geben? Die werden die Menschheit auslöschen.

Nebula möchte aber glaube ich einen semantischen Index haben - ich verstehe das Problwem nicht und weiss auch nicht, was RAG sein soll. Eklärbär bitte. Danke.

50000 Pdfs - hab ich hier auf der Festplatte auch rumfliegen. Da finde ich alles einfach mit Apfel-F. Briefe, Rechnungen, Email-Ausdrucke. Was übersehe ich? Insofern, Erklärbär bitte. Danke.

Grüsse von John Connor

Mit KI müsste ich nicht mehr wissen, welche Synonyme es für bestimmte Suchbegriffe gibt (Rechnung, Quittung, Receipt …) und ich könnte komplexere Suchen mit natürlicher Sprache formulieren. Oder frage nach gewissen Fakten. Fall eine KI die nicht kennt, halluziniert sie. Mit den PDFs habe ich eine Faktengrundlage.

RAG bedeutet grob gesagt, dass die KI was zum Ursprungswissen dazu lernt. Einzel-PDFs passen auch direkt in den Prompt, aber alle würden das Kontextfenster sprengen und müssten jedes Mal erneut analysiert werden.

Retrieval-Augmented Generation ist etwas ziemlich Komplexes:

ah. DANKE.

Forscher simulierten Konflikte: KI greift schnell zur Atombombe

Menschheit: Hey, lasst uns einen KI Assistenten bauen, der völlig autonom für uns bis hin zu Interaktion in der digitalen Welt (Social Media Diskussionen etc.) arbeitet.

da war Joshua 1983 schon schlauer

Was möglich ist, wird gemacht werden. Wie immer. Leider auch vermehrt von denen, die keine Ahnung haben und ihrer Faszination erliegen und keine vernünftige Folgenabschätzung liefern können.

Unterm Strich: Jetzt noch lustig und für einige eine Hilfe, bald aber eine Vollkatastrophe für die Menschheit. Schade eigentlich, wir waren so weit gekommen.

Das Internet stirbt ja schon so langsam aber sicher.