Mo Gawdat hat einen Talk mit Brian Rose. Es geht um AI und den Entwicklungsstand jetzt.

Warum poste ich das hier? Mir scheint es, als wären wir im Jahr 1900 rum. Die ersten Autos fahren rum. Und wir sitzen am lokalen Gasthaus draußen. Einzelne vermuten, dass die Autos die Zukunft sein könnten, die meisten anderen denken das nicht.

Im Gegenteil, man findet in der Presse genügend Beispiele, warum das Pferd dem Auto nicht nur überlegen ist, sondern auch immer überlegen sein wird.

Es fallen Sätze wie: "Egal, wie gut Autos sein werden, ein Pferd zieht den Pflug intuitiv! Niemals werden "automatische Pferde" dies besser können."

Wer sich wirklich über den aktuellen Stand informieren möchte und einen 2h-Talk über die Auswirkungen von KI auf uns ansehen will:

https://londonreal.tv/mo-gawdat-ai-is-the-infant-that-will-become-your-master/



Ich habe jetzt wirklich lange überlegt, ob ich dieses Fass aufmachen soll. Ich schätze dieses Forum sehr. Die meisten Meinungen teile ich nur teilweise, bin aber trotzdem froh, diese Meinungen zu hören. Wie hier über KI gesprochen wird und wie - in meinen Augen - grundfalsch diese Annahmen sind, ist ja grundsätzlich mein Problem.

Aber die nächsten paar Jahre müssen gestaltet werden. Wenn wir uns in Gänze negierend hinstellen und die vermutlich größte Zäsur in der Geschichte der Menschheit passiv beobachten, kann das ungut werden.

In diesem Vortrag spricht Mo Gawdat sehr vieles davon an. Und sehr neutral. Aufrüttelnd. Möge sich jeder Interessierte rausziehen, was nützlich erscheint.

Was aktuelles,
die neuesten KI Modelle halluzinieren mehr, werden also eigentlich schlechter.
Wenn man es merkt.
Daraus für mich ein Paradox:
je mehr man sich mit etwas auskennt, desto weniger hilft LLM KI bei Wissen weil man so viele Fehler erkennt,
je weniger man sich mit etwas auskennt desto mehr scheint das LLM KI zu helfen, man erkennt aber keine Fehler, weil man sie nicht sieht.



Hier ein recht aktueller video eines Informatikers, der die LLM Situation erklärt.

https://www.youtube.com/watch?v=KeEs3HpuH9I

Ist es nicht stets so, dass von neuen Werkzeugen diejenigen profitieren, die das Werkzeug einzusetzen verstehen?
Bei KI also nicht als Suchmaschine oder unreflektierter Schreibknecht, sondern für Brainstorming, Routine, Recherche-Start und Strukturierung.

Exakt das ist der "Dunning-Kruger-Effekt": Um zu erkennen, dass man in etwas scheiße ist, erfordert das selbe Skillset, das nötig wäre, um in dieser Sache gut zu sein. Im Regelfall wissen wir nicht, wann wir doof sind.

Deswegen finde ich es auch interessant, dass die Mehrheit der Techunternehmen sagen: "wir stehen Monate vor der Singularität" ["San Francisco Consensus"] und wir uns entscheiden auf diejenigen zu hören, die das genaue Gegenteil behaupten.

Könnte daran liegen, dass ebendiese "Technunternehmen" aktuell in rasender Geschwindigkeit Geld verbrennen und darauf angewiesen sind, mit großen Versprechungen permanent weiteres Kapital zu aquirieren.

Äh nein, das sagt eine Minderheit der Technunternehmen. Und genau genommen vor allem deren Manager (so wie der den Du zu beginn dieses Threads zitiert hast). Und es sind genau die Unternehmen, die entweder sehr viel Geld einwerben müssen (wie OpenAI, Anthropic, etc.), oder aber auf der Suche nach neuen Geschäftsfeldern sind und dabei sehr viel Geld einsetzen / rechtfertigen müssen - vor ihren Aktionären (Google, MS, Meta, etc.).

Aber solche / ähnliche Versprechen gibt es eben nicht zum ersten Mal in der IT Historie (und sicher auch nicht zum letzten Mal). In der Vergangenheit wurde bereits sehr viel Geld verbrannt mit z.B. Blockchain, Kryptowährungen, Augmented/Virtual Reality, 3D-Druck, etc.. Alle diese Technologien wurden - in Ihrem Bereich - als "Systemsprenger" gesehen (Digitale Identität / Vertragsgestaltung, Währungssystem, Realitätswahrnehmung, industrielle Produktion, etc.). Und alle diese Technologien hatten, haben und werden haben sicher einen gewissen Einfluss. Aber eben nichts disruptives, und vor allem nichts, dass die getätigten Investitionen auch nur halbwegs rechtfertigen würde.

Ich persönlich sehe in LLM-KI nichts anderes. Ja, sie werden einen gewissen Einfluss haben - insbesondere auch in der Grundlagenforschung. Sie werden bestimmte einfache Arbeiten übernehmen können und sicher einen gewissen Einfluss auf die Lebensrealität der meisten Menschen haben. Aber sie sind sicher - rein konzeptionell - nicht in der Lage "die Singularität " (aka allgemeine Intelligenz) zu erreichen. Da ist sich die überwiegende Mehrheit der Forschergemeinde sehr sicher.

Wichtig ist vor allem, dass die Menschen - mal wieder - lernen mit diesem Werkzeug umzugehen - ganz abseits von Marketing Versprechen und Weltuntergangsphantasien. Das rückt aber leider - mal wieder - sehr in den Hintergrund und ist "Neuland". Schließlich kann doch jeder mit einem Chat-Bot reden ...

Wir sollten das Werkzeug KI (solange es sich selbst nicht bewusst ist) in seiner Art, seinen Fähigkeiten und deren Grenzen verstehen. Es gibt verschiedene Arten von LLMs, Machine Learning und Diffusionsmodellen, die sich in Komplexität und dem gelernten Datenbestand unterscheiden. All diese Faktoren müssen wir bei der Nutzung berücksichtigen.

LLMs funktionieren perfekt (aus ihrer eigenen Perspektive) und liefern eine der wahrscheinlichsten Lösungen für den gegebenen Prompt. Allerdings kann die KI primär nicht unterscheiden, was wahr ist und was nicht, da auch die Daten, die zur Entwicklung verwendet wurden, Fehler enthielten. Plausibilität und Referenzen sind für die meisten KI-Modelle nicht selbstverständlich. Wer versteht, dass eine wahrscheinliche Lösung nicht unbedingt eine wahre Lösung ist, verifiziert oder verlangt Referenzen und Begründungen, die er zu validieren hat. Dies muss man allerdings lernen und verstehen.

Neuere Modelle verfügen auch über Gedächtnisfunktionen, die es ihnen ermöglichen, aus bisherigen Gesprächen Daten zu extrahieren und diese bei zukünftigen Antworten zu verwenden. Man könnte das auch als Lernen bezeichnen. Business-KI erhält Datenbanken mit zusätzlichen Referenzdaten (z. B. FAQ, Prozesse, Fehler-Antworten). Modelle können durch zusätzlichen Input “getuned” also spezialisiert werden. Neue Modelle werden durch synthetische Daten generiert, weil die echten Daten zu viele Fehler haben und redundant sind. Die chinesischen Modelle nutzen echte Daten und könnten auch ungeliebte Dinge sagen, deswegen sind sie mit Guardrails versehen. Ausgaben, die gegen die Regeln verstoßen, werden einkassiert. Amerikanische KI haben solche für kriminelle und sexuelle Inhalte. Das heißt, man hat nicht das Wissen korrigiert, sondern nur einen Maulkorb verpasst.

Die Gefahr, dass in der KI jedoch alles ausgewertet werden kann (ich vermeide hier das Wort gedacht), ermöglicht jedoch auch bei einer Kenntnis der Guardrails, diese zu umgehen. Hier muss eine Veränderung der Lernmatrix durch entsprechende Konzepte erfolgen. Die Gefahren sind erstmal in der Arbeitswelt zu finden. Programmierer mit Standardkenntnissen werden stark reduziert. Marketing Mitarbeiter, die fertige Konzepte ausarbeiten, werden ersetzt usw. Wir können diese Büchse der Pandora nicht wieder zu machen. Wir müssen uns anpassen. Die eher unbekannteren KI Varianten, die beim Militär eingesetzt werden, machen mir mehr Sorgen.

Das mit der Singularität ist doch wieder so ein unverstandenes buzz word dropping. Eine Singularität wird es nie geben. Es wird viele KI-Systeme geben, nicht nur eines, das - kleiner geht es scheinbar nicht - dann natürlich die Welt beherrschen würde. Technik wird wie immer zu sehr anthropisch verzerrt gesehen und menschliche Eigenschaften ohne Hemmung (und ohne wissenschaftliche Grundlage) auf Technik projiziert.
Dahinter steht Marketing in eigener Sache von Apologeten des Grauens, die mit Skandalisieren die eigene Wichtigkeit betonen (weil sie es ja blicken) und für Aufmerksamkeit sorgen, da gute Nachrichten eben keine verlautbaren nachrichten sind.

Naja... Leute die sich mit Werkzeugen gut auskennen profitieren typischerweise am meisten von ihrem Einsatz... das gilt für jedes Werkzeug, neu wie alt. Wenn ein Kleinkind nicht gut mit Messer und Gabel ist, dann profitiert es weniger von dessen Einsatz als ein Erwachsener der es kann

Aber dieser Sachverhalt ist ja in der Ursprünglichen Aussage gar nicht gemeint gewesen. Das Problem ist eben, dass man zu einem Sachthema bei dem man sich nicht auskennt nur schlecht prüfen kann ob ein LLM Bullshit produziert oder nicht. Kennt man sich aber zumindest ein bisschen aus, so besteht eine Chance, dass man zumindest Bullshit auf großer Ebene erkennen kann. Dennoch können aber fiese kleine Dinge durchrutschen. Kennt man sich jedoch perfekt mit dem Thema aus, dann braucht man auch kein LLM Fragen. Das ist in der Tat paradox.

Daraus allerdings abzuleiten, LLMs wären als Werkzeug nicht nützlich, wäre auch falsch. Du hast ja bereits gute Beispiele gebracht: Wenn es nur um Ideenfindung (ohne richtig/falsch) oder "Automatisierungen" (zB. generieren/transformieren von Daten die leicht überprüft werden können) geht, dann ist der Einsatz ziemlich unkritisch. Auch ein Recherche-Start wie Du ihn nennst ist natürlich legitim - immer mit ausreichend hoher Grundskepsis.

Faszinierend ist ja, das viele Menschen hier auch ein Tool großes Vertrauen setzen, das einfach extrem unzuverlässig ist. Wie wohl die Antworten wären, wenn man die großen LLM-Gläubigen fragt, ob sie auch mit Flugzeugen in den Urlaub fliegen würden die in 80% der Fälle nicht abstürzen?

Diese Art des Marketings ist eben finanziell erfolgreich. Phony Stark hat dieses Prinzip gewissermaßen perfektioniert und ist so aus Bullshit zum "reichsten Mann der Welt" geworden... zumindest solange die Träume noch von genügend Leuten geglaubt werden und die Blase nicht doch irgendwann platzt.

Was gibt die Grafik eigentlich wieder? Die Bullshit-Quote?
Wenn ich das richtig sehe, sind die neueren und besseren Modelle eher links als rechts.

Y Achse ist die Halluzination %
die grafik ist aus dem youtube link den ich gepostet hatte.
Und die unerwartete Verschlechterung versucht wird zu erklären.

Die AI Firmen wissen selber noch nicht warum die Modelle mehr halluzinieren.
Vor allem die reasoning modelle halluzinieren mehr, je neuer.
Aber auch einige neue nicht r werden schlechter.
Beispiel war ja aktuell in einer US Zeitung die Buchempfehlungen für den Sommer in der 10 von 15 Bücher erfunden wurden.
https://gizmodo.com/chicago-paper-summer-reading-list-fake-books-ai-2000604708
Eine derzeitige Erklärung ist das die AI ein "Model of the World" erzeugen und in diesem kohärente Wortkombinationen mit Wahrscheinlichkeiten erschaffen, die jedoch mit der Realität nicht übereinstimmen, sondern nur mit den gefütterten Daten.

Deine Grafik behauptet das Gegenteil.

Was produziert mehr Bullshit: KI oder YouTube?

Vielleicht haben sie ihre Modelle mit zu vielen ihrer selbst erzeugten Halluzinationen gefüttert?
https://www.basicthinking.de/blog/2024/08/08/studie-ki-lernt-von-ki/
https://www.heise.de/news/KI-Kollaps-droht-wegen-KI-generierter-Trainingsdaten-9823352.html
YouTube ist nur eine Plattform, die produziert nichts, wenn das sind das die Influencer die sich auf der Plattform tummeln....

Man hört oft, dass viele Leute denken: "Die KI-Systeme nach dem LLM/GPT-Prinzip lernen aus dem Internet. Da im Internet viel Unsinn steht, wird Vieles falsch erlernt. Also sind auch die Antworten falsch."

Aber da traut man dieser Art von KI schon viel zu viel zu. In Wirklichkeit ist es so, dass solche Systeme überhaupt keine Fakten über die Welt lernen. Provokativ gesagt lernen sie nur, wie man in mehreren Sprachen gut klingend über die Welt sprechen kann, ohne etwas über die Welt wissen zu müssen. Dadurch lassen sich Menschen leicht täuschen. Dass manche Leute Kompetenz nur vorgaukeln, kennt man aus dem Alltag …

Wenn man einen KI-Assistenten danach fragt, was Multiplikation ist, wird man eine gute Antwort bekommen, da das System bestimmt Mathematiklehrbücher für Grundschüler "gelesen" hat und den Inhalt zusammenfassen kann. Aber das heißt nicht, dass die KI etwas über dieses Thema "weiß". Wenn man wortwörtlich fragt, "was ist einhundertdreiundzwanzig mal vierhundertsechsundfünfzig" wird man selten das korrekte Ergebnis bekommen. Es gibt ein paar Assistenten, die die richtige Antwort liefern, manche liefern keine brauchbare Antwort, manche einen Näherungswert, manche liefern mehrere Ergebnisse, die sich widersprechen, manche liefern halluzinierte Rechentricks, die kompletter Blödsinn sind.

Ich habe das spaßeshalber gerade mit ein paar kleinen und großen Sprachassistenten ausprobiert und folgende Ergebnisse bekommen:

• 56088 (ja, stimmt!)
• 59515
• 58915
• 60595
• 60615
• 120615
• 60720
• 561288
• 570972

[quote=tobias.reichert]
Deine Grafik behauptet das Gegenteil.


hier eine andere nach einem anderen Hallucination Benchmark.

es gibt Ausnahmen, aber es wird eher mehr.



wird nun hoffentlich sichtbarer.

Ok, bei allen bis auf OpenAI wenn man die Bezeichnungen versteht. Hatte aber heute was das angeht mit Copilot eine krasse Erfahrung, was sich ja eigentlich an ChatGPT bedient?

Woraus liest Du das ab? Die Grafik sagt doch, dass sich die Halluzinationsrate dieses standardisierten Tests von beispielsweise "OpenAI GPT" zwischen Version 4.0 und 4.1 von 1,8% auf 2,0% verschlechtert hat.

Im Moment deuten alle Daten darauf hin, dass die Weiterentwicklung dieser speziellen Art von KI an ihr Ende gekommen ist und nur noch Verschlechterungen zu erwarten sind, wenn man nicht ganz neue Ansätze verfolgt.

Oh ja! Viele scheinen unter "Halluzinationen" einfach "falsche Antworten" zu verstehen und begründen diese mit Fehlern in den Trainingsdaten. Ein... "korrekt" wiedergegebener Fehler ist jedoch eben gerade KEINE Halluzination sondern ein Beispiel für die Wiedergabe erlernter Dinge... wenn diese im Trainingsmaterial falsch waren dann sind sie halt auch falsch... aber trotzdem richtig gelernt .

Exakt - leider kommt noch hinzu, dass nicht gewährleistet werden kann, dass eine Antwort "halluziniert" ist, wenn die richtige Antwort womöglich gar im Trainingsmaterial irgendwo zu finden ist... denn je nach Kontext, Fragestellung und Qualität des Trainings in diesem Bereich wird eben eine Antwort erzeugt ohne dass dieses Trainingsmaterial darauf einen ausreichenden Einfluss hat. Oder kurz: Nicht einmal bei Dingen die Jahre alt sind, wohlbekannt und öffentlich einsehbar kann man sich auf eine korrekte Antwort ohne Halluzinationen verlassen.

Und jene, welche eine korrekte Antwort liefern, bedienen sich teilweise eines Tricks: Man erkennt die Frage nach einer einfachen Rechnung und veranlasst das LLM die Frage in ein einheitliches Format umzuformen, dass dann an ein externes, Mathesystem (nicht LLM sondern z.B. sowas wie Mathematica) geleitet wird um die Antwort zu berechnen. Die Antwort wird dann schlicht abgelesen und wieder in einen Satz eingebaut. Ähnliches funktioniert beim Zugriff auf Faktenbasen. Die Frage kann in einen Datenbankquery umformuliert werden, der dann die Fakten aus einer festen Datenbank ausliest.

Ich glaube du denkst da zu einseitig. Schon allein dass fast alle deine Beispiele sich um die Machtübernahme der KI oder um Krieg (u.a. gegen die KI) drehen...

Wandel ist immer schwer. Für machen Menschen mehr, für manche weniger. Je größer der Wandel ist, desto schwerer ist er und desto weniger Menschen kommen wirklich damit klar.
Auch ohne Krieg oder Machtübernahme wird KI höchstwahrscheinlich einen WIRKLICH einschneidenden Einfluss auf unsere Gesellschaft haben.
Beispiele:
- Wir sind nicht mehr sehr weit weg davon dass wir nicht mehr unterscheiden können ob eine Filmaufnahme Echt oder KI generiert ist. Was macht das mit unserer Gesellschaft wenn man nachrichten nicht mehr trauen kann? Also, so gar nicht mehr?

- Meta nutzt inzwischen Fake-AI-Profile die wirken wie reale Menschen. Das wird sich verbreiten und auch in andere Bereiche des Internets schwappen: Was macht das mit unserer Gesellschaft wenn du jemanden im Internet kennenlernst und ich unterscheiden kannst ob es eine KI ist oder ein echter Mensch? Wie verändert sich die Kommunikation in Social Media, auf Newsseiten oder auch ganz generell, wenn du dir nicht sicher sein kannst ob da am anderen Ende ein echter Mensch sitzt oder eine KI die so tut als wäre sie ein echter Mensch?

- KI wird aller Voraussucht nach eine Menge Berufe überflüssig machen. Mit der Zeit garantiert auch noch einige Berufe von denen es heute immer noch heisst "Job ist sicher". Es wird also eine MENGE mehr arbeitslose Menschen geben. "Arbeitslos" wird eher zur Normalität und "Arbeiten" zur Ausnahme. Gesellschaftlich stecken wir aber voll im Kapitalismus und der "Nur wer Arbeitet, leistet auch etwas für die Gesellschaft"-Denkweise fest. Wir sind NULL auf diesen Wandel vorbereitet. Unser derzeitiges System wird einfach irgendwann zusammenbrechen. Das wird eine Menge Armut und dadurch auch Tode/weniger Lebenszeit mit sich ziehen.

Der Mensch ist leider im allgemeinen ein Gewohnheitstier mit großem Talent Probleme zu verdrängen. Es wird also erst dann wirklich reagiert wenn man wirklich muss, wenn man absolut keine andere Wahl mehr hat. Bis dahin werden aber eine Menge Menschen auf der Strecke bleiben bis sich etwas ändert. Sobald sich dann aber etwas ändert könnte es besser für alle werden ("Garten Eden")

Als die Maschinen die Fabriken übernommen haben, wurden die "Handwerker" arbeitslos. Es ist irgendwie "Witzig", dass es nun die Kulischubser/Knowledgeworker (wie ich es einer bin) um ihren Job bangen müssen.

...nur halt eben kein Beispiel für "Intelligenz".
Und auch nicht für echtes lernen - sondern blosses Memorieren.

Intelligenz ist dann, wenn man (er)schliessen kann, ob etwas falsch oder richtig ist.
Ich würde sogar sagen: Gerade auch dann, wenn jemand oder etwas das Gegenteil behauptet.

Paar interessante Artikel:

"Wie uns wegen ChatGPT die Verblödung droht" ,
basierend auf diesem Blogpost "KI lässt uns Menschen das Denken verlernen – und wir halten es für Fortschritt" vom bekannten deutschen Sicherheitsforscher Mike Kuketz

"Das dreckige Geheimnis von OpenAI – gehypte KI basiert auf menschlichen Schmutz-Filtern"