Warum man sich nicht blind auf die Ergebnisse der KI verlassen sollte:
https://arxiv.org/abs/2406.10279

Viel Spaß beim Lesen.

Ist ja nicht so das es das erste mal wäre, das die KI etwas "erfindet" was es nicht gibt:
https://www.heise.de/news/ChatGPT-erfindet-Gerichtsurteile-US-Anwalt-faellt-darauf-herein-9068180.html

Meine Erfahrungen sind da auch eher durchwachsen.
Die KI erfindet lieber was als zuzugeben, daß sie etwas nicht weiß.

Ich hatte ein lokales Modell im Test und nach den Sehenswürdigkeiten meiner Heimatstadt gefragt. Es wurden mir diverse Parks empfohlen, von denen ich nur einen Teil kannte. Okay, ich kenne vielleicht nicht jeden Park.
Aber auch das Bier sei berühmt. Oookay, kann man so sehen…
Bei der Frage nach Brauhäusern wurde nur noch Unsinn vorgeschlagen und bei der Nachfrage nach einer Adresse kam dann eine generische Adresse, die es bei uns einfach so nicht gibt.

rmayergfx
Danke für die Links! Hab's mir mal gebookmarkt. Habe grad nur grob die Synposis überflogen. Finde - gerade im Softwareentwicklungs-Kontext - so was äusserst spannend.

Wer ohne Reflektion sich Code generieren lässt und das dann sogar noch in den Produktivbetrieb einbringt, der hat die Kontrolle über sein "IT"-Leben verloren

Ich hab ChatGPT mal nach der Adresse des Finanzamts gefragt, welches bei uns um die Ecke ist. Hab 3x die falsche Adresse bekommen, jedes Mal mit einer Entschuldigung und dennoch ist es mit der nächsten falschen Adresse angekommen

Warum es so eine vermeintlich einfache Fragestellung nicht schafft, dann aber wiederum Schüler und Studenten sich damit (anscheinend auf den ersten Blick zumindest in guter Qualität) Hausaufgaben "lösen" lassen und die eine oder andere Lehrkraft hinters Licht führen kann - ist mir auch noch unverständlich.

Es gibt sicherlich sehr viele skurile Erfahrungen. Ich kann mir vorstellen, dass die komplette Bandbreite an Erfahrungen gemacht wurde/wird. Von äussert positiven, hilfreichen Ergebnissen (vor allem in der Medizin z.B.) bis hin zu komplettem Schwachsinn mit äussert unangenehmen Konsequenzen.
Daher wird es extrem wichtig sein zu verstehen welche Einsatzzwecke sinnvoll sind und welche weniger.
Gefährlich bzw. sehr unglücklich wird's dann natürlich wenn Gesetzgeber, Anwälte, Professoren sich komplett drauf verlassen - wo es schon mehrere Berichte gab (siehe Link oben z.B.) - mit potentiell schädigenden Auswirkungen auf Beteiligte / Betroffene.

Auch wenn eine Grundskepsis und vernünftiger Umgang mit neuen Technologien, wie AI, wie immer angebracht ist, mache ich mir weniger Sorgen um AI an sich, als vielmehr, dass Entscheidungen - AI (unvernünftig) einzusetzen - von Entscheidern getroffen werden, die von Tuten und Blasen keine Ahnung haben. Leider sitzen an diesen Stellen mutmasslich eher zuviele inkompetente Leute als dass es die Ausnahme darstellt.

Dass das nicht funktionieren kann, ist ja nun mehr als offensichtlich.
Dieses lokale Modell mit, sagen wir 5 GB, müsste alle Adressen und Beschreibungen von Sehenswürdigkeiten von deiner Heimatstadt und von tausenden anderen Orten allein in Deutschland in diesen 5 GB enthalten haben. Wie soll das gehen?

Selbst große, nicht-lokale KIs sind eher keine guten Suchmaschinen, aber es gibt gute Spezialisten wie Kagi oder Perplexity.

Die richtige Nutzung wäre, eine Datei mit einem Reiseführer zu deiner Stadt als Kontext hochzuladen und der KI den Auftrag zu geben daraus ein Besuchsprogramm von 3 Tagen zusammenzustellen, dabei möchtest Du dir eher Museen, Parks anschauen, ein Besuch beim Italiener und im Dom soll eingeplant werden usw.

Tja, Microsoft ist laut CEO Satya Nadella wohl nicht mehr allzu weit davon entfernt:
https://www.golem.de/news/windows-und-co-bis-30-prozent-des-codes-bei-microsoft-bereits-ki-generiert-2504-195812.html
Im Idealfall gibt es für die Programmierteams bei Microsoft dezidierte Vorgaben, inwieweit KI verwendet werden soll, in schlechtesten Fall macht ein Programmierer pünktlich Feierabend, weil er zu einer Grillparty will und checkt den KI-generierten Code dann auch mal nicht mehr...

Ein CEO auf Marketing Kurs. Natürlich sähe es nicht sonderlich gut aus, wenn sie selber ihren eigenen Copilot, den sie gern breit vermarkten wollen, nicht einsetzen würden
Da wird dann auch irgendeine % Zahl rausgehauen, ob's stimmt oder nicht. Ebenfalls ist die Frage welche Produkte, Software und/oder Projekte davon betroffen sind. Unternehmen brüsten sich gerne mit "Referenzprojekten" mal - da wird schon mal - sagen wir mal die Wahrheit oder zumindest die Bedeutsamkeit der Projekte, wo das wirklich nennenswerten Impact hat, zurecht gebogen. Ach was sag ich da, es wird gelogen. In so einer Sitzung mit einem der grössten Softwarehäuser der Welt sass ich schon wo deren Sales-Personal dem Kunden etwas basierend auf Lügen verkaufen wollten.
Böse Zungen könnten zudem nun behaupten, dass es dann erklärt warum Windows Windows ist

Wie dem auch sei, ich darf nochmal den Aspekt betonen auf den es ankommt: "ohne Reflektion".
Ich hoffe zutiefst nicht, dass Microsoft Entwickler blindlings AI-generierten Code committen.

Beim Programmieren mit KI hilft immer der Zusatz:
Bitte nur absolut verlässlichen Code oder Bitte nur absolut verlässliche Infos
o.ä.
Dann dauert die Antwort einen Moment länger und es werden teils Quellen angegeben. Nur falls dieser Trick nicht bekannt ist. Ansonsten bin ich bisher immer ans Ziel gekommen in vielen Projekten, wo ich früher lange hätte googeln müssen oder die ich erst gar nicht probiert hätte.
Viele Leute scheinen sich über falsche Antworten von KI zu freuen, bestätigt dann Vorurteile. So wie wenn man mit dem Hammer neben den Nagel schlägt und das auf den Hammer schiebt. Werkzeuge muss man richtig benutzen.

Vielen Dank. Entspricht meiner bisherigen Wahrnehmung zum Thema.
Hier auch noch etwas dazu Passendes:
https://doi.org/10.1007/s10676-024-09775-5

Auch Perplexity (PRO) hat mich oft genug enttäuscht oder überrascht durch Konfabulieren und Erfinden von Dingen, die es nicht gibt. Regelmäßig finde ich bei Überprüfen der zitierten Quellen heraus, dass diese mitunter gar nichts mit der zu belegenden Behauptung zu tun haben.
Oder als Beleg für Produkteigenschaften werden Angaben aus Ebay Verkaufsanzeigen oder irgendwelchen Webshops herangezogen.

Vor ein paar Tagen hatte ich nach einer Verbindung mit öffentlichem Nahverkehr (Verkehrsverbund Rhein-Ruhr) gesucht. Der PRO Modus empfahl mir das selbst auf der Webseite zusammenzusuchen (immerhin ein fairer Vorschlag!), mit der Funktion "Deep Research" erhielt ich ein langes Traktat mit etlichen Variationen und einem breiten Spektrum der Anzahl von notwendigen Umsteige-Aktionen um ans Ziel zu gelangen. Soweit so gut.
Der am besten klingende Vorschlag für die gesuchte Verbindung ließ sich jedoch für mich nicht umsetzen - weil die dazu auserwählte Bushaltestelle für den Start der Tour schlicht nicht existiert!

Wer sich dumpf auf den Output von solchen Diensten verlässt, dem ist einfach nicht mehr zu helfen.

😂 Das habe ich mir vorhin verkniffen zu schreiben...

Ja, das weiß ich schon. Deswegen auch mein Test, was der aus solchen Fragen macht. Und ich hätte ein „ich weiß es nicht“ einer glatten Erfindung vorgezogen.

Ja wenn sich die KI daran halten würde und nicht doch wieder halluziniert:
https://www.iese.fraunhofer.de/blog/halluzinationen-generative-ki-llm/ Genau das ist doch der Punkt. Manche Werkzeuge darf man halt auch nur nach Einweisung benutzen, eine KI darf sich jeder installieren oder bedienen. Die Auswüchse dürfen dann wieder andere ausbaden. Eine KI kann ein tolles Werkzeug sein und einem schneller und effizienter ans Ziel zu bringen. Trotzdem darf man dem Werkzeug nicht blind vertrauen und muß die Ergebnise kontrollieren können. Das jedoch können einige Leute überhaupt nicht, da ihnen das Fachwissen dazu fehlt.
Bei Bildern sehe ich nicht so das Problem, es gefällt und wenn halt mal bei der KI ein Finger mehr an der Hand ist oder die Pose anatomisch komplett unmöglich ist sieht es auf einem Bild halt etwas komisch oder lustig aus, schadet jedoch niemandem wirklich. Bei einem Programmfehler oder eine Sicherheitslücke sieht das jedoch wieder ganz anders aus.

Temperatur auf 0 setzen

Moderat themenfremd, aber an unterdimensionierter Hardware lag schon mal nicht....

Heute habe ich irgendwo gelesen, daß man die KI auch bestechen kann, indem man Trinkgeld oder Eis anbietet und die Ergebnisse dann besser sein sollen. Ich habe es aber selbst noch nicht probiert, also die Bestechung, nicht das Eis.

Hängt vielleicht von der Größe des Ortes ab. Für meine Heimatstadt Rosenheim ist das Ergebnis bis auf eine kleine Ungereimtheit sehr gut.

Aktuelles Update, es wird nicht besser, eher noch schlimmer:
https://winfuture.de/news,150778.html

Menschen erfinden auch andauernd Fake News und viele glauben es.

Die Erde ist ein Scheibe

Da vergleichst du aber Äpfel mit Birnen, das ist wohl ein gewaltiger Unterschied ob sich eine KI etwas ausdenkt das es gar nicht gibt oder ob ich gezielt Fake News verbreite um ein bestimmtes Ziel zu erreichen oder Personen zu schädigen.

Ich liebe Rosenheim. Aber da geht's doch ganz schön mörderisch zu. "Es gabat a Leich" 🤪
Irgendwann lebt da keiner mehr 😄

Spinnt die KI da eigentlich auch tatsächlich irgendwelche Handlungen von Film und Fernsehen dazu oder kann sie das zuverlässig als Fiktion erkennen?

Vielleicht ist die KI schon soweit, daß sie jemandem Schaden will.

Nee, zumindest Chat GTP sagt, dass das zwar nett wäre, aber sie nicht in der Lage ist Geschenke anzunehmen.

Finde ich nicht völlig abwegig. Man trainiert KI mit menschlichen erzeugten Daten. Und was hat sie gelernt? Das sich Menschen Dinge ausdenken und behaupten das Zeug wäre nicht ausgedacht, sondern Fakt.

Ich hab's vorgestern mal versucht, habe ihr geschrieben, daß sie ein Eis bekommt, wenn sie sich viel Mühe geben würde.
Sie antwortete: "Das ist ein Deal" und am Ende forderte sie das Eis ein.

NPM Package Hijacking ist ja nichts neues und immer wieder ein Problem. Sei es ein abandoned package oder die (auch böswillige) Übernahme einer Domain.

Was Code Generation mit KI betrifft - nutze ich ausgiebig und stelle fest, dass je nach Verfügbarkeit von Dokumentationen der Code sehr gut oder schlicht falsch ist. Bei JavaScript beispielsweise habe ich gute Erfahrungen gemacht, bei dem von mir verwendeten Craft CMS 5.x ist der Output normalerweise schlicht falsch, auch wenn ich darum bitte, die Version zu berücksichtigen (hier gab es viele breaking changes) und das Reasoning aktiviere. Ich glaube mittels der API kann man genauere Ergebnisse erzielen weil man verlangen kann, dass nicht zwingend eine Antwort geliefert werden muss.

Die Suchmaschine Perplexity AI verfolgt den spannenden Ansatz, quasi Google mit ChatGPT zu verheiraten und so recht gute Ergebnisse erzielt, u.A. auch weil eben von der KI in Echtzeit Websites konsultiert werden, um damit das Ergebnis zu erarbeiten. Einzelne Teile der Antwort enthalten dann Quellenangaben.

Das macht Google aber doch auch.

Ganz oben bei den Suchergebnissen bekomme ich auch so einen KI-Text, der ist mal besser und mal schlechter …

Korrekt! Sprachen, die sehr oft bei GitHub anzutreffen sind, macht es wirklich prima. HTML, CSS, JavaScript, PHP und insbesondere MySQL. Sehr sehr gute Ergebnisse.

Dagegen bei ABAP von SAP nicht so gut, weil wohl sehr viel weniger Material auf GitHub zum "anlernen" vorhanden ist.

Was ich auch mag: RegEx mit GROK3 erzeugen lassen. Das passt auch immer.

Ich musste eine Weile mit dem WiX-Toolset (kein Scherz, heißt wirklich so) einen Installer (Windows) zusammen basteln. Dokumentation ist schlecht oder fehlt.
Die Antworten einer KI fallen da kaum besser aus. Woher sollte das auch kommen…

Das macht Kagi auch. Da kann man im "Assistenten" sogar auswählen welches LLM man gern hätte (z.B. Claude, GPT, Mistral, Gemini, etc.). Da kann man die einzelnen Modelle auch ganz gut vergleichen.