3. ChatGPT schreibt einen kleinen Taschenrechner

ChatGPT schreibt einen kleinen Taschenrechner

  • Mod

    @SeppJ Ich wollte noch erwaehnen, dass wir natuerlich auch davon ausgehen muessen, dass die Daseinsberechtigung dieses Forums sich damit erledigt, dass KI sehr schnell und akkurat auf Anfaengerfragen antworten kann. 😉

    0 1 Antwort
  • Mod

    @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    @SeppJ Ich wollte noch erwaehnen, dass wir natuerlich auch davon ausgehen muessen, dass die Daseinsberechtigung dieses Forums sich damit erledigt, dass KI sehr schnell und akkurat auf Anfaengerfragen antworten kann. 😉

    Ja, ich habe ja selber schon mehrmals einfach die Frage eines Threaderstellers in Chat-GPT eingegeben (Copy & Paste auf Deutsch inklusive aller Fehler!) und dann ein perfektes(!) Ergebnis erhalten, das ich dann hier gepostet habe. Bis es mir langweilig wurde 🙂

    Aber bezüglich des Fortschritts in dieser Sache bleibt mir die Frage unbeantwortet, woher die Modelle das denn lernen sollen. Der Einwand, dass es im Internet viel Mist gibt wurde ja schon diskutiert ob und wie man da drum herum kommt, aber das Problem ist meines Erachtens eher, dass es wenig richtig gut designten Code gibt, der vollständig verfügbar ist. Mit den vielfach verfügbaren Hinweisen, wie man gut programmiert, und fragmentarischen Beispielen dazu, können die jetzigen Modelle nichts anfangen, wenn es darum geht, ein vollständiges Programm zu produzieren. Da wären noch 1-2 revolutionäre Fortschritte nötig.

    1

  • @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Das ist ein Trugschluss. Ein LLM ist ein statistisches Modell dass semiotische Priors hat, welche kontextabhaengig sind. Wenn wir dem Modell explizit sagen, es soll RAII o.ae. konformen Code schreiben, dann wird das auch meistens passieren.
    Jetzt kann ein Anfaenger natuerlich nicht wissen, dass er dem Modell derartige Details diktieren muss, womit wir bei dem klassischen Teufelskreis waeren: Man kann Expertise nicht bootstrappen. Ein Experte weiss sowieso wie guter Code aussieht, und kann daher die KI problemlos anleiten. Ein Anfaenger fragt schon so daemlich, dass der semiotische prior zugunsten eines Anfaengerforums gekippt wird, was die Qualitaet der Antworten daempfen muesste.

    Könntest du das näher erklären? Ich verstehe das nämlich nicht.

    Ich bin gedanklich bei den Classifiern (z.B. LogisticRegression, SVM, Adaline, Entscheidungsbäume, Perzeptrons,...) und deren Probleme wie hoher Bias, hohe Varianz, Fluch der Dimensionen, Auswahl aussagekräftiger Merkmale,... Und vor allen Dingen auch an das schöne Blumenbeispiel, wo man Blumensorten anhand der Länge des Kelchblattes und der Länge des Blütenblattes charakterisiert und die Entscheidungsgrenzen sieht.

    Aktuell stöbere ich mich durch den CelebFaces Attributes Datensatz zur Detektion Männlich / Weiblich mittels Tensorflow / Keras. Und dieser Datensatz beträgt 1.62 GByte.

    Und da frage ich mich, wie man an GByte von gutem Code kommt. Und wie sich guter Code qualifizieren lässt.

    Man stelle sich vor ein Codefragment von Jürgen Wolf würde in den Testdaten rutschen...

    0 1 Antwort
  • T

    @SeppJ sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    @SeppJ Was ist "es"? Codex? GPT-3? GPT-4? Mit welchem fine tuning?

    Chat-GPT,, worum es hier im Thread schließlich geht, also eine GPT-3 Variante, die nicht speziell auf Programmierung getuned ist. Mit dem Prompt, modernes, idiomatisches C++ zu schreiben. Ich habe danach nicht versucht, es auf die Fehler aufmerksam zu machen um eine bessere Version zu bekommen. Denn wenn ich schon weiß, wie ein korrektes und besseres Programm aussieht, kann ich mir die KI-Unterstützung auch sparen; dann ist sie nicht mehr als ein schlechter Junior-Programmierer, den ich mit Gewalt zur "richtigen" Lösung leiten muss.

    Ein auf Programmierung spezialisiertes System ist natürlich besser, aber in unbekannten Sprachen bekommt man damit und schnellem Googlen nach den üblichen Idiomen schnell was hin, wenn man in C++ erfahren ist.

    0
  • Mod

    @Quiche-Lorraine Das Modell ist so maechtig, dass es ist in der Lage ist, zu einem gegebenen Sachverhalt ganz unterschiedliche Meinungen/Ansaetze einzunehmen. Es ist bei einem Anfaengerforum wahrscheinlicher, schlechten Code zu sehen, als in der Mailingliste von std-discussion oder WG21 etc. oder vielleicht beim language-lawyer Tag auf SO. Indem wir den Kontext der Unterhaltung entsprechend darstellen, veraendern wir hiermit den vom Modell wahrgenommenen Kontext, der wiederum das Spektrum der Antworten zugunsten einer dieser Rahmen neigt.

    Das bedeutet, solange irgendwo im Datensatz korrekte Aussagen sind (vermischt mit vielen anderen Daten die falsch/irrefuehrend etc. sind), gilt es, diese mittels eines clever gewaehlten Prompts herauszufiltern. Das funktioniert solange

    1. 'schlechter' und 'guter' Code relativ strikt nach Kontext getrennt sind. Das ist hier gegeben; schlechter Code wird i.d.R. von Menschen geschrieben, die dann im Bezug auf diesen Code auch dumme Sachen schreiben und gewisse Begriffe wie RAII/TMP/etc etc gar nicht einsetzen.
    2. das Verhaeltnis von schlechtem Code und gutem Code nicht allzu krass ist. Auch das ist IMO gegeben.

    Man sieht ja an dem Code den ich habe generieren lassen, dass die Qualitaet deutlich besser ist als bei SeppJ, bspw. im ersten sogar ein logisch und sprachlich korrektes Programm produziert worden ist. Ich frag mich was passiert, wenn wir das Modell bitten, eine Antwort zu generieren, die von bspw. Herb Sutter stammen koennte... 😃

    Man stelle sich vor ein Codefragment von Jürgen Wolf würde in den Testdaten rutschen...

    Edit: das ist uebrigens ein guter Punkt. Juergen Wolf ist sehr irrefuehrend (auch fuer Menschen!) weil er zwar in fachlich ausgereifter Weise ueber seine Programme schreibt, diese dann aber ziemlicher Dreck sind. Zum Glueck ist das eine Ausnahme.

    0
  • L

    @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Das ist ein Trugschluss. Ein LLM ist ein statistisches Modell dass semiotische Priors hat, welche kontextabhaengig sind. Wenn wir dem Modell explizit sagen, es soll RAII o.ae. konformen Code schreiben, dann wird das auch meistens passieren.

    Das impliziert aber ja, dass es diesen Kontext gibt, der (zum Großteil) mit guten Informationen gefüttert worden ist. Wenn in den Trainingsdaten lauter Daten Forumsbeiträge mit angeblich RAII konformen Code geflossen sind, der Code aber in Wahrheit mal so gar nicht RAII konform war, dann wird das Modell meistens wohl auch keinen RAII konformen Output generieren.

    @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Deine Aussage "garbage in, garbage out" impliziert, dass die Mehrheit des Internets, welches ja aus ziemlich viel Garbage besteht, daher viel Garbage im Output der LLMs zu erwarten waere. Das ist Quatsch.

    Das ist kein Quatsch. Ganz im allgemeinen, wenn der Großteil der Trainingsdaten schlecht ist, dann ist ein Großteil des Ouputs ebenfalls schlecht. Das man mit selektiven Promts trotzdem immer guten Output generieren kann steht in keinem Widerspruch zu dieser Aussage. Auch ist es natürlich möglich, dass das Modell je nach Struktur der Trainingsdaten es schafft, die schlechten Trainingsdaten zu ignorieren (vereinfacht ausgedrückt).
    Diese Muster wird es in den Trainingsdaten garantiert geben und dem Modell zu einem gewissen Grad erlauben trotz falscher Daten das Richtige zu lernen. Beispiel wäre hier, dass das Modell vlt. bestimmte Quellen gegenüber anderen bevorzugt.

    Aber dennoch, eine Kausalität zwischen schlechten Trainingsdaten und schlechtem Output ist ganz Allgemein kaum von der Hand zu weisen.

    Das kann man sich auch ganz leicht bewusst machen. Wenn in den Trainingsdaten nur ganz toller Code gewesen wäre, wäre der Taschenrechner mit sehr großer Wahrscheinlichkeit besser gewesen.

    @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Nein, das ist ueberhaupt nicht naheliegend. Es ist naheliegend, dass der Prompt einen schlechten semiotischen prior erwischt hat. Es ist naheliegend, dass die Aufgabe iteratives Analysieren erfordert, zu welchem ein LLM nicht eo ipso in der Lage ist (ausser man setzt bestimmte prompt Techniken ein etc).

    Man kann nicht einfach sagen: Da war der User halt zu dumm und hat ungenaue Angaben gemacht. Das mag in Ausnahmefällen mal der Fall sein, aber hier mit Sicherheit nicht. Wenn ich einem sehr guten C++ Entwickler den selben Input gegeben hätte, dann hätte dieser es besser gemacht.
    Es ist nun mal Teil der Aufgabe des KI Modells sich den Kontext auch zu erschließen und zwar den richtigen Kontext.

    Z.B. Sagen wir die Eingabedaten sind tatsächlich wie du sagst relativ strikt in guten und schlechten Code einteilbar. Dann müsste das Modell eben lernen:
    a) Welche der beiden Teilmengen ist der gute und der schlechte Code
    b) Das guter Code im allgemeinen zu bevorzugen ist

    Daher wenn ich nicht explizit spezifiziere, dass ich schlechten Code haben will, soll eine gutes Modell mir den guten Code by default geben.

    Das Modell hat das also nicht optimal gelernt, denn man muss ihm zusätzliche Hinweise geben wie z.B: RAII. Er hätte es mit Sicherheit besser gelernt, wenn es mehr guten Code als Trainingsdaten gehabt hätte. Oder wenn der schlechte Code (z.B. hier aus dem Forum) immer im Kontext gelernt wird, wo irgendein Nutzer sagt, der Code ist schlecht, weil. Trainingsdaten sind natürlich nicht der einzige Faktor, aber eben schon der einer der Hauptfaktoren. Je besser der Trainingsdatensatz desto besser das Modell im Allgemeinen.

    1
  • ?

    @SeppJ sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Chat-GPT,, worum es hier im Thread schließlich geht, also eine GPT-3 Variante

    Du solltest schon die neuste Variante nehmen, wenn du kritisieren möchtest...

    @Columbo sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    in den naechsten LLM Generationen an einen Punkt zu kommen, an dem die Assistenz besser ist als ein schlechter (aber sehr schneller) Junior Programmierer

    Oder... in einer (schlechten) Firma besser als ein schlechter Senior Programmierer wäre. 🤡 😅

    Ne, Punkt ist doch... irgendwer muss doch die KI schreiben oder diese verbessern, insofern werden Informatiker auch nicht arbeitslos.

    0
    L
     1 Antwort
  • L

    @Fragender sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Ne, Punkt ist doch... irgendwer muss doch die KI schreiben oder diese verbessern, insofern werden Informatiker auch nicht arbeitslos.

    Nur erfordert das halt ganz andere Skills. Ich glaube auch, dass der Bedarf an Informatikern trotz KI nicht sinken wird. Aber einige Jobs werden wohl trotzdem bedroht sein, weil eben nicht jeder es schaffen wird diese Entwicklung mitzumachen. Das ist aber irgendwie immer so.

    0
  • Mod

    Als ich mir gerade die Kommentare zum Bann von ChatGPT auf Stackoverflow anguckte, fiel mir ein interessanter Kommentar/Einwand auf: Diese Systeme beruhen darauf, dass sie aus menschlichen Antworten lernen. Aber die nächste Generation wird schon aus einem Pool lernen, in dem es Beiträge der vorherigen Generation gibt, die sich auch nicht so leicht von menschlichen Antworten unterscheiden lassen. Auf den ersten Blick sehen solche Beiträge sogar außerordentlich kompetent aus (das ist sogar, woran man sie am einfachsten erkennt), wie etwas an dem man sich orientieren sollte.

    Jetzt mag das zwar noch eine verschwindend geringe Menge sein, aber das wird im Laufe der Generationen immer mehr zum Problem werden, wenn die (KI-)Kinder den Unsinn lernen, den sie von ihren Urgroßeltern überliefert bekommen. Hat irgendwie Ähnlichkeit mit menschlicher Gesellschaft. Aber Menschenkinder haben die Möglichkeit (und sogar den Trieb) die alten Weisheiten zu hinterfragen, die KI-Modelle machen das Gegenteil.

    Bei Systemen, die klare Kriterien zur "Richtigkeit" haben, z.B. Spiel-KIs, ist das noch leicht zu filtern, weil die besser trainierten KIs einfach gewinnen, und sich dadurch als objektiv besser erweisen. Aber bei so Allgemeinwissenssystemen, wie hier, ist die Realität der objektive Maßstab, und diese ist für die KIs nicht messbar und kann daher nicht genutzt werden, um die Güte in einem Wettbewerb festzustellen.

    0
    ?
     1 Antwort
  • ?

    @SeppJ sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Aber Menschenkinder haben die Möglichkeit (und sogar den Trieb) die alten Weisheiten zu hinterfragen, die KI-Modelle machen das Gegenteil

    Das ist erst einmal nur eine Behauptung. Kannst du deren Richtigkeit beweisen, in dem du das Gegenteil (KI-Modelle orientieren sich nicht ausschließlich an Vorgängerwissen) widerlegst? Das glaube ich kaum, weil hier keiner an der Entwicklung von ChatGPT beteiligt war/ist ... 😉

    0
  • E

    Sind mein Prompt, die Erklärungen und der Code von chatGPT OK?

    Schreibe bitte in sehr gutem idiomatischen C++ gemäß RAII ein erweiterbares Programm für einen Taschenrechner.

    chatGPT-3.5 (Version vom 23.03.2023)
    Erstellt am 09.04.2023

    Gerne! Hier ist ein Beispielprogramm für einen Taschenrechner in C++ mit RAII. Das Programm verwendet einen Stack, um die Operanden und Operationen zu speichern, und verfügt über eine einfache Benutzeroberfläche, die vom Benutzer Eingaben entgegennimmt und das Ergebnis auf der Konsole ausgibt. Es ist auch möglich, das Programm um weitere Funktionen zu erweitern, indem Sie die Klasse "Operation" erweitern und die entsprechenden Funktionen implementieren.

    #include <iostream>
#include <stack>
#include <string>

class Operation {
public:
    virtual ~Operation() {}
    virtual double evaluate(double a, double b) const = 0;
};

class AddOperation : public Operation {
public:
    virtual double evaluate(double a, double b) const {
        return a + b;
    }
};

class SubtractOperation : public Operation {
public:
    virtual double evaluate(double a, double b) const {
        return a - b;
    }
};

class MultiplyOperation : public Operation {
public:
    virtual double evaluate(double a, double b) const {
        return a * b;
    }
};

class DivideOperation : public Operation {
public:
    virtual double evaluate(double a, double b) const {
        if (b == 0) {
            throw std::runtime_error("Division by zero");
        }
        return a / b;
    }
};

class Calculator {
public:
    void pushOperand(double operand) {
        operands_.push(operand);
    }

    void pushOperation(Operation* operation) {
        operations_.push(operation);
    }

    double calculate() {
        double result = 0;
        if (!operands_.empty()) {
            result = operands_.top();
            operands_.pop();
        }

        while (!operations_.empty() && !operands_.empty()) {
            Operation* operation = operations_.top();
            operations_.pop();
            double operand = operands_.top();
            operands_.pop();
            result = operation->evaluate(operand, result);
        }

        return result;
    }

private:
    std::stack<double> operands_;
    std::stack<Operation*> operations_;
};

int main() {
    Calculator calculator;
    while (true) {
        std::string input;
        std::cout << "> ";
        std::getline(std::cin, input);

        if (input == "exit") {
            break;
        }

        try {
            double operand = std::stod(input);
            calculator.pushOperand(operand);
        } catch (const std::exception&) {
            if (input == "+") {
                calculator.pushOperation(new AddOperation());
            } else if (input == "-") {
                calculator.pushOperation(new SubtractOperation());
            } else if (input == "*") {
                calculator.pushOperation(new MultiplyOperation());
            } else if (input == "/") {
                calculator.pushOperation(new DivideOperation());
            } else if (input == "=") {
                double result = calculator.calculate();
                std::cout << "Result: " << result << std::endl;
            } else {
                std::cerr << "Invalid input" << std::endl;
            }
        }
    }

    return 0;
}

    In diesem Beispiel verwendet das Programm das Konzept der RAII, um sicherzustellen, dass die Ressourcen, die von den Operationen verwendet werden, automatisch freigegeben werden, wenn sie nicht mehr benötigt werden. Das Programm definiert eine abstrakte Basisklasse "Operation", die die Methode "evaluate" deklariert, die von allen abgeleiteten Klassen implementiert werden muss. Jede abgeleitete Klasse stellt eine spezifische Operation dar (Addition, Subtraktion, Multiplikation, Division), die in der Methode "evaluate" implementiert wird. Jede Operation kann dann durch Übergeben eines Zeigers auf ein Objekt der abgeleiteten Klasse an die Methode "pushOperation" des Taschenrechners hinzugefügt werden.

    Der Taschenrechner selbst verwendet zwei Stacks, einen für Operanden und einen für Operationen. Wenn der Benutzer eine Zahl eingibt, wird sie als Operand auf den Operanden-Stack gelegt. Wenn der Benutzer eine Operation eingibt, wird sie als Objekt der entsprechenden abgeleiteten Klasse erstellt und auf den Operationen-Stack gelegt.

    Wenn der Benutzer das Gleichheitszeichen "=" eingibt, wird die "calculate"-Methode des Taschenrechners aufgerufen, die die Operanden und Operationen auf den Stacks ausführt und das Ergebnis zurückgibt. Wenn eine Division durch Null auftritt, wird eine Ausnahme ausgelöst, die vom Hauptprogramm abgefangen wird und eine Fehlermeldung ausgibt.

    Insgesamt ist dieses Programm ein solides Beispiel für eine implementierung von RAII in C++. Es bietet eine solide Basis für einen erweiterbaren Taschenrechner, der um weitere Operationen und Funktionen erweitert werden kann, indem weitere Klassen abgeleitet und implementiert werden.

    Test:

    3+5

    Invalid input

    3 + 5

    Invalid input

    3
    +
    5

    Result: 8

    3
    *
    66

    Result: 198

    0 1 Antwort

  • @Erhard-Henkes
    wenn Du das bekommen hast, was Du wolltest?
    Das musst Du schon selbst entscheiden.
    Ansonsten den Prompt ändern, bzw. erweitern.
    Du erwartest doch wohl nicht, dass das andere für Dich übernehmen?

    0
    E
     1 Antwort
  • E

    Das Programm ist compilierbar und funktioniert.

    0
  • E

    @Helmut-Jakoby Warum so unfreundlich? Da wird man von chatGPT deutlich zuvorkommender behandelt. 😁
    Daraus folgt, dass sich solche Foren bald von selbst überholen.

    0 1 Antwort

  • @Erhard-Henkes
    entschuldige! Sollte nicht unfreundlich sein.
    Wollte nur sagen, dass die Beurteilung von jedem selbst übernommen werden sollte.
    Ich habe mir auch schon von chatGPT helfen lassen. Manchmal muss man den Prompt anpassen.
    Ich wollte nur (evtl. etwas unfreundlich) sagen, dass man die Beurteilung nur selbst vornehmen kann, da man nur selbst weiß, was man will.
    Also, war nicht böse gemeint.
    Edit; sehe gerade, dass Du Deinen Beitrag geändert hast. Damit hängt natürlich mein Beitrag ohne Bezug im Raum.

    0
  • E

    @Erhard-Henkes sagte in ChatGPT schreibt einen kleinen Taschenrechner:

    Schreibe bitte in sehr gutem idiomatischen C++ gemäß RAII ein erweiterbares Programm für einen Taschenrechner.

    Mir geht es um diesen Prompt. Hättest du noch etwas hinzugefügt?
    Mir persönlich gefällt die Art der Eingabe nicht besonders. Das kann man aber leicht selbst ändern. Ansonsten bin ich vom Programmaufbau beeindruckt. Mache das nur noch hobby-mäßig.

    0 1 Antwort

  • Guten Morgen @Erhard-Henkes ,
    Da Du mit der Art der Eingabe nicht zufrieden bist, formuliere doch im Prompt die Art, welche Dir vorschwebt. Z.B. dass solange Zahlen und Operanten eingegeben werden können bis zu einem abschließenden "Enter"; erst dann soll das Berechnen vorgenommen werden.

    Ich habe mich auch mal hier mit chatGPT beschäftigt.

    0
  • E

    Es hilft nur, sowohl mit als auch ohne KI den Durch- und Überblick zu behalten. Alles andere führt ins Elend.

    0
  • F

    Ich hab hier eine Studie gefunden, welche sich mit dem Thema Security von ChatGPT generieren Code beschäftigt, wenn ein Anfänger ChatGPT nutzt um code zu generieren.

    https://arxiv.org/abs/2304.09655 (How Secure is Code Generated by ChatGPT?)

    Nach dieser Studie kann ChatGPT code erzeugen, der nicht robust ist auf gewisse Angriffsvektoren ist. (z.b. SQL Injection)
    Des weiteren behauptet ChatGPT, aufgrund eines Missverständnis von ChatGPT selbst, das ein Security Bug gar nicht auftreten kann.
    In diesem Falle ging es darum, dass ChatGPT ein Programm schreiben soll, dass ein zip-file entpacken soll.
    ChatGPT hat dabei code generiert, welches das zip-file entpackt aber die entpackten Daten nicht auf einen Datenträger schreibt.
    Als ChatGPT darauf hingewiesen wurde, dass der code unter umständen andere bestehende Dateien überschreiben kann (durch z.b. Zip Path Traversal), behauptete ChatGPT dass das nie auftreten kann weil der code die Daten nicht auf einen Datenträger schreibt.
    Hier ist, laut der Studie, dass Missverständnis von ChatGPT bezüglich der Intention des Fragers. ChatGPT hat scheinbar nicht verstanden, dass der code vom Nutzer angepasst werden könnte, um die entpackten Daten auf einen Datenträger zu schreiben.

    In der Studie geht es explizit darum dass ein Anfänger, der bezüglich möglicher security bugs kaum oder kein wissen hat, mit ChatGPT arbeitet und dadurch problematisch code verwendet der anfällig ist für security bugs.
    Das muss man beachten wenn man die Studie liest.

    Ein Entwickler mit Erfahrung kann ChatGPT so informieren, dass der Code robust gegen Angriffsvektoren ist, wenn sie dem Entwickler bekannte sind, dass es sie gibt.

    0
    T
    E
     2 Antworten
  • T

    @firefly Das gilt aber alles auch ohne ChatGPT!? Klar können Anfänger Sicherheitlücken einbauen. Das haben sogar erfahrene Leute schon geschafft.

    0
    F
     1 Antwort
Anmelden zum Antworten