Promptvergleich ChatGPT und ChatGPT Plus (GPT-4)

Im Rahmen der Vorbereitung des Workshops auf der RPTU „Summer School Studium und Lehre 2023“ hatte ich im August 2023 einige Prompt-Beispiele mit der kostenlosen Version von ChatGPT 3.5 erstellt. Seit kurzem habe ich privat ein Abo von „ChatGPT Plus“ und habe die gleichen Prompts heute in GPT-4 (Variante Default, Stand Januar 2022) eingegeben. Natürlich würde man auch innerhalb derselben Version von ChatGPT bei mehrfacher Eingabe der gleichen Prompts unterschiedliche Ergebnisse erhalten, so dass die folgenden Ergebnisse nur bedingt aussagekräftig sind.
Dennoch: „ChatGPT Plus“ war im Ergebnis umfangreicher (auch mit Erklärungen), arbeitete stärker mit Rückfragen, ließ sich auch nicht mehr auf Halluzinationen bei Abkürzungen ein, erweiterte beim Programmierauftrag und bot Ergebnisse nun öfter als „Copy Code“ an so z. B. bei den erwünschten Flashcards.

Die Beispiele 1-4 basieren auf vordefinierten Prompts aus dem TUM-ChatGPT4-Cookbook; die Beispiele 5-8 sind frei formuliert. Die Links führen zu auf meinem Webspace abgelegten PDFs mit Screenshots der jeweiligen Chatverläufe.

 

ChatGPT 3.5
(kostenlos)
ChatGPT Plus
(Abo GPT-4)
1 BSP-ChatGPT-Discussion ChatGPT ChatGPT Plus
2 BSP-ChatGPT-OpenQuestions ChatGPT ChatGPT Plus
3 BSP-ChatGPT-Quiz ChatGPT ChatGPT Plus
4 BSP-ChatGPT-Storytelling ChatGPT ChatGPT Plus
5 BSP-ChatGPT-Flashcards ChatGPT ChatGPT Plus
6 BSP-ChatGPT-Halluzinieren ChatGPT ChatGPT Plus
7 BSP-ChatGPT-LessonPlan ChatGPT ChatGPT Plus
8 BSP-ChatGPT-Programmcode ChatGPT ChatGPT Plus

Gestartet: ChatGPT Plus

ChatGPT ist sehr beeindruckend – Bestechend ist die auf den ersten Blick sehr einfache Nutzung, die schon zu respektablen Ergebnissen führt.
Momentan tut sich gerade viel hinsichtlich zusätzlicher Möglichkeiten, die nur in der kostenpflichtigen Version „ChatGPT Plus“ angeboten werden. Hier der Link zu den Release Notes: https://help.openai.com/en/articles/6825453-chatgpt-release-notes

Das Starten des Abos ist sehr einfach, lediglich Kreditkarte und Adresse waren nötig.
Screenshot Abo ChatGPT Plus
Die Plugins und Beta Features der kostenpflichtigen Version „ChatGPT Plus“ waren gar nicht so einfach zu finden. Davon abgesehen, gibt es hier auch größere Unterschiede, was über die Desktop-Version und was über die Mobile-Version (z. B. iOS-App) möglich ist.

In der Desktop-Version erfolgt die Konfiguration über „Settings & Beta“ / „Beta features“. Momentan (1.10.2023) gibt es bei mir 3 Einträge, die man grundsätzlich und später dann per „Mouse-Over über GPT-4“ aktivieren könnte (nur eine Option zur Zeit):

  • Browse with Bing
  • Advanced Data Analysis (m.E.n. besonders interessant für File-Upload)
  • Plugins (Aktuell einige Hundert im Store, die man installieren könnte. Nach Installation nur jeweils max. 3 vorinstallierte parallel bei einem Chat nutzbar. Die fremden Dienste werden von ChatGPT Plus bei Bedarf eingesetzt und sind nur teils ohne weitere Registrierung nutzbar.)

Screenshot ChatGPT Plus Beta Features
Screenshot ChatGPT Plus Beta Features
Die Begrenzung auf eine der Optionen ist für mich nicht wirklich nachvollziehbar und man muss sehr aufpassen, was gerade eingestellt ist, bevor man unten seinen Prompt eingibt. Das was oben eingestellt ist, schlug bei mir in einem Versuch auch durch, als ich eine alte Chat-Anfrage aus der History fortgeführt habe, d.h. eine „Browse with Bing“-History konnte dann plötzlich nicht mehr im Internet suchen, weil im Account aktuell gerade „Advanced Data Analysis“ aktiviert war…

Bzgl. Plugins habe ich die u.g. angetestet und recht gute Ergebnisse erhalten. In einem späteren Blogbeitrag mehr dazu.
Screenshot ChatGPT Plus Plugins

Das Browsen im Internet war früher schon einmal kurz bei ChatGPT möglich, nun ist es wieder da und zeigt ärgerlicherweise nur live kurz an, welche Quelle benutzt wurde (da muss man also sehr genau hinschauen) – am Ende einer Antwort steht dann nur noch „Finished Browsing“; bei mir wurde die englische Wikipedia benutzt. Zur Beurteilung der Antworten wäre es sinnvoller, dass die Quelle dauerhaft zu sehen bliebe.
Screenshot ChatGPT Finished Browsing

Wenig geglückt ist mir bisher die sinnvolle Nutzung der Bilderkennung per File Upload.
Gut zu wissen, damit man nicht lange vergeblich sucht: Nur wenn oben gerade „Advanced Data Analysis“ aktiviert ist, erhält man in der Desktop-Version überhaupt das Plus-Symbol für die Upload-Möglichkeit!
Screenshot ChatGPT Advanced Data Analysis

Screenshot ChatGPT Advanced Data Analysis Bildupload-Beispiel
Wenn für die Upload-Bilderkennung eine Internetsuche erforderlich ist, aber nur eine Beta-Funktion zur Zeit aktiviert werden kann, wie soll das gehen? Nunja, die Vermutung Washington D.C. ist ja nicht gar so verkehrt – in einem anderen Versuch ergab das gleiche Bild übrigens die Einschätzung, dass es sich um die Space Needle in Seattle, Washington, handele…

Abschließend noch kurz zur iOS-App-Version von ChatGPT Plus: Hier gibt es bei mir derzeit nur „Browse with Bing“, d.h. keine Upload-Möglichkeit und keine Plugins wie bei der Desktop-Version. Dafür kann man in der App über „Settings / New features“ reine „Voice conversations“ aktivieren. Neu bei diesem Feature ist, dass man es über das Kopfhörer-Symbol rechts oben startet und dann komplett ausschließlich per Sprache chattet. Erst nach Beenden sieht man wie gewohnt den nun in Text übertragenen Chat.
Screenshot ChatGPT iOS App
Kommentare über diese Funktion waren euphorisch und ich muss sagen, es fühlte sich wirklich sehr real an und in Sachen Unterhaltung zu „why a student should attend a lecture“ ist ChatGPT sehr kompetent 🙂

 

Bookmarks zu AI & Education

Diesen Blogbeitrag möchte ich nutzen, um einige Links aufzulisten, die ich sehr interessant finde.

VERANSTALTUNGEN ZU CHATGPT

  • … gab und gibt es wie Sand am Meer. An der RPTU waren wir am 20.12.22 früh dabei mit der Einladung zu einem Vortrag von Prof. Weßels unter dem Titel „ChatGPT in der modernen Lehre“. Hier der Link zur YouTube-Aufzeichnung:
    https://youtu.be/_QaVNFuH6Cw

NEWS UND PUBLIKATIONEN ZU KI

KI-TOOLS

OpenSource KI-Chatbot HuggingChat

HuggingChat
Q: https://huggingface.co/chat/

Gestern las ich bei Heise (Link) einen Artikel über den neuen OpenSource-Chatbot namens „HuggingChat“. Das klang spannend und musste bald ausprobiert werden. Die Chatbots sind schnell und so konnte ich heute früh, während ich in der Telefon-Warteschleife beim VRN hing, um nach dem Stand meines „Deutschlandlandtickets Job“ nachzufragen, am PC bei HuggingChat meine Fragen platzieren, die ich im Dezember 20222 schon ChatGPT gestellt hatte. Das manuelle Verfassen des folgenden Blogartikels dauerte dann natürlich deutlich länger.

Zugang: https://huggingface.co/chat/ ohne Registrierung
Hinweis: „This application is for demonstration purposes only“, Version „v0“ April 2023
Current Model: „For now, it’s running OpenAssistant’s latest LLaMA based model“: OpenAssistant/oasst-sft-6-llama-30b

 

Bsp. 1 Why should I go to a lecture at a university if I am a student? (Link zum Screenshot)

Bsp. 2 What is your recommendation for an interactive live seminar with some students at university and some students at home? (Link zum Screenshot)

Bsp. 3 How should a learning management course look like in order to be motivating for students? (Link zum Screenshot)

Bsp. 4 Generate an easy multiple choice question relating to the topic sports and AI with 4 wrong answers and 1 correct answer. (Link zum Screenshot)

Bsp. 5 Which 5 aspects do I need to know about RPTU? (Link zum Screenshot 1 / Link zum Screenshot 2)

Bsp. 6 Write a poem about a racoon who wants to move to Heidelberg, but doesn’t find an appartment. (Link zum Screenshot)

Mein kurzes Fazit:

  • „HuggingChat“ ist schon ziemlich gut, wenngleich ChatGPT „besser“ war. Wie auch bei ChatGPT sind die gegebenen Antworten nicht immer inhaltlich korrekt.
  • Mit „HuggingChat“ hatte ich deutlich mehr Missverständnisse bzgl. meiner Prompt-Formulierungen, die ich im Dezember 2022 allerdings auch nicht unbedingt perfekt überlegt hatte. (Bsp. 4 und 5)
    Vom Hinweis auf „refrain from asking me sensitive personal information“ bis hin zu inhaltlich komplett an der Sache vorbei.
  • Interessant ist auch die Art der Rückfragen und wann sie vom Chatbot gestellt wurden und wann nicht. Bei Fragen mit einer Abkürzung wie im Bsp. 5 fände ich eine Rückfrage elementar, da es eigentlich immer mehrere Möglichkeiten gibt, was gemeint ist.
    RPTU ohne Rückfrage als „reptile parenting techniques unleashed“-Website zu interpretieren, ist schon sehr schräg, zumal es so ein Portal wohl gar nicht gibt 😉
  • Bei HuggingChat scheint es eine Maximallänge der Antworten zu geben, bei der Chatbot-Antworten einfach mitten im Wort abbrechen, was sehr irritierend ist. (Bsp. 1, 3, 5)

Ganz klar im Vorteil ist, wer seine Prompts gut formuliert, auch aufgrund Hintergrundwissens über die zugrunde liegenden Modelle. Diese Erfahrung habe ich auch vor allem bei KI-Bildgeneratoren gemacht. Ob „Prompt Engineer“ ein neues gut bezahltes Berufsfeld wird oder nicht, wird sich zeigen. Die Suche und Bewertung von Informationen ist ja eine Kernaufgabe von Bibliothekaren – ich erinnere mich noch an mein Studium in Hamburg, wo wir Mitte der 80er die Formulierung von GRIPS/DIRS-Anfragen in kostenpflichtigen Datenbanken gelernt haben… (= General Relation based Information Processing System/DIMDI’S Information Retrieval System)

ChatGPT News und ChatGPT Teach-Out

OpenAI’s ChatGPT – Selten war ein Thema so präsent in Medien, Hochschulen und bei den üblichen Akteuren im Bereich des Lernens. Fast täglich gibt es Berichte über neue Entwicklungen bzgl. ChatGPT und Konkurrenz-Systemen – es wird unübersichtlich, was man selbst derzeit in Deutschland (kostenlos) ausprobieren kann, z. B.

    • ChatGPT4 (s.a. https://www.youtube.com/watch?v=oc6RV5c1yd0) steht als „ChatGPT Plus“ eigentlich nur zahlenden Kunden zur Verfügung – Das „gewohnte“ chat.openai.com basiert derzeit auf ChatGPT3.5 und ist sehr oft überlastet.
    • Microsoft (als einer der OpenAI-Investoren) bietet über persönliches Microsoft-Login und Warteliste mit „Bing Chat“ in seinem Edge-Browser eine Verbindung von Suchmaschine und AI an. In Edge kann dann auch ein „Bing Sidebar“ zum Erstellen von Text mit Auswahl bzgl. Stil, Format und Länge genutzt werden. (s.a. https://www.youtube.com/watch?v=bsFXgfbj8Bc)
    • Der Zugang zu Googles Konkurrenzprodukt „Google Bard“, über Google-Login und Warteliste, ist derzeit noch nicht in Deutschland möglich. (s.a. https://blog.google/technology/ai/try-bard/)

Aufgrund der rasanten Geschwindigkeit der AI-Entwicklungen vielleicht auch gerade der Versuch zu bremsen / zu regulieren, so z. B.

***

University of Michigan: ChatGPT Teach-Out
via Coursera
https://www.coursera.org/learn/chatgpt-teach-out
Spannend finde ich immer den internationalen Blick, daher an diesem Wochenende ein Besuch des Coursera-MOOCs „ChatGPT Teach-Out“. Gerade bei einem derartigen Thema ist inhaltliche Aktualität essentiell, was Aufwand für die Ersteller/Betreuung eines MOOCs bedeutet – vielleicht auch daher an vielen Stellen nach meinem ersten Eindruck in diesem MOOC der Hinweis „Text generated with the support of ChatGPT.“
Der MOOC bietet in vielen sehr kurzen Videos einen guten Überblick zum Thema ChatGPT. Dabei wird auch auf das so wichtige „Prompt engineering“ eingegangen sowie auf die ganze Bandbreite juristischer Aspekte, ethischer Aspekte und Auswirkungen auf Education, Wirtschaft und Gesellschaft.

***

Einige persönliche Notizen aus dem MOOC

  • „GPT-4 takes what you prompt it with and just runs with it“ … „From one perspective, it’s a tool, a thing you can use to get useful tasks done in language (…) From another perspective, it’s a system that can make dreams, thoughts, ideas, flourish in text in front of you.“
  • „Writing good search prompts or search queries is a skill and it’s very, very related to your writing or communication ability.“
  • „People are experimenting like crazy.“
  • Jobs will be redefined – makes jobs more interesting and more productive.
  • „First time white-collar workers will begin to fear machines as competitors for their jobs.“
  • How do we train knowledge workers to work in tandem with AI technologies in creative processes?
  • Conversational personal digital assistant, augment own human capital.
  • „It’s rapidly moving. We wouldn’t want to necessarily just teach how to interface with exactly the current version of ChatGPT.“
  • ChatGPT/AI as a teammate and as a tool.
  • „Help us draft any kind of text.“
  • Useful: output as tables or slides.
  • Create learning material adjusted to the level of each student.
  • „Middle of the road effect, really good at giving basic advice – think of it just as an aggregate of what people have thought.“
  • „Is in the hand of a private company – what questions get answered and what don’t.“