Gestern las ich bei Heise (Link) einen Artikel über den neuen OpenSource-Chatbot namens „HuggingChat“. Das klang spannend und musste bald ausprobiert werden. Die Chatbots sind schnell und so konnte ich heute früh, während ich in der Telefon-Warteschleife beim VRN hing, um nach dem Stand meines „Deutschlandlandtickets Job“ nachzufragen, am PC bei HuggingChat meine Fragen platzieren, die ich im Dezember 20222 schon ChatGPT gestellt hatte. Das manuelle Verfassen des folgenden Blogartikels dauerte dann natürlich deutlich länger.
Zugang: https://huggingface.co/chat/ ohne Registrierung
Hinweis: „This application is for demonstration purposes only“, Version „v0“ April 2023
Current Model: „For now, it’s running OpenAssistant’s latest LLaMA based model“: OpenAssistant/oasst-sft-6-llama-30b
Bsp. 1 Why should I go to a lecture at a university if I am a student? (Link zum Screenshot)
Bsp. 2 What is your recommendation for an interactive live seminar with some students at university and some students at home? (Link zum Screenshot)
Bsp. 3 How should a learning management course look like in order to be motivating for students? (Link zum Screenshot)
Bsp. 4 Generate an easy multiple choice question relating to the topic sports and AI with 4 wrong answers and 1 correct answer. (Link zum Screenshot)
Bsp. 5 Which 5 aspects do I need to know about RPTU? (Link zum Screenshot 1 / Link zum Screenshot 2)
Bsp. 6 Write a poem about a racoon who wants to move to Heidelberg, but doesn’t find an appartment. (Link zum Screenshot)
Mein kurzes Fazit:
- „HuggingChat“ ist schon ziemlich gut, wenngleich ChatGPT „besser“ war. Wie auch bei ChatGPT sind die gegebenen Antworten nicht immer inhaltlich korrekt.
- Mit „HuggingChat“ hatte ich deutlich mehr Missverständnisse bzgl. meiner Prompt-Formulierungen, die ich im Dezember 2022 allerdings auch nicht unbedingt perfekt überlegt hatte. (Bsp. 4 und 5)
Vom Hinweis auf „refrain from asking me sensitive personal information“ bis hin zu inhaltlich komplett an der Sache vorbei. - Interessant ist auch die Art der Rückfragen und wann sie vom Chatbot gestellt wurden und wann nicht. Bei Fragen mit einer Abkürzung wie im Bsp. 5 fände ich eine Rückfrage elementar, da es eigentlich immer mehrere Möglichkeiten gibt, was gemeint ist.
RPTU ohne Rückfrage als „reptile parenting techniques unleashed“-Website zu interpretieren, ist schon sehr schräg, zumal es so ein Portal wohl gar nicht gibt 😉 - Bei HuggingChat scheint es eine Maximallänge der Antworten zu geben, bei der Chatbot-Antworten einfach mitten im Wort abbrechen, was sehr irritierend ist. (Bsp. 1, 3, 5)
Ganz klar im Vorteil ist, wer seine Prompts gut formuliert, auch aufgrund Hintergrundwissens über die zugrunde liegenden Modelle. Diese Erfahrung habe ich auch vor allem bei KI-Bildgeneratoren gemacht. Ob „Prompt Engineer“ ein neues gut bezahltes Berufsfeld wird oder nicht, wird sich zeigen. Die Suche und Bewertung von Informationen ist ja eine Kernaufgabe von Bibliothekaren – ich erinnere mich noch an mein Studium in Hamburg, wo wir Mitte der 80er die Formulierung von GRIPS/DIRS-Anfragen in kostenpflichtigen Datenbanken gelernt haben… (= General Relation based Information Processing System/DIMDI’S Information Retrieval System)