{"id":2537,"date":"2024-03-10T14:09:51","date_gmt":"2024-03-10T13:09:51","guid":{"rendered":"https:\/\/blog.idethloff.de\/wordpress\/?p=2537"},"modified":"2024-03-10T14:09:51","modified_gmt":"2024-03-10T13:09:51","slug":"gpt4all-chatbot-mit-open-source-ki-sprachmodellen-lokal-installieren","status":"publish","type":"post","link":"https:\/\/blog.idethloff.de\/wordpress\/?p=2537","title":{"rendered":"GPT4All – Chatbot mit Open Source KI-Sprachmodellen lokal installieren"},"content":{"rendered":"

Ist es niederschwellig m\u00f6glich, auch ein LLM lokal zu installieren und zu nutzen? Dies Frage stellte sich mir nach der erfolgreichen Installation eines KI-Bildgenerators. Antwort: Ja, mit einer gewissen Hardware.<\/strong>
\nEin Kollege (danke, Steffen) machte mich auf GPT4All aufmerksam. Hier gibt es Installer f\u00fcr verschiedene Betriebssysteme und man kann sich anschlie\u00dfend eines der daf\u00fcr passenden Open-Source-Modelle herunterladen.
\nhttps:\/\/gpt4all.io<\/strong><\/a><\/p>\n

Auch hier habe ich mein MacBook Air (M1,2020) genutzt:<\/p>\n

\n

1. Download und Installation von OSX Installer mit Desktop Chat Client<\/strong><\/p>\n

\n

2. Anschlie\u00dfend Auswahl aus den angebotenen Sprachmodellen, hier Download eines Mistral-basierten und einem Llama2-basierten Modells
\n<\/strong>
\n\"Aufforderung<\/p>\n

2a. Mistral OpenOrca 3,83GB<\/strong> (= mistral-7b-openorca.gguf2.Q4_0.gguf) sowie<\/p>\n

\"Auswahl\"Download<\/p>\n

2b. Hermes 6,86GB<\/strong> (= nous-hermes-llama2-13b.Q4_0.gguf)<\/p>\n

\"Auswahl\"Download<\/p>\n

\n

3. Fertig, gew\u00fcnschtes heruntergeladenes Modell oben ausw\u00e4hlen und unten bei „Send a message“ Prompt formulieren
\n<\/strong>
\n\"Eingabemoeglichkeit<\/p>\n

\n

Die Antwortzeiten sind sehr gut und es funktioniert alles ohne Internet. Zun\u00e4chst war ich bei meinen Prompts etwas irritiert \u00fcber die Antworten – Mistral verstand die Bedeutung von poems nicht, mischte deutsch und englisch und fand 1kg Federn leichter als 1kg Wasser… Dies war bei Llama2 deutlich besser (das Modell ist auch fast doppelt so gro\u00df), aber nach und nach \u00fcberzeugte mich auch Mistral bei weiteren Anfragen zu birthday cards, kleinen PHP-\/HTML-Beispielen, sightseeing points, hybrid learning settings, PowerPoint presentations about Johannes Gutenberg, ski jumping, musical preferences etc.
\nMein kurzes Fazit: OpenAI gef\u00e4llt mir besser, aber das h\u00e4tte ich auch nicht anders erwartet im Vergleich zu einer wirklich lokal laufenden Installation von OpenSource-Modellen – dennoch: Es lohnt durchaus, ein LLM einmal lokal zu installieren und auszuprobieren!<\/p>\n","protected":false},"excerpt":{"rendered":"

Ist es niederschwellig m\u00f6glich, auch ein LLM lokal zu installieren und zu nutzen? Dies Frage stellte sich mir nach der erfolgreichen Installation eines KI-Bildgenerators. Antwort: Ja, mit einer gewissen Hardware. Ein Kollege (danke, Steffen) machte mich auf GPT4All aufmerksam. Hier gibt es Installer f\u00fcr verschiedene Betriebssysteme und man kann sich anschlie\u00dfend eines der daf\u00fcr passenden … <\/p>\n

\u201eGPT4All – Chatbot mit Open Source KI-Sprachmodellen lokal installieren\u201c <\/span>weiterlesen<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2,22],"tags":[],"class_list":["post-2537","post","type-post","status-publish","format-standard","hentry","category-e-learning","category-ki"],"_links":{"self":[{"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/2537","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=2537"}],"version-history":[{"count":14,"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/2537\/revisions"}],"predecessor-version":[{"id":2551,"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=\/wp\/v2\/posts\/2537\/revisions\/2551"}],"wp:attachment":[{"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=2537"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=2537"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.idethloff.de\/wordpress\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=2537"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}