KI-Onlinediensten ist gemeinsam, dass die Leistung in Rechenzentren bereitgestellt wird. Das ist mit hohem Aufwand und Investitionen verbunden, weshalb die Nutzung teilweise kostenpflichtig ist. Außerdem werden alle Anfragen an den Anbieter übertragen und dienen auch dem Training der KI.
Wer persönliche Daten, Fragen, Interessen lieber auf dem eigenen Rechner behalten möchte, kann KI-Modelle ohne Internetanbindung nutzen. Wir stellen die passende Software dafür vor.
Die Rechenleistung muss dann der eigene PC bereitstellen. Die Ergebnisse sind oft nicht so gut wie die der KIs im Rechenzentrum, aber in vielen Fällen für den Heimgebrauch ausreichend.
Die Antwortgeschwindigkeit ist ebenfalls geringer, was aber von den Fähigkeiten der Hardware abhängt.
Siehe auch: 9 Gratis-KI-Tools, die lokal auf dem PC laufen
Was ist ein KI-Modell?
Ein KI-Modell ist eine mathematische Darstellung. Sie wird verwendet, um das Ergebnis eines gegebenen Problems anhand von Eingabedaten vorherzusagen.
KI-Modelle nutzen Algorithmen und maschinelles Lernen, womit sie ihre Vorhersagen im Laufe der Zeit verbessern und an neue Situationen anpassen können. Bei Chatbots wie Chat-GPT (Generative Pretrained Transformer) spricht man von Large Language Models (LLMs).
KI-Modelle werden mit unterschiedlichen Daten und Sprachen trainiert, in der Regel wird Englisch verwendet. Anfragen in deutscher Sprache lassen sich stellen und die Antworten sind dann meist ebenfalls auf Deutsch. Englischsprachige Fragen führen aber oft zu besseren Ergebnissen.
IDG
Damit ein KI-Modell sich als Chatbot eignet, muss es nicht nur mit Daten gefüttert (Pre-Training), sondern auch für die jeweilige Aufgabe optimiert werden (Fine-Tuning). Nur dann kann es Texte vervollständigen oder Fragen beantworten.
Das Pre-Training ist sehr rechenintensiv und damit teuer. Inzwischen sind etliche Modelle unter Open-Source-Lizenzen verfügbar, so etwa von Meta, Microsoft und Google. Auf deren Basis kann ein weniger aufwendiges Fine-Tuning für Chatbots stattfinden.
Wer sich davon einen Eindruck verschaffen möchte, geht auf https://huggingface.co. Nach einem Klick auf „Models“ sieht man eine Liste der verfügbaren Angebote. Fast stündlich kommen neue hinzu oder werden aktualisiert.
Größtenteils kann man die Modelle unter „Inference API“ ausprobieren. Über die Filter auf der linken Seite des Fensters lässt sich die Auswahl auf den Einsatzbereich oder die Sprache einschränken.
Stable Diffusion: KI-Bilder lokal auf dem PC generieren
Modelle für weniger RAM: Die herunterladbaren KI-Modelle sind oft so groß, dass sie sich nicht für den Einsatz auf PCs eignen. Die Größe hängt von der Menge der Trainingsdaten und der Genauigkeit ab.
Durch Quantisierung lässt sich der Umfang und damit der RAM-Bedarf reduzieren und die Geschwindigkeit bei der Verarbeitung steigt. Dabei werden komplexe Rechenprozesse durch die Darstellung mit weniger Bits vereinfacht, wodurch sich allerdings die Qualität des Modells verringert. Zu erkennen sind diese Modelle an Zusätzen wie „Q4“ oder „INT4“ im Namen (4-Bit Integer).
Den effektivsten Prompt finden: Chatbots sind für den Umgang mit natürlicher Sprache trainiert. Daher können Sie einer KI Fragen wie einem Menschen stellen. Modelle mit dem Zusatz „Instruct“ erwarten strukturierte Anfragen, beispielsweise in der Form „[INST] Aufgabe [/INST]“. Damit kann man die KI anweisen, eine bestimmte Rolle zu übernehmen, was zu besseren Ergebnissen führen kann.
GPT4All: KI für den eigenen PC
IDG
GPT4All erleichtert die Nutzung eines lokalen KI-Chatsystems erheblich. Die Software bietet den Download ausgewählter KI-Modelle und man kann den Chat ohne großen Konfigurationsaufwand nutzen.
GPT4All setzt einen Prozessor mit AVX/AVX2-Unterstützung voraus, die bei Modellen ab ungefähr 2011 vorhanden sein sollte. Das Programm benötigt einen PC mit mindestens acht GB RAM. Es arbeitet deutlich schneller, wenn es von einem Grafikchip – vorzugsweise von Nvidia – unterstützt wird. Was genau benötigt wird, hängt von jeweiligen KI-Modell ab.
Laden Sie von https://gpt4all.io nach einem Klick auf „Ubuntu Installer“ die Datei „gpt4all-installer-linux.run“ herunter. Konkret getestet haben wir die Installation unter Ubuntu 22.04.3 und Linux Mint 21.3. Wenn Sie die „run“-Datei im Verzeichnis „Downloads“ gespeichert haben, führen Sie folgende sechs Befehle im Terminal aus:
Folgen Sie den Anweisungen des Installationsassistenten. Nach Abschluss kopieren Sie den Programmstarter vom Ordner „~/Desktop“ nach „~/Schreibtisch“.
GPT4All für Chats verwenden
Nach dem ersten Start klicken Sie auf „Download Models“. GPT4All bietet mehrere Modelle unterschiedlicher Größe und Qualität. Bei jedem Modell ist die Downloadgröße (4 bis 8 GB) sowie der minimale RAM-Bedarf angegeben.
Empfehlenswert sind Mistral Open Orca oder Mistral Instruct (8 GB RAM) sowie Hermes oder Snoozy (16 GB RAM). Für deutschsprachige Chats verwenden Sie „EM German Mistral“. Klicken Sie beim gewünschten Modell auf „Download“.
Die Modelle Chat-GPT-3.5 Turbo und Chat-GPT-4 werden ebenfalls angeboten, wofür aber ein API-Schlüssel erforderlich ist, den Sie nach der Anmeldung bei https://openai.com erhalten.
Die Nutzung ist kostenpflichtig, bezahlt wird nach Anzahl und Umfang der Abfragen. Bei Nutzung dieser Modelle überträgt GPT4All die Daten an Open AI.
IDG
Nach dem Download wählen Sie das Modell im oberen Bereich des Fensters. Danach tippen Sie die Anfrage in die Eingabezeile ein. Wie schnell eine Antwort erfolgt, hängt bei den Open-Source-Modellen von der Hardware ab. Ohne GPU-Unterstützung dauert der Prozess deutlich länger.
GPT4All mit eigenen Dokumenten nutzen
Das Wissen aller KI-Modelle endet mit dem Datum der zuletzt verwendeten Trainingsdaten. In begrenztem Umfang lässt sich die Datenbasis mit eigenen Dokumenten erweitern, deren Inhalte dann im Ergebnis berücksichtigt werden.
In GPT4All müssen Sie dafür zusätzlich das Modell Sbert (Sentence Embedding) installieren. Danach klicken Sie in der Symbolleiste auf das vorletzte Icon und auf „Add & Remove“. Geben Sie einen Ordner an, der Text- oder PDF-Dateien zu einem Thema enthält.
Tippen Sie eine Bezeichnung für die Sammlung in das Feld „Collection name…“ ein und klicken Sie auf „Add“. Schließen Sie dann das Fenster und aktivieren Sie die Sammlung. Senden Sie eine Anfrage, bei der jetzt „searching localdocs“ erscheint. GPT4All zeigt unter der Antwort, welche Dokumente es berücksichtigt hat.
Beachten Sie, dass GPT4All lokale Dokumente als Kontext verwendet, der die Antwort in die gewünschte Richtung lenkt. Zumindest mit dem Modell EM German Mistral ist eine Abfrage wie „Fasse den Inhalt aller Dokumente zusammen“ möglich.
Aufgrund der Arbeitsweise einer KI bezieht sich das Ergebnis jedoch nicht ausschließlich auf den Inhalt, sondern GPT4All generiert einen Text unter Berücksichtigung der verwendeten Dokumente.
