KI auf eigener Hardware: GPT4ALL selbst betreiben

[h4x0r]

Ich bin ein begeisterter Verfechter von Künstlicher Intelligenz – natürlich im ethischen Rahmen.
Derzeit gibt es unzählige KI-Lösungen auf dem Markt, wie z. B. ChatGPT, Claude, Gemini, Pi, Copilot, DeepSeek oder Mistral. Die meisten davon setzen jedoch auf abonnementbasierte Preismodelle, die monatliche Kosten verursachen.
Es gibt aber auch einen einfachen und kostenlosen Weg, eine eigene KI-Lösung auf der eigenen Hardware zu betreiben – zum Beispiel mit GPT4ALL.
Ich habe GPT4ALL bereits mehrfach unter Linux Ubuntu erfolgreich eingerichtet – selbst auf älterer Hardware (AMD Ryzen 5 2600, 16 GB RAM und einer alten NVIDIA-Grafikkarte mit 6 GB VRAM).

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

Einmal richtig konfiguriert, könnt ihr damit sogar eigene PDF- und Text-Bibliotheken indexieren und euch so eine persönliche Wissensdatenbank aufbauen. Es stehen verschiedene Modelle zur Verfügung, die sich je nach Anwendungsfall und Workflow einsetzen lassen.
Wenn ihr GPT4ALL ausprobieren möchtet, findet ihr dazu zahlreiche Tutorials auf YouTube. Außerdem verlinke ich euch gerne direkt die offizielle GPT4ALL-Dokumentation.


Hinweis: Ich möchte hier keinen separaten Thread zur allgemeinen Diskussion über KI eröffnen – dafür gibt es bereits einen passenden Foren-Thread.
Dieser Beitrag soll sich ausschließlich auf Fragen zur Einrichtung von GPT4ALL auf älteren Rechnern oder ähnlicher Hardware konzentrieren.
Wenn ihr dazu Fragen habt, stellt sie gerne hier!
Alles Weitere zum Thema KI diskutiert bitte im entsprechenden Hauptthread.

Beste Grüße, h4x0r

 

[Jezersko]

Es gibt keine künstliche Intelligenz!
Es gibt leistungsfähige Rechner und es gibt Algorithmen. Mit Intelligenz hat das nichts zu tun.

Intelligenz per Definition ist eine aus mehreren Komponenten bestehende Fähigkeit, die es dem Menschen ermöglicht, in seiner Umwelt Sinnzusammenhänge und Kausalitäten zu erkennen und aus seinen Beobachtungen eigenständig Problemlösungen zu entwickeln. Die sog. "KI" gibt nur bereits bekannte Aussagen wieder, nachdem es diese (zugegeben sehr schnell - je nach Leistungsfähigkeit der Computer) im Internet zusammengesucht hat. Nicht selten werden da Kraut und Rüben zusammengeworfen und der Algorithmus halluziniert. Um Halluzinationen und Fakten zu differenzieren braucht es WIRKLICHE Intelligenz. Menschliche Intelligenz. Dieser Umstand wird uns noch größte Probleme bereiten, weil die Menschen immer fauler werden und ihre Gehirne immer weniger selber bemühen und aus bequemlichkeit alles einem Computerprogramm überlassen.

 

[Axer]

Ich bin ein begeisterter Verfechter von Künstlicher Intelligenz – natürlich im ethischen Rahmen.
Derzeit gibt es unzählige KI-Lösungen auf dem Markt, wie z. B. ChatGPT, Claude, Gemini, Pi, Copilot, DeepSeek oder Mistral. Die meisten davon setzen jedoch auf abonnementbasierte Preismodelle, die monatliche Kosten verursachen.
Es gibt aber auch einen einfachen und kostenlosen Weg, eine eigene KI-Lösung auf der eigenen Hardware zu betreiben – zum Beispiel mit GPT4ALL.
Ich habe GPT4ALL bereits mehrfach unter Linux Ubuntu erfolgreich eingerichtet – selbst auf älterer Hardware (AMD Ryzen 5 2600, 16 GB RAM und einer alten NVIDIA-Grafikkarte mit 6 GB VRAM).

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

Einmal richtig konfiguriert, könnt ihr damit sogar eigene PDF- und Text-Bibliotheken indexieren und euch so eine persönliche Wissensdatenbank aufbauen. Es stehen verschiedene Modelle zur Verfügung, die sich je nach Anwendungsfall und Workflow einsetzen lassen.
Wenn ihr GPT4ALL ausprobieren möchtet, findet ihr dazu zahlreiche Tutorials auf YouTube. Außerdem verlinke ich euch gerne direkt die offizielle GPT4ALL-Dokumentation.


Hinweis: Ich möchte hier keinen separaten Thread zur allgemeinen Diskussion über KI eröffnen – dafür gibt es bereits einen passenden Foren-Thread.
Dieser Beitrag soll sich ausschließlich auf Fragen zur Einrichtung von GPT4ALL auf älteren Rechnern oder ähnlicher Hardware konzentrieren.
Wenn ihr dazu Fragen habt, stellt sie gerne hier!
Alles Weitere zum Thema KI diskutiert bitte im entsprechenden Hauptthread.

Beste Grüße, h4x0r

Ich muss mir das doch wie eine VM vorstellen oder? Also wenn ich das (mit dem Llama 3 Modell) lokal auf meiner Maschine laufen lasse, benötigt es dann die ganze Zeit die 8 GB RAM wie es z.B. hier steht?

Sie haben keine Berechtigung Anhänge anzusehen. Anhänge sind ausgeblendet.

 

[Jezersko]

Ich muss mir das doch wie eine VM vorstellen oder? Also wenn ich das (mit dem Llama 3 Modell) lokal auf meiner Maschine laufen lasse, benötigt es dann die ganze Zeit die 8 GB RAM wie es z.B. hier steht?

Sie haben keine Berechtigung Anhänge anzusehen. Anhänge sind ausgeblendet.

Dateigröße 4,66 GB und alleine für diese eine Anwendung 8 GB RAM. Das ist doch völlig verrückt!

 

[berliner]

Dateigröße 4,66 GB und alleine für diese eine Anwendung 8 GB RAM. Das ist doch völlig verrückt!

Wieso? Viele Programmierer machen das mit ihren virtuellen Maschinen genau so.

 

[h4x0r]

Ich muss mir das doch wie eine VM vorstellen oder? Also wenn ich das (mit dem Llama 3 Modell) lokal auf meiner Maschine laufen lasse, benötigt es dann die ganze Zeit die 8 GB RAM wie es z.B. hier steht?

Sie haben keine Berechtigung Anhänge anzusehen. Anhänge sind ausgeblendet.

Gpt4all nutzt den RAM, weil es darauf ausgelegt ist, LLMs lokal und CPU-basiert auszuführen, ohne die Notwendigkeit spezieller Hardware wie GPUs, die modelle z.b wie Mistral, Llama, GTP-J) bestehen aus großen gewichtsmatrizen (weights), die beim start komplett in den RAM geladen werden MÜSSEN.
Und nein, Gpt4all nutzt keine GPU-Beschleunigung, für diese müsste man alternativen wie llama.cpp mit gpu support oder direkt spezialisierte Libraries wie Cuda beschleunigte frameworks einsetzen..
Hier eine kleine beispielhafte Ram-Nutzung nach Modellgrößen:
3b modelle -> 4-6gb ram
7B modelle -> 8-12gb ram
13b modelle -> 16-24gb ram
Ram speichert die modellgewichte und laufende Daten für die Textgenerierung, ohne Ram wäre keine schnelle berechnung möglich, by the way die cpu holt sich dann direkt die daten aus dem RAM, da Fesplatten (selbst ssds) VIEL zu langsam wären

P.S
Arbeitspeicher ist heute fast kaum noch was wert, z.b 64gb ddr4 kriegt man heute echt für Lau

 

[Jezersko]

Gpt4all nutzt den RAM, weil es darauf ausgelegt ist, LLMs lokal und CPU-basiert auszuführen, ohne die Notwendigkeit spezieller Hardware wie GPUs, die modelle z.b wie Mistral, Llama, GTP-J) bestehen aus großen gewichtsmatrizen (weights), die beim start komplett in den RAM geladen werden MÜSSEN.
Und nein, Gpt4all nutzt keine GPU-Beschleunigung, für diese müsste man alternativen wie llama.cpp mit gpu support oder direkt spezialisierte Libraries wie Cuda beschleunigte frameworks einsetzen..
Hier eine kleine beispielhafte Ram-Nutzung nach Modellgrößen:
3b modelle -> 4-6gb ram
7B modelle -> 8-12gb ram
13b modelle -> 16-24gb ram
Ram speichert die modellgewichte und laufende Daten für die Textgenerierung, ohne Ram wäre keine schnelle berechnung möglich, by the way die cpu holt sich dann direkt die daten aus dem RAM, da Fesplatten (selbst ssds) VIEL zu langsam wären

P.S
Arbeitspeicher ist heute fast kaum noch was wert, z.b 64gb ddr4 kriegt man heute echt für Lau

Mit RAM ist es ja nicht abgetan, wenn das ganze System nicht entsprechend aufwändig (und teuer) darauf abgestimmt ist.

Aber ich verstehe schon - als USER kann ich bei Gesprächen unter Nerds ohnehin nicht mitreden. Mangels überflüssiger Tagesfreizeit will ich das auch gar nicht.
Hin und wieder stelle ich so einem Nerd auch die Frage nach dem Nutzen für die Menschheit. Selten habe ich darauf eine brauchbare Antwort bekommen.

 

[h4x0r]

Ach so, du möchtest wissen, was der eigentliche Nutzen von KI wie gpt4all für die Menschheit ist?
Schau, das Problem ist nicht die KI selbst – die eigentliche Gefahr beginnt immer beim Menschen. Wenn man eine KI beispielsweise so manipuliert und einschränkt, wie es bei bestimmten Systemen in China der Fall ist (Stichwort DeepSeek AI), dann ist nicht die KI das Problem, sondern die Art, wie der Mensch sie formt und nutzt.
Man könnte hier unzählige Beispiele nennen, aber ich halte es mal einfach und praxisnah:

Beispiel 1: Buchhaltung und Bestellwesen automatisieren​

Stell dir vor, du betreibst ein Geschäft. Du trainierst die KI darauf, deine Buchhaltung zu übernehmen und Bestellungen automatisch auszulösen.
Die KI achtet dabei intelligent auf:

• Was wurde verkauft?
• Wie viel wurde wann verkauft?
• Gab es Sonderaktionen oder Feiertage?
• Ist Monatsende (Stichwort: Gehaltseingang und Kaufverhalten)?

Die KI kann daraus nicht nur automatisch Bestellungen auslösen, sondern dir auch präzise Prognosen für die Zukunft liefern – wie viel du wann voraussichtlich verkaufen wirst.

Beispiel 2: KI im Einsatz bei einer deutschen Bäckerei​

Es gibt tatsächlich eine Bäckerei in Deutschland, die ein solches KI-System schon nutzt.
Hier berechnet die KI basierend auf Wetterdaten, Feiertagen und vergangenen Verkaufszahlen genau, wie viele Backwaren produziert werden sollten, um Überproduktion zu vermeiden und gleichzeitig die Nachfrage zu decken.
Das spart nicht nur Geld, sondern reduziert auch Lebensmittelverschwendung.

Beispiel 3: Automatisierter Kundenservice ohne Cloud-Abhängigkeit​

Mit gpt4all kannst du einen lokalen Chatbot betreiben, der Kundensupport leistet, ohne dass sensible Daten an Dritte wie OpenAI oder Google gehen.

• Beantwortet automatisch häufige Fragen.
• Gibt personalisierte Produktempfehlungen basierend auf bisherigen Käufen.
• Kann sogar Retouren- und Reklamationsprozesse einleiten.

Ideal für Shops, die Wert auf Datenschutz und Unabhängigkeit legen.

Beispiel 4: Persönlicher Lern- und Trainingsassistent​

• Trainiere gpt4all auf deine eigenen Lernunterlagen (z.B. für eine Weiterbildung oder ein Studium).
• Du kannst es dann jederzeit fragen: „Erklär mir das Thema nochmal einfacher“ oder „Gib mir ein kurzes Quiz zum Üben“.
• Funktioniert komplett offline – perfekt für unterwegs und ohne ständige Internetverbindung.

Beispiel 5: Smarte Content-Produktion für Social Media & Blogs​

• gpt4all kann dir bei der Erstellung von Social-Media-Posts, Blogartikeln und Produktbeschreibungen helfen.
• Du definierst deinen Schreibstil und deine Zielgruppe, und die KI produziert Content, der genau dazu passt.
• Ideal für kleine Unternehmen oder Freelancer, die kein großes Marketing-Team haben.

Beispiel 6: Intelligente Termin- und Aufgabenplanung​

• gpt4all analysiert deine To-Do-Listen und schlägt dir basierend auf Dringlichkeit, Aufwand und freier Zeit eine optimale Tagesplanung vor.
• Integriert Feiertage, Wetter, typische Tagesform (z.B. du bist morgens fitter) – ein echter smarter Assistent.

Beispiel 7: Dein persönlicher Programmier-Assistent – komplett offline​

• Du kannst gpt4all mit PDF-Büchern, Tutorials und Open-Source-Code-Snippets füttern, zum Beispiel zu den Themen Webentwicklung, Python, PHP, oder sogar ganzen CMS-Systemen wie WordPress oder Joomla.
• Die KI wird dadurch zu deinem persönlichen Coding-Coach, der dir beim Programmieren hilft:
  • Gibt dir passende Code-Beispiele direkt aus dem angelernten Wissen.
  • Erklärt dir komplexe Konzepte verständlich.
  • Unterstützt dich bei der Fehlersuche und Code-Optimierung.

KI wie gpt4all kann dir den Alltag erheblich erleichtern, wenn du sie clever einsetzt, sie ist kein Ersatz für den Menschen, sondern ein mächtiges Werkzeug, und wie bei jedem Werkzeug kommt es darauf an, wer es in der Hand hält.

 

[h4x0r]

Dateigröße 4,66 GB und alleine für diese eine Anwendung 8 GB RAM. Das ist doch völlig verrückt!

Damit du verstehst, WARUM ein LLM so viel Arbeitsspeicher benötigt, muss man wissen, was hinter dem Begriff eigentlich steckt.
Ein LLM, also ein Large Language Model, ist im Kern ein künstliches neuronales Netzwerk, das darauf trainiert wurde, menschliche Sprache zu verstehen, zu verarbeiten und zu generieren.
Dafür wird es mit gewaltigen Mengen an Textdaten gefüttert, dazu gehören Bücher, Webseiten, wissenschaftliche Studien und vieles mehr, wie oben schon mal erwähnt.

Doch das Entscheidende ist nicht nur die bloße Menge an Daten, sondern die Fähigkeit, Zusammenhänge zwischen Informationen zu erkennen.
Stell dir vor, die KI „sieht“ eine weiße Wand. Sie weiß jedoch nicht, warum die Wand weiß ist, aus welchen Materialien sie besteht, ob dahinter Ziegelsteine liegen oder wer sie gebaut hat.
Dieses Wissen hat sie nicht automatisch, sondern lernt es durch den Vergleich unzähliger Beispiele und Kontextinformationen.
So entsteht ihre Fähigkeit, komplexe Texte zu schreiben, Fragen zu beantworten, Übersetzungen zu liefern oder sogar Programmcode zu generieren.
Damit das funktioniert, bestehen LLMs aus Milliarden von Parametern – das sind die Stellschrauben im neuronalen Netz, die bestimmen, wie wahrscheinlich ein bestimmtes Wort oder eine Antwort im Kontext einer Eingabe ist. Je mehr Parameter ein Modell hat, desto besser kann es Zusammenhänge erkennen und möglichst menschlich wirkende Antworten generieren.
Da all diese Parameter und die dazugehörigen Daten für jede Berechnung verfügbar sein müssen, wird ein enormer Teil des Arbeitsspeichers benötigt. Der RAM dient dabei als Hochgeschwindigkeitsspeicher, um blitzschnellen Zugriff auf diese riesigen Datenmengen zu ermöglichen. Ohne genügend RAM wäre das Modell schlicht zu langsam oder könnte gar nicht erst geladen werden.
Kurz gesagt: Ein LLM „denkt“ nicht wirklich, sondern arbeitet mit Wahrscheinlichkeiten auf Basis riesiger Datenmengen – und diese müssen vollständig im Arbeitsspeicher liegen, um überhaupt genutzt werden zu können.
Stell dir vor, ein LLM lernt Sprache ähnlich wie ein Kind, aber in Lichtgeschwindigkeit und mit unendlich viel mehr Lesestoff.
Hier eine einfache Erklärung in 4 Schritten:

1. Lernen durch Mustererkennung​

• Das LLM liest riesige Textmengen (Bücher, Websites, Chats usw.).
• Dabei merkt es sich, welche Wörter oft zusammen vorkommen und in welchem Kontext.
• Beispiel:
  • „Ich trinke einen heißen ___.“ → Das wahrscheinlichste Wort ist „Kaffee“.
  • Das Modell merkt: „heiß“ + „trinken“ → „Kaffee“ oder „Tee“ passen gut.

2. Wahrscheinlichkeiten statt echtes Verstehen​

• Die KI versteht die Bedeutung der Wörter nicht wie ein Mensch, aber sie weiß, welche Wortfolgen statistisch am häufigsten vorkommen.
• Beispiel:
  • Auf „Guten Morgen, ich wünsche dir einen…“ folgt meist „schönen Tag“ und nicht „blauen Käse“.
• Es berechnet:
  • „schönen Tag“ = 95% Wahrscheinlichkeit
  • „blauen Käse“ = 0.001% Wahrscheinlichkeit

3. Parameter – Die „Synapsen“ der KI​

• Jeder Parameter im LLM beeinflusst, wie stark bestimmte Wortzusammenhänge gewichtet werden.
• Bei großen Modellen wie GPT-4 gibt es über 1 Billion dieser Parameter, die ständig angepasst wurden, bis die Vorhersagen möglichst „menschlich“ wirken.

4. Ständiges Training und Feintuning​

• Nach dem Grundtraining wird das Modell mit weiteren, speziellen Daten verfeinert:
  • Für medizinische Themen → mit Fachartikeln.
  • Für Programmierhilfen → mit Quellcodes und Dokus.
  • Für freundliche Kommunikation → mit Chat-Daten und Feedback von Menschen.

GPT4ALL hat verschiedene Modelle (LLMs), und diese unterscheiden sich deutlich voneinander, und somit kann man z.b präziser eigene Projekte angehen..

 

[Axer]

Ich will mich gar nicht hier auf eine Debatte einlassen. Ich hab meine durchaus grundierte Meinung zu AI, die auch sehr bodenständig ist mMn.

Dieses Bild fasst es ganz gut zusammen:

Sie haben keine Berechtigung Anhänge anzusehen. Anhänge sind ausgeblendet.

Die meisten dieser Algorithmen bzw. neutralen Netztheorien gibt es teilweise schon seit Jahrzehnten.... jetzt hat man einfach die passende Hardware und die passenden Datensätze, die man benötigt.

Ist AI nützlich für den Menschen -> ja besser als es nicht zu haben....

Wird AI so die Welt verändern, wie das schon seit einigen Jahren verkauft wird? -> nein natürlich nicht, das sind die gleichen leeren Versprechungen wie damals.