Ratgeber und Analysen

Lokale LLMs auf einem Ryzen AI Max+ ausführen: LM Studio, Ollama und llama.cpp

Schritt-für-Schritt-Anleitung: wie du der Grafik unter Windows und Linux Speicher zuweist und mit LM Studio, Ollama und llama.cpp große Modelle nutzt – und sie dem ganzen Büro bereitstellst.

4 Min. Lesezeit

LM Studio, Ollama y llama.cpp en un mini PC Ryzen AI Max+

Kurz gesagt

  • Zuerst der Grafik den Speicher freigeben: unter Windows bis zu 96 GB per Variable Graphics Memory, unter Linux mit dem Werkzeug amd-ttm.
  • Für einen unkomplizierten Einstieg: LM Studio – Modell herunterladen und in wenigen Minuten chatten.
  • Um Modelle anderen Rechnern bereitzustellen: Ollama oder der Server von llama.cpp, mit einer Weboberfläche wie Open WebUI.

Bevor du anfängst

  • Ein Rechner mit Ryzen AI Max+ und 128 oder 192 GB Speicher.
  • Freier Platz auf der SSD: Ein großes Modell belegt 60 bis 150 GB.
  • Internet nur zum Herunterladen der Programme und Modelle. Danach läuft alles offline.

Wenn du noch nicht weißt, welche Modelle auf deinen Rechner passen, lies zuerst Wie viel Speicher braucht ein lokales LLM?

Schritt 1: Speicher für die Grafik

Unter Windows

  1. Installiere oder aktualisiere den Treiber AMD Software: Adrenalin Edition (25.8.1 oder neuer).
  2. Öffne ihn und gehe zu Leistung › Tuning.
  3. Aktiviere Variable Graphics Memory und wähle die größte verfügbare Menge: bis zu 96 GB auf einem 128-GB-Gerät.
  4. Starte den Rechner neu.

Manche Hersteller erlauben zusätzlich, Grafikspeicher im BIOS zu reservieren. Nutze nur eine der beiden Möglichkeiten und prüfe danach im Task-Manager, wie viel dedizierten Speicher die Grafik sieht.

Unter Linux

Standardmäßig kann die Grafik etwa die Hälfte des Systemspeichers nutzen. AMD dokumentiert, wie sich das mit dem Werkzeug amd-ttm erhöhen lässt:

pipx install amd-debug-tools
amd-ttm              # zeigt die aktuelle Grenze
amd-ttm --set 100    # setzt die Grenze auf 100 GB
sudo reboot

AMD empfiehlt aktuelle Kernel: 6.18.4 oder neuer bei den meisten Distributionen. Ubuntu 26.04, Fedora 43 und ein aktuelles Arch Linux enthalten die nötigen Korrekturen bereits. Lass immer Reserve fürs System – gib der Grafik nicht den ganzen Speicher.

Schritt 2: LM Studio, der einfachste Weg

  1. Lade LM Studio von der offiziellen Website herunter und installiere es.
  2. Suche im Suchreiter nach dem Modell (zum Beispiel gpt-oss-120b) und lade die Version herunter, die LM Studio für deinen Rechner vorschlägt.
  3. Aktiviere beim Laden die manuelle Konfiguration und stelle GPU Offload auf das Maximum, damit das ganze Modell auf der Grafik läuft.
  4. Erhöhe die Kontextlänge, wenn du mit langen Dokumenten arbeitest: LM Studio nutzt standardmäßig 4.096 Tokens.

LM Studio nutzt intern llama.cpp und lässt dich die Laufzeit wählen (Vulkan oder ROCm). In veröffentlichten Tests mit diesem Prozessor verarbeitet Vulkan Prompts schneller. LM Studio kann außerdem als Server mit einer OpenAI-kompatiblen API laufen.

Schritt 3: Ollama

Ollama ist ein sehr beliebtes Kommandozeilenwerkzeug, um Modelle herunterzuladen und bereitzustellen. Nach der Installation:

ollama run gpt-oss:120b

Damit andere Rechner im Netzwerk es nutzen können, starte den Dienst so, dass er auf allen Schnittstellen lauscht (Umgebungsvariable OLLAMA_HOST=0.0.0.0). Wenn Ollama die Grafik deines Rechners nicht nutzt oder langsamer ist als erwartet, aktualisiere auf die neueste Version oder nimm LM Studio bzw. llama.cpp mit Vulkan – derzeit der direkteste Weg bei diesen Prozessoren.

Schritt 4: der llama.cpp-Server

llama.cpp ist die Engine, auf der LM Studio und andere Werkzeuge aufbauen. Direkt genutzt bietet es die meiste Kontrolle:

  1. Lade die neueste mit Vulkan kompilierte Version von der Release-Seite von llama.cpp auf GitHub herunter (unter Linux kannst du es auch mit der Option GGML_VULKAN=ON selbst kompilieren).
  2. Lade das Modell im GGUF-Format von Hugging Face herunter.
  3. Starte den Server:
llama-server -m gpt-oss-120b.gguf -ngl 99 -c 32768 --host 0.0.0.0 --port 8080

-ngl 99 legt alle Schichten auf die Grafik, -c setzt den Kontext. Der Server bietet unter http://IP-des-Rechners:8080/v1 eine OpenAI-kompatible API, sodass viele Anwendungen und Programmier-Erweiterungen ihn nutzen können, indem du nur die Adresse änderst.

Schritt 5: ein Chat fürs ganze Büro

Open WebUI ist eine Weboberfläche ähnlich der kommerziellen Chatdienste, die sich mit Ollama oder jeder OpenAI-kompatiblen API wie der von llama.cpp verbindet. Installiere sie direkt auf dem Mini-PC, und deine Kollegen nutzen das Modell im Browser – mit Benutzerkonten und ohne dass Daten das Büro verlassen. Mit 10 GbE geht außerdem das Kopieren von Modellen zwischen Rechnern viel schneller.

Welches Modell für den Anfang

WofürModellGrößeRechner
Ausprobieren und sehr schnelle Antwortengpt-oss-20b12,1 GB128 GB
Allgemein, Chat und Dokumentegpt-oss-120b63,4 GB128 GB
Große Alternative aus einer anderen FamilieQwen3.5-122B-A10B76,5 GB128 GB
Das Maximum lokalQwen3-235B-A22B142,2 GB192 GB

Größe der auf Hugging Face veröffentlichten GGUF-Dateien, gemessen am 19.10.2026.

Häufige Probleme

  • Das Modell lädt nicht oder das Programm stürzt ab: Die Grafik hat zu wenig Speicher. Prüfe Schritt 1 oder wähle ein kleineres Modell.
  • Es ist sehr langsam: Prüfe, ob alle Schichten auf der Grafik liegen (GPU Offload auf Maximum oder -ngl 99), und teste die Vulkan-Laufzeit.
  • Der Speicher geht aus, wenn die Unterhaltung länger wird: Auch der Kontext belegt Speicher. Verkürze ihn oder quantisiere den Cache auf 8 Bit.
  • Große dichte Modelle sind langsam: Das ist bei solchen Rechnern normal; MoE-Modelle laufen deutlich flüssiger.

Noch keinen Rechner? Lies die Kaufberatung für Mini-PCs für lokale KI oder sieh dir direkt den 395 Compact und den PRO 495 Gold an.

Quellen

Weiterlesen

Mini-PCs, um künstliche Intelligenz lokal auf deinem eigenen Rechner auszuführen. Mit Versand in die ganze EU.

Kostenloser Versand in die EU · 14 Tage Widerrufsrecht · 3 Jahre gesetzliche Gewährleistung

Zahlungsarten
  • American Express
  • Maestro
  • Mastercard
  • PayPal
  • Visa

© 2026 RobitoPC · AMD, Ryzen und Radeon sind Marken von Advanced Micro Devices, Inc. Unabhängiger Shop ohne Verbindung zu AMD.

Website erstellt von milenaweb.es