kipreise.info
Lokale Modelle › Text & Chat › Qwen2.5-32B-Instruct-AWQ
Qwen · Text & Chat · ⟳ vor 7 Min (16.10. 19:14 UTC)

Qwen2.5-32B-Instruct-AWQ

Sprachmodelle für Chat, Wissen und Alltag — die Klassiker für den eigenen Rechner.

Apache-2.0

Größe (kompakt)19,3 GB
Kleinste Variante–
LizenzApache-2.0
Parameter32B
KategorieText & Chat
Downloads (30 Tage)1,0 Mio.
Likes109
Aktualisiertvor 2 Jahren
Erstelltvor 2 Jahren
Hersteller/OrgQwen
Tensor-TypI32
Repo-Größe (alle Dateien)19,3 GB

Läuft das auf deinem Rechner?

Was kann es?

Ein Sprachmodell mit 32 Milliarden Parametern von Alibaba, das auf Textaufgaben wie Zusammenfassen, Übersetzen, Schreiben und Beantworten von Fragen spezialisiert ist. Die AWQ-Quantisierung verkleinert es so, dass es auf Consumer-Hardware wie einer GeForce RTX 4090 oder 5090 lauffähig wird.

Stärken

Guter Allrounder mit soliden Ergebnissen auf Deutsch und Englisch, und dank AWQ-Quantisierung deutlich weniger VRAM-Anspruch als die Vollpräzisionsvariante.

Grenzen

Braucht je nach Quantisierung mindestens 16–18 GB VRAM, und mit den typischen Quantisierungsverlusten liegt es in anspruchsvollen Aufgaben knapp hinter größeren Modellen wie Qwen2.5-72B.

Für wen?

Für alle, die ein leistungsfähiges lokales Modell ohne Gebühren laufen lassen wollen, aber nicht zwingend das Maximale brauchen und eine grafische Karte mit ausreichend VRAM haben.

So startest du es

Jeder Befehl ist fertig für dieses Modell: kopieren und in die Konsole einfügen.

⚠️ Für dieses Modell haben wir keine verifizierte GGUF-Fassung in der Datenbank. Ohne GGUF können Ollama, LM Studio und llama.cpp es nicht starten. Prüfe auf Hugging Face nach „Qwen/Qwen2.5-32B-Instruct-AWQ GGUF“ (die meisten Text-Modelle haben eine, z. B. von bartowski oder unsloth) — dann gilt: ollama run hf.co/Qwen/Qwen2.5-32B-Instruct-AWQ

Dein Rechner

Besonderheiten

Was dieses Modell ausmacht — geprüft aus den offiziellen Angaben (⟳ vor 7 Min (16.10. 19:14 UTC)).

SprachmodellBeantwortet Fragen, schreibt und fasst Texte zusammen.
Basis: Qwen2.5-32B-InstructAufgebaut auf Qwen/Qwen2.5-32B-Instruct (Quantisierung) — Original-Modellkarte beim Anbieter. Quelle ↗
Paper / ForschungarXiv:2309.00071, arXiv:2407.10671 — die Original-Arbeit zum Modell bzw. Verfahren. Quelle ↗
In Spaces im Einsatz21 Hugging-Face-Spaces nutzen dieses Modell.
SpracheEnglisch
Kommerziell nutzbarLizenz: Apache-2.0.
Millionenfach geladen1,0 Mio. Downloads auf Hugging Face.
Gerade im TrendAktuell weit oben bei Hugging Face.
TechnikModelltyp: qwen2 · Bibliothek: transformers

Alle Angaben stammen aus den offiziellen Quellen (Hugging Face) — wir hosten keine Modelle.

Wo bekommst du es?

Wir hosten nichts — hier geht es direkt zur Quelle. Die Anleitung unten zeigt dir Schritt für Schritt, wie du das Modell startest.

Auf Hugging Face herunterladen Bei Ollama suchen Bei LM Studio suchen

Größen & Quants

Kleinere Datei = weniger Speicherbedarf, dafür minimal geringere Qualität. Der Check oben zeigt dir für jede Variante, ob sie auf deinem Rechner läuft — entscheiden musst nur du.

VarianteDateigrößeSpeicherbedarf (grob)
Keine Variantenliste verfügbar — schau in die Dateiliste bei Hugging Face.
Größenangaben aus der Dateiliste bei Hugging FaceAlle Dateien: HF ↗

So startest du Qwen2.5-32B-Instruct-AWQ

  1. Herunterladen: Über den HF-Button oben (oder direkt in Ollama/LM Studio suchen).
  2. Starten: Unsere Anleitung zeigt dir die einfachsten Wege — LM Studio (Klick-Oberfläche) oder Ollama (ein Befehl).
  3. Chatten: Modell auswählen, lostippen. Ohne Internet, ohne Anmeldung.

Gleiches Modell lieber als API nutzen? Preisvergleich öffnen →

Häufige Fragen

Läuft Qwen2.5-32B-Instruct-AWQ auf meinem Rechner?

Das zeigt dir der Check oben — Variante für Variante. Typische Größen: die übliche kompakte Variante wiegt –, die kleinste – — rechne grob ~2 GB Puffer dazu.

Was kostet Qwen2.5-32B-Instruct-AWQ?

Nichts — das Modell ist kostenlos herunterladbar. Kosten entstehen nur für Strom oder eine gemietete GPU, falls dein Rechner zu klein ist.

Ähnliche Modelle: NVIDIA-Nemotron-3-Nano-30B-A3B-NVFP4 · Qwen2.5-32B-Instruct · JiRackUltra_32b · Zurück zur Übersicht

Daten: Hugging Face API · ⟳ vor 7 Min (16.10. 19:14 UTC). Wir hosten keine Modelle — alle Links führen zu den offiziellen Quellen.