Ihr IT-Team setzt ein offenes Sprachmodell selbst auf: Modell und Hardware wählen, mit Ollama oder vLLM bereitstellen, mit Open WebUI und Dokumentensuche nutzbar machen. Dazu Rechte, Protokolle, Updates und ein ehrlicher Vergleich mit Cloud-Modellen.
André Heiner
KI-Trainer aus Wiesbaden
Kurz gesagt: Lokale Sprachmodelle sind offene Modelle, deren Gewichte Sie herunterladen und auf eigener Hardware oder einem Server in Deutschland betreiben. Im zweitägigen Workshop richtet Ihr Team ein solches System von Grund auf ein: Modellwahl und Hardware, Bereitstellung mit Ollama und vLLM, Oberfläche mit Open WebUI, Dokumentensuche mit eigenen Daten sowie Rechte, Protokolle und Updates. Zum Abschluss steht ein ehrlicher Vergleich mit Cloud-Modellen bei Qualität, Kosten und Aufwand.
Für
Voraussetzungen
Tag 1: Modell wählen und bereitstellen7 Stunden
Tag 2: Nutzbar und sicher betreiben7 Stunden
Werkzeuge: Ollama, vLLM, Open WebUI, Docker unter Linux, offene Modelle von Hugging Face.
Am Ende antwortet Ihr eigener Server
Jede Gruppe baut über beide Tage ein System auf, das am Ende läuft: Modell, Oberfläche, Dokumentensuche und Zugriffsregeln. Wo das lokale Modell mithält und wo ein Cloud-Modell besser ist, messen wir an Ihren eigenen Aufgaben, statt es zu behaupten. Grundlage sind meine Vergleiche offener und geschlossener Modelle im KI-Labor.
Ihr Trainer
André Heiner
KI-Trainer und KI-Engineer aus Wiesbaden
Ich unterrichte, was ich selbst baue. Die Ausbildereignung belegt, dass ich unterrichten kann. Das KI-Handwerk kommt aus meiner täglichen Projektarbeit.
40UE
Ja. 5 Tage mit je 8 UE oder 10 Halbtage mit je 4 UE.
Neues Modul: Tagesplan, Übungen und Modulblatt entstehen für Ihren ersten Termin. Modulblatt auf Anfrage per Mail.
Modulblatt anfordernDas hängt vom Modell ab, und genau das üben wir. Ein Beispiel: Mistral Small 3.2 mit 24 Milliarden Parametern braucht laut Hersteller im Originalformat rund 55 GB Grafikspeicher, die verkleinerte (quantisierte) Fassung in der Ollama-Bibliothek ist ein Download von 15 GB. Für den Workshop klären wir im Vorgespräch, ob Ihre Rechner reichen oder wir gemietete GPU-Server nutzen.
Enthalten sind das Vorgespräch, der Zuschnitt auf Ihre Umgebung, zwei Workshop-Tage, die Unterlagen und eine Teilnahmebescheinigung. Den Preis nenne ich Ihnen nach einem kurzen Gespräch in einem schriftlichen Angebot, abhängig von Gruppengröße, Format, Ort und Übungsumgebung. Für Bildungsträger gibt es die Fassung mit 40 UE zu Träger-Konditionen.
Nicht bei jeder Aufgabe. Offene Modelle sind stark bei Routine wie Zusammenfassen, Extrahieren und Entwürfen. Bei schwierigem Schlussfolgern liegen die großen Cloud-Modelle oft vorn. Im Workshop vergleichen wir beides an Ihren Aufgaben, statt uns auf Ranglisten zu verlassen.
Bei lokalem Betrieb verarbeitet das Modell Ihre Eingaben auf Ihrem eigenen Rechner. Ollama ist nach der Installation nur auf diesem Rechner erreichbar und lässt sich so einstellen, dass Cloud-Modelle und Websuche abgeschaltet sind. Entscheidend sind danach Netzwerk, Zugänge und Protokolle. Genau das richten wir am zweiten Tag ein.
Ollama ist der schnelle Einstieg für einzelne Rechner und kleine Teams. vLLM ist für einen Server gedacht, der viele Anfragen gleichzeitig beantwortet. Im Workshop setzen Sie beides auf und entscheiden danach mit eigenen Messwerten.
Ja, als Halbtag „Lokale KI in der Kanzlei“ mit Anwendung und Berufsrecht für Partner und Team. Dieser Workshop hier richtet sich an die IT, die ein solches System aufsetzt und betreibt.
Diesen Workshop für Ihr Team?
15 Minuten mit mir: Ziele, Gruppe, Termin.
Passende Module
Stand: 08. Oktober 2026. Ollama, vLLM, Open WebUI, Hugging Face und NVIDIA sind Marken ihrer Inhaber. Diese Schulung ist ein unabhängiges Angebot und nicht mit den Herstellern verbunden.
