Kanzlei-KI lokal auf einem Laptop von 2016: jede Antwort mit Fundstelle aus der Akte und ein ehrliches Nein, wenn dort nichts steht

Eine KI für Kanzleiakten. Auf einem Laptop von 2016. Ohne Cloud. Diese Kanzleidemo läuft gerade ohne KI. Oben steht es ehrlich: Auszug ohne Sprachmodell. Heute installiere ich ein Sprachmodell, lokal auf genau diesem Laptop. Ein ThinkPad von 2016 ohne eigene Grafikkarte. Zwei Fragen für die nächsten Minuten: Passt eine KI auf so einen Rechner, ohne dass Laufwerk C vollläuft? Und wie lange wartest du dann auf eine Antwort? Kurz zur Orientierung: Das hier ist Lektion eins der Reihe Kanzlei KI im Betrieb. Sie ist für Kanzleien, Rechtsanwälte, Steuerberater, Wirtschaftsprüfer und Notare. Warum lokal? Mandatsdaten unterliegen der Schweigepflicht. Wer KI einsetzt, muss wissen, wo diese Daten verarbeitet werden. Mit einem lokalen Sprachmodell passiert das auf dem eigenen Rechner, nicht in einer fremden Cloud. In dieser Lektion installiere ich Ollama, ein kostenloses Programm, mit dem Sprachmodelle auf deinem eigenen Rechner laufen. Du siehst, wie du die Modelle auf ein anderes Laufwerk legst, welche Modelle die Demo braucht, wie du prüfst, dass alles läuft und wie schnell die erste Antwort wirklich kommt. Ohne Konto, ohne Cloud, ohne Grafikkarte. Das Ziel der Reihe: Du stellst deiner Akte eine Frage und bekommst eine Antwort nur mit Fundstelle. Und wenn nichts in der Akte steht, ein ehrliches Nein. Die Akten in der Demo sind erfunden. Drei Mandate aus Mietrecht, Arbeitsrecht und Steuerrecht. So ist die Demo aufgebaut. Der Browser stellt die Frage, der Demo-Server sucht in der Akte und nur passende Auszüge gehen an das Sprachmodell. Am Ende prüft die Demo, ob jede Aussage einen Beleg hat. In dieser Lektion installieren wir Baustein fünf, das Sprachmodell, lokal mit Ollama. Später kommen öffentliche Quellen dazu. Gesetze und Urteile der Bundesgerichte, die frei im Netz stehen. Wie man sie nutzt und was dabei erlaubt ist, zeige ich in Lektion drei. Drei Bausteine kommen heute auf den Rechner. Ollama, kostenlos, führt die Modelle aus. Qwen drei von Alibaba Cloud schreibt die Antworten und Nomic Embed Text von Nomic hilft bei der Suche. Welche Qwen-Fassung auf einem alten Laptop taugt, zeigt sich in Kapitel sechs. Bevor ich etwas installiere, lasse ich den Test der Demo laufen. Fünf Beispielfragen an die Akten, jede mit der Stelle, an der die Antwort stehen muss. Ergebnis: Fünf von fünf bestanden. Moment, es ist doch noch gar kein Sprachmodell installiert. Die Antwort steht ganz unten, klein. Geprüft wurde nur der Auszugsmodus ohne Sprachmodell. Findet die Demo kein Modell, weicht sie auf wörtliche Auszüge aus der Akte aus. Die Antworten stimmen, aber nicht aus dem Grund, den ich prüfen wollte. Merk dir das. Ein grüner Test sagt nur, was er wirklich prüft. Erster Schritt und der kommt vor der Installation. Wo landen die Modelle? Ohne Einstellung im Benutzerordner auf Laufwerk C. Auf diesem Laptop ist C knapp, also lege ich die Modelle auf D. Dafür gibt es eine Umgebungsvariable mit dem Namen Ollama Models. Im Startmenü suchst du nach Umgebungsvariablen. Dann neu, Name und Ordner eintragen, zweimal OK. Wichtig: Die Variable gilt erst in neuen Fenstern. Deshalb setze ich sie vor der Installation und öffne das Terminal neu. Ollama startet direkt nach der Installation im Hintergrund und würde sonst den alten Ordner nehmen. Den Installer gibt es auf ollama.com unter Download für Windows. Voraussetzung laut Hersteller: Windows zehn in Version 22H2 oder neuer. Eine Grafikkarte braucht es nicht, Administratorrechte auch nicht. Die Datei ist gut anderthalb Gigabyte groß. Hier hat der Download zweieinhalb Minuten gedauert. Normalerweise würde ich jetzt doppelklicken. Dann installiert Ollama aber wieder in den Benutzerordner auf C. Ich starte den Installer deshalb aus dem Terminal mit dem Zusatz Schrägstrich dir und dem Zielordner D Ollama. Die Installation dauert hier rund fünf Minuten. Danach begrüßt dich Ollama und bietet ein Konto an. Brauchst du nicht. Unten steht, du willst Ollama lokal nutzen. Damit läuft Ollama im Hintergrund. Läuft es? Das prüfst du in zwei Sekunden. Im Browser: localhost:11434. Die Antwort: Ollama is running. Jetzt die Modelle. Ein neues Terminal, damit es Ollama findet und Ollama Version zeigt, dass alles da ist. Erstens, das Sprachmodell, das die Antworten schreibt. Qwen drei mit vier Milliarden Parametern. Ein Befehl, Ollama pull und 2,5 Gigabyte laufen herunter. Das hat hier knapp fünf Minuten gedauert. Ich spule vor. Zweitens: Ein kleines Modell für die Suche nach Bedeutung. Nomic Embed Text, zweihundertvierundsiebzig Megabyte in unter einer Minute geladen. Es schreibt keine Antworten. Es macht aus Text Zahlen, damit die Demo später auch Fragen mit anderen Worten findet. Ollama List zeigt beide Modelle. Auf Laufwerk D liegen jetzt gut zweieinhalb Gigabyte Modelle. Auf C kommt nichts dazu. Die erste Frage vom Anfang ist damit beantwortet. Die zweite Frage: Wie schnell ist das? Ich stelle dem Modell im Terminal eine erste Frage mit dem Schalter verbose. Dann schreibt Ollama am Ende dazu, wie lange es gerechnet hat. Und weil Qwen drei einen Denkmodus hat, schalte ich ihn ab mit think=false. Und dann das: Das Modell denkt trotzdem. Auf Englisch über achthundert Token lang und erst danach kommt der eine deutsche Satz. Gesamtzeit: drei Minuten und achtundfünfzig Sekunden. Der Prozessor schafft knapp vier Token pro Sekunde. Das Laden selbst dauerte nur neun Sekunden. Der Grund: Hinter dem Namen Qwen drei Komma vier b steckt bei Ollama inzwischen die Thinking-Fassung des Modells. Die denkt immer, der Schalter ändert daran nichts. Ein zweiter Versuch mit no think in der Frage dauerte sogar fast neun Minuten. Die Lösung ist ein anderes Modell. Dieselbe Größe, aber die Instruct-Fassung ohne Denkmodus. Ein weiterer Pull, wieder 2,5 Gigabyte, gut fünf Minuten. Dann dieselbe Frage. Antwort nach siebzehneinhalb Sekunden, davon acht Sekunden laden statt vier Minuten. Für eine Antwort aus der Akte heißt das auf diesem Laptop rund zwanzig bis fünfunddreißig Sekunden warten. Kein Chat zum schnellen Hin und Her. Aber die Akten werden auf diesem Rechner verarbeitet. Und das Wichtigste aus diesem Umweg: Auf einem langsamen Rechner entscheidet die Wahl des Modells mehr als die Hardware. Letzter Schritt: Die Demo neu starten. Vorher stand hier Auszug ohne Sprachmodell, jetzt Ollama lokal Qwen drei Instruct. Im Browser ist der Hinweis auf die Auszüge verschwunden. Erste Frage: Wann ist die Kündigung Herrn Lindqvist zugegangen? Nach einundzwanzig Sekunden die Antwort des Modells. Mit Fundstelle und rechts der markierte Satz im Aktenvermerk. Und der Test noch einmal. Diesmal mit der Vorgabe, dass wirklich das Modell antworten muss. Fünf von fünf. Die Antworten mit Beleg brauchen vierundzwanzig bis vierunddreißig Sekunden. Die Frage nach der Rechtsschutzversicherung null, denn da wird das Modell gar nicht gefragt. An der Dauer siehst du, dass jetzt wirklich ein Modell rechnet. Meine Einschätzung: Eine lokale KI ist heute kein Projekt mehr. Die reine Wartezeit für Download, Installation und Modelle lag hier bei knapp zwanzig Minuten mit dem Umweg über das falsche Modell. Schnell ist so ein Laptop nicht, aber du siehst genau, wo gerechnet wird. Und prüf das Modell, bevor du dich über die Hardware ärgerst. In der nächsten Lektion stellen wir der Akte damit echte Fragen. Mit Fundstelle zu jeder Antwort und mit einem ehrlichen Nein, wenn etwas nicht in der Akte steht. Und jetzt du. Auf welchem Rechner würdest du das zuerst ausprobieren? Schreib es in die Kommentare.

Ich frage eine Akte: Hat die Mandantin eine Rechtsschutzversicherung? Die meisten KI-Werkzeuge hätten jetzt sofort eine Antwort. Klingt gut, ist schnell und du weißt nicht, woher sie kommt. Zwei Fragen für die nächsten Minuten: Was antwortet eine Kanzlei-KI, wenn die Antwort gar nicht in der Akte steht? Und wie lange braucht das auf einem Laptop von 2016 ohne Grafikkarte und ohne US-Cloud? In dieser Lektion siehst du eine Aktenfrage live im Browser. Jede Antwort kommt mit Fundstelle. Ein Klick öffnet das Dokument an der markierten Stelle. Du siehst, was passiert, wenn nichts in der Akte steht. Du siehst, wie das auf einem alten Laptop läuft und wo die Demo an Grenzen stößt. Am Ende hast du vier Prüffragen, mit denen du jede Kanzlei-KI in fünf Minuten testest. Meine Einschätzung vorweg: Eine Kanzlei vertraut keiner KI, weil sie klug ist. Sie vertraut ihr, wenn jede Aussage einen Beleg hat, den man sofort prüfen kann. Das ist die Demo. Drei Mandate: Mietrecht, Arbeitsrecht und Steuerrecht. Alle Akten sind erfunden. Oben steht immer, wo die Antwort entsteht. Hier lokal auf diesem Rechner. Gerechnet wird mit einem kleinen offenen Sprachmodell über Ollama direkt auf dem Laptop. Wie ich das installiert habe, zeigt die Lektion davor. Erste Frage: Arbeitsrecht. Wann ist die Kündigung Herrn Lindqvist zugegangen? Während die Antwort läuft, spule ich vor. Wie lange das wirklich dauert, zeige ich dir gleich ehrlich. Die Antwort: Die Kündigung ist Herrn Lindqvist am 6. Mai 2026 zugegangen und hinter dem Satz steht eine Nummer. Das ist die Fundstelle. Ein Klick und rechts öffnet sich der Aktenvermerk zum Erstgespräch. Genau an der Stelle, der belegende Satz ist markiert. Du musst der KI nicht glauben. Du liest nach. In zwei Sekunden. Zweite Frage. Eine, die in jeder Kanzlei zählt: Bis wann läuft die Frist für die Kündigungsschutzklage? Antwort: Bis zum 27. Mai 2026, belegt mit demselben Aktenvermerk und als zweiter Beleg die Klageschrift. Die Klage ist innerhalb der Frist erhoben. Jetzt Steuerrecht: Bis wann muss die Bescheinigung des Arbeitgebers beim Finanzamt sein? Spannend, weil das Datum nicht im selben Satz steht. Das Finanzamt schreibt oben: „Bis zum 15. Juni 2026 um folgende Unterlagen." Und erst darunter in der Liste kommt die Bescheinigung. Die Demo markiert beides, den Einleitungssatz mit der Frist und den Listenpunkt. Und Mietrecht: Wie hoch ist die Mietminderung wegen des Schimmels? Zwanzig Prozent der Bruttomiete, zweihundertachtunddreißig Euro im Monat, belegt mit der Mängelanzeige an die Vermieterin. Dazu ein zweiter Beleg: die Antwort der Hausverwaltung. Das Modell schreibt, sie weise die Minderung nicht an. Im Beleg steht: „Eine Mietminderung erkennen wir nicht an." Genau dafür ist die Fundstelle da. Der Wortlaut zählt, nicht die Zusammenfassung. Jetzt die Frage vom Anfang: Hat die Mandantin eine Rechtsschutzversicherung? Und die Antwort lautet: In den Akten nicht gefunden. Das ist kein Fehler. Das ist die wichtigste Antwort in dieser Demo. In der Akte steht nichts zur Rechtsschutzversicherung. Also gibt es keine Antwort. Die Demo rät nicht. Und sie sagt dazu, was sie durchsucht hat, welches Mandat, welche Rolle. Eine KI, die hier höflich etwas erfindet, ist in einer Kanzlei gefährlicher als gar keine. Ein ehrliches Nein erspart dir den Rückruf bei der Mandantin nicht, aber es verhindert, dass du dich auf etwas verlässt, das nie in der Akte stand. Noch ein Nein aus einem anderen Grund. Ich wechsle die Rolle auf den Steuerberater Yilmaz. Er sieht nur das Steuermandat. Dieselbe Frage zur Kündigung wie vorhin: nicht gefunden. Nicht, weil die Akte schweigt, sondern weil diese Rolle das Arbeitsrechtsmandat gar nicht sehen darf. Ehrlich gesagt, das ist hier ein sichtbares Konzept, keine echte Benutzerverwaltung. Aber die Einschränkung sitzt auf dem Server, nicht nur in der Oberfläche. Suche, Antwort und Dokumentansicht sehen nur, was die Rolle sehen darf. Wie kommt dieses Nein zustande? In zwei Stufen. Zuerst sucht die Demo in der Akte. Ganz klassisch, ohne KI. Sie zerlegt jedes Dokument in Abschnitte und prüft, ob die Kernbegriffe der Frage dort vorkommen. Bei der Rechtsschutzversicherung reicht das nicht. Dann wird das Sprachmodell gar nicht erst gefragt. Deshalb kam das Nein auch sofort. Erst wenn die Suche passende Abschnitte findet, bekommt das Modell genau diese Auszüge. Numeriert mit einer festen Regel. Jede Aussage braucht eine Nummer in eckigen Klammern. Steht die Antwort nicht in den Auszügen, sagt es nur: „In den Akten nicht gefunden." Und dann der wichtigste Schritt: Die Demo prüft die Antwort des Modells. Steht keine gültige Nummer darin, wird die Antwort verworfen. Lieber kein Ergebnis als ein unbelegtes. Und eine Überraschung aus meinem Test: Bevor Ollama installiert war, meldete der Test der fünf Beispielfragen: fünf von fünf bestanden. Nur hatte gar kein Sprachmodell geantwortet. Die Demo war auf wörtliche Auszüge ausgewichen und das stand nur klein in der letzten Zeile. Die Antworten stimmten, aber nicht aus dem Grund, den ich prüfen wollte. Deshalb steht oben in der Leiste immer, wo die Antwort entsteht. Die zweite Frage vom Anfang: Wie lange dauert das hier? Dieser Laptop ist ein ThinkPad von 2016 ohne Grafikkarte. Das Modell hat vier Milliarden Parameter und rechnet nur auf dem Prozessor. Eine Antwort braucht hier zwölf bis 35 Sekunden. Die Zeit steht ehrlich an jeder Antwort. Hier gut zwölf Sekunden. Und im Task-Manager siehst du, wie der Prozessor dabei hochfährt. Für die Vorführung habe ich vorgespult. Im Alltag heißt das, eine Tasse Kaffee pro Frage. Dafür werden die Akten auf diesem Rechner verarbeitet. Wer schneller sein will, hat zwei Wege: Ein Kanzleirechner mit Grafikkarte oder eine deutsche Modell API, etwa IONOS in Berlin oder STACKIT. Beide sind in der Demo vorbereitet, aber noch nicht getestet und das steht auch so auf der Folie. Wechseln heißt, eine Zeile in der Konfiguration. Die Oberfläche zeigt dann oben den neuen Betriebsweg. Was ein Betriebsweg berufsrechtlich braucht, Vertrag in Textform nach Paragraf dreiundvierzig e BRAO oder zweiundsechzig a StBerG, Auftragsverarbeitung, Protokolle ist im Einzelfall zu prüfen. Die Demo nimmt dir diese Prüfung nicht ab. Jetzt eine Frage mit anderen Worten. Nicht Mietminderung, sondern: Um wie viel darf Frau Kretschmer die Miete kürzen? Das Modell findet die zwanzig Prozent mit Beleg aus der Mängelanzeige. Ohne Modell hatte die Demo bei dieser Frage nur passende Sätze gezeigt, die zwanzig Prozent fehlten. Aber schau genau hin. Das Modell schreibt: "Frau Kretschmer darf die Miete kürzen." Im Beleg steht etwas anderes. "Wir halten eine Minderung von zwanzig Prozent für angemessen." Das ist eine Einschätzung der Kanzlei, kein Recht, das feststeht. Die KI macht aus einer Einschätzung eine Tatsache. Darum gilt: Die Antwort ist ein Wegweiser, der Beleg ist die Aussage. Genau diese Antworten waren übrigens der Anlass, der Demo nach der Aufnahme eine zusätzliche Regel mitzugeben. Das Modell soll nicht stärker formulieren als der Beleg. Den Klick auf die Fundstelle ersetzt diese Regel nicht. Für solche Fragen gibt es eine zweite Suche über Bedeutung statt Wörter. Das kleine Modell dafür hast du in der Lektion zur Installation gesehen. Und zwei weitere Grenzen nenne ich offen: Die Rollen sind ein Konzept, keine Anmeldung. Und die Demo ist kein Nachweis, dass ein Betriebsweg berufsrechtlich trägt. Sie zeigt, wie es aussehen kann, wenn eine KI belegen muss, was sie sagt. Was nimmst du mit? Vier Prüffragen, mit denen du jede Kanzlei KI testest, egal von welchem Anbieter. Erstens: Zeigt sie zu jeder Aussage die Fundstelle und öffnet ein Klick das Dokument an genau dieser Stelle? Zweitens: Sagt sie "nicht gefunden", wenn du etwas fragst, das sicher nicht in der Akte steht? Stell genau so eine Frage, mit Absicht. Drittens: Siehst du, wo die Antwort entsteht, auf deinem Rechner, in Deutschland oder irgendwo anders? Viertens: Sieht jede Rolle nur die Mandate, für die sie freigegeben ist, auch in der Suche, nicht nur in der Anzeige? Die vier Fragen und die Belegregel als Vorlage stehen in der Beschreibung. Meine Einschätzung: Für Kanzleien entscheidet nicht die klügste KI. Es entscheidet die Fundstelle, die jeder in zwei Sekunden prüfen kann und das ehrliche Nein, wenn nichts in der Akte steht. Beides geht schon heute auf einem alten Laptop, ohne dass die Akten in eine US-Cloud wandern. Schnell ist es dort nicht, aber es ist nachprüfbar. Und jetzt du. Welche Frage würdest du deiner Akte als Erstes stellen? Schreib sie in die Kommentare. Die spannendsten probiere ich an den Testakten aus.