Ebene 4 von 4: KI
KI-Agenten & lokale KI
Für Zusammenfassen, Sortieren und Fragen zu eigenen Unterlagen reicht oft ein Modell auf eigener Hardware, vom Mini-PC bis zum Server. Die Daten bleiben im Betrieb.
- Daten bleiben im Haus
- Speicher begrenzt das Modell
Worauf es ankommt
Nach Aufgabe entscheiden
Zusammenfassen und Suchen in eigenen Dokumenten schaffen oft kleine lokale Modelle. Bei schwierigen Schlussfolgerungen sind grosse Cloud-Modelle teils besser. Ein Test mit Ihren Beispielen zeigt, was reicht.
Daten bleiben im Haus
Läuft das Modell auf Ihrer Hardware, verlassen Dokumente und Anfragen den Betrieb nicht. Das erleichtert den Datenschutz nach DSG. Eine Rechtsberatung ersetzt das nicht.
Antworten prüfen, bevor es losgeht
Echte Beispielfragen mit erwarteter Antwort prüfen jede Modellvariante. Der Assistent geht erst in Betrieb, wenn die Ergebnisse stimmen.
Für wen
Betriebe mit vertraulichen Unterlagen wie Verträgen oder Kundendaten, die KI nutzen möchten, ohne diese an einen Cloud-Anbieter zu senden.
Werkzeuge
- llama.cpp
- vLLM
- OpenClaw
- Open WebUI
- Docker Compose
Erfahrung aus diesem Bereich
| Pos. | Erfahrung | Gelernt | Ebene | Werkzeuge | Status |
|---|---|---|---|---|---|
| 01 | Lokale KI mit Modellen und Agenten | Sprachmodelle, Agenten wie OpenClaw, Spracheingabe und Recherche laufen als getrennte Bausteine auf eigener Hardware bis zum Mini-PC, nur lokal erreichbar. |
| llama.cpp, vLLM, OpenClaw, Open WebUI, Docker Compose | In Betrieb2026 |
Häufige Fragen
Ist ein Modell auf eigenem Rechner so gut wie ChatGPT?
Je nach Aufgabe. Für Zusammenfassen und Fragen zu eigenen Dokumenten reicht es oft, bei schwierigen Aufgaben sind grosse Cloud-Modelle teils besser. Ein Test mit Ihren Beispielen klärt das.
Was braucht es an Hardware?
Das bestimmt das Modell. Kleinere laufen auf einem Mini-PC, grössere brauchen eine Grafikkarte mit viel Speicher. Ein Prototyp zeigt, was reicht.
Kontakt
Noch keine Website? Eine kurze E-Mail mit Ihrem Anliegen genügt.