Nachdem ich jetzt eine Weile mit Ollama und einigen lokalen KIs bzw. LLM-Modellen experimentiert habe, ziehe ich ein gemischtes Fazit. Ich habe mittlerweile mit Ollama Phi, Gemma, llama3.3, deepseek-r1 und mistral installiert und ausprobiert.
Ein Kommentar von Gerhard Stein zu dem letzten Post auf Linkedin (vielen Dank ;-)) hat mich dazu gebracht, neben Ollama auch Open WebUI zu installieren. Zuerst in einem Docker-Container, aber damit war ich nicht zufrieden. Mit einer venv unter Python habe ich aber eine brauchbare Umgebung für das System eingerichtet. Das kann man für einen Zugriff auf die Modells, die mit Ollama installiert sind, über einen lokalen Webserver und dann aus einem Browser nutzen.
Noch bequemer für den Zugriff auf Ollama und die verschiedenen Modelle finde ich die Browser-Extension „Page Assist“, die Ollama direkt aus einem Browser wie Chrome oder Firefox verwenden kann. Das ist schlank, schnell und ohne viel Overhead. Man braucht dazu dann nicht einmal Python/pip oder gar Docker oder so etwas.
Ich habe jetzt sehr viel mit lokalen LLM gespielt sowie installiert und konfiguriert und im Grunde sind diese lokalen Modelle genial. Aber mir wurde schnell deutlich, dass mein Rechner zu schwach auf der Brust ist. „Preis der Freiheit“ weiterlesen
Du muss angemeldet sein, um einen Kommentar zu veröffentlichen.