Greetings, Professor Falken

Ein Tag Arbeit! Nur um Grüße von Joshua zu bekommen. Und das selbst mit Hilfe von ChatGPT und Gemini, die mich in voller Überzeugung ihrer korrekten Antworten von Fehler zu Fehler permanent im Kreis geführt haben. Aber was tut man nicht alles, um die War games zu stoppen ;-).

What? Worum geht es? Agenten! Genau genommen KI-Agenten (bzw. AI-Agents). Ein Zeitungsbeitrag hat mir einen Floh ins Ohr gesetzt, der mich eben diesen Tag Arbeit gekostet hat. Aber ich habe wieder viel gelernt.

Konkret habe ich meine Experimente mit Open Claw bzw. OpenClaw und lokalen KI-Modellen wieder aufgenommen. Den KI-Agenten hatte ich mir von ein paar Monaten schon zu Gemüte geführt, grundsätzlich zum Laufen gebracht und dann wieder beiseite gelegt. Auch lokale LLM hatte ich mit Ollama ausprobiert, aber meine Bemühungen aufgrund meiner Hardwarebeschränkungen nicht weiter ausgebaut. Ich bin halt Mathematiker und denen sagt man nach, dass sie nur daran interessiert sind, ob und wie etwas grundsätzlich geht („Es gibt eine Lösung!“), nicht wie man es profan nutzen kann.

Aber der Beitrag hat mich getriggert, ob ich nicht Open Claw echte Agentenarbeiten übertragen kann. Nur never-ever in einem Live- bzw. Produktionssystem. Der Agent musste in jedem Fall in einen Käfig/Sandbox/isolierten Rechner.

„Greetings, Professor Falken“ weiterlesen

Preis der Freiheit


OllamaNachdem ich jetzt eine Weile mit Ollama und einigen lokalen KIs bzw. LLM-Modellen experimentiert habe, ziehe ich ein gemischtes Fazit. Ich habe mittlerweile mit Ollama Phi, Gemma, llama3.3, deepseek-r1 und mistral installiert und ausprobiert.

Oüen WebUIEin Kommentar von Gerhard Stein zu dem letzten Post auf Linkedin  (vielen Dank ;-)) hat mich dazu gebracht, neben Ollama auch Open WebUI zu installieren. Zuerst in einem Docker-Container, aber damit war ich nicht zufrieden. Mit einer venv unter Python habe ich aber eine brauchbare Umgebung für das System eingerichtet. Das kann man für einen Zugriff auf die Modells, die mit Ollama installiert sind, über einen lokalen Webserver und dann aus einem Browser nutzen.

Page AssistNoch bequemer für den Zugriff auf Ollama und die verschiedenen Modelle finde ich die Browser-Extension „Page Assist“, die Ollama direkt aus einem Browser wie Chrome oder Firefox verwenden kann. Das ist schlank, schnell und ohne viel Overhead. Man braucht dazu dann nicht einmal Python/pip oder gar Docker oder so etwas.

Ich habe jetzt sehr viel mit lokalen LLM gespielt sowie installiert und konfiguriert und im Grunde sind diese lokalen Modelle genial.  Aber mir wurde schnell deutlich, dass mein Rechner zu schwach auf der Brust ist. „Preis der Freiheit“ weiterlesen

Ollama – lokal geht vor

Ein Post auf LinkedIn hat mich getriggert, Ollama auszuprobieren. Dabei geht es darum, frei verfügbare LLMs lokal zu nutzen. Wie das geht, ist schön in dem Tutorial beschrieben. Vorteile der lokalen Nutzung von KI sind bekannt. Von Sicherheit über Datenschutz über unbegrenzte Token bis hin Ausfallsicherheit bei Internet- oder Zugriffsproblemen. Da man wie gesagt die bekannten Modelle lokal installieren und nutzen kann, hat man im Grunde die gleichen Features, wie eine Onlinenutzung von ChatGPT (llama), Mistral oder DeepSeek bieten. Nachteile lokaler Nutzung sind aber auch bekannt. Mehr Aufwand an Konfiguration und die Hardware muss halbwegs geeignet sein. Ich probiere Ollama gerade mal auf meinem Mint Linux aus. 2bc