Schlagwort: LLaMA

Preis der Freiheit


OllamaNachdem ich jetzt eine Weile mit Ollama und einigen lokalen KIs bzw. LLM-Modellen experimentiert habe, ziehe ich ein gemischtes Fazit. Ich habe mittlerweile mit Ollama Phi, Gemma, llama3.3, deepseek-r1 und mistral installiert und ausprobiert.

Oüen WebUIEin Kommentar von Gerhard Stein zu dem letzten Post auf Linkedin  (vielen Dank ;-)) hat mich dazu gebracht, neben Ollama auch Open WebUI zu installieren. Zuerst in einem Docker-Container, aber damit war ich nicht zufrieden. Mit einer venv unter Python habe ich aber eine brauchbare Umgebung für das System eingerichtet. Das kann man für einen Zugriff auf die Modells, die mit Ollama installiert sind, über einen lokalen Webserver und dann aus einem Browser nutzen.

Page AssistNoch bequemer für den Zugriff auf Ollama und die verschiedenen Modelle finde ich die Browser-Extension „Page Assist“, die Ollama direkt aus einem Browser wie Chrome oder Firefox verwenden kann. Das ist schlank, schnell und ohne viel Overhead. Man braucht dazu dann nicht einmal Python/pip oder gar Docker oder so etwas.

Ich habe jetzt sehr viel mit lokalen LLM gespielt sowie installiert und konfiguriert und im Grunde sind diese lokalen Modelle genial.  Aber mir wurde schnell deutlich, dass mein Rechner zu schwach auf der Brust ist. „Preis der Freiheit“ weiterlesen

Ollama – lokal geht vor

Ein Post auf LinkedIn hat mich getriggert, Ollama auszuprobieren. Dabei geht es darum, frei verfügbare LLMs lokal zu nutzen. Wie das geht, ist schön in dem Tutorial beschrieben. Vorteile der lokalen Nutzung von KI sind bekannt. Von Sicherheit über Datenschutz über unbegrenzte Token bis hin Ausfallsicherheit bei Internet- oder Zugriffsproblemen. Da man wie gesagt die bekannten Modelle lokal installieren und nutzen kann, hat man im Grunde die gleichen Features, wie eine Onlinenutzung von ChatGPT (llama), Mistral oder DeepSeek bieten. Nachteile lokaler Nutzung sind aber auch bekannt. Mehr Aufwand an Konfiguration und die Hardware muss halbwegs geeignet sein. Ich probiere Ollama gerade mal auf meinem Mint Linux aus. 2bc

LiL-Update

Es gibt mal wieder ein Update von einem meiner Kurse bei LinkedIn Learning (LiL). Der Kurs KI-unterstütztes Programmieren mit OpenAI und ChatGPT hat eine Auffrischung erhalten. Dabei geht es sowohl um Nutzung von ChatGPT ohne Anmeldung bzw. Account als auch die Verwendung einer rein lokalen KI wie Llama. Letzteres war dabei sogar für mich Anlass für das Update. Denn mir ist bei gleich mehreren Kunden in Schulungen gesagt worden, dass dort die Verwendung von KIs im Internet wegen Unternehmesrichtlinien verboten wird. „LiL-Update“ weiterlesen

Lokale Intelligenz – LlaMa

Gestern bin ich durch einen Artikel in eine Linux-Zeitschrift auf llama von der Mozilla-Foundation aufmerksam geworden und habe es mir direkt mal von Github runtergeladen. „LLaMA“ steht für „Large Language Model Meta AI“ und ist ein KI-Modell, das ursprünglich von Meta (Facebook) entwickelt wurde und jetzt als Opensource bereitsteht. Es handelt sich um ein großes Sprachmodell, das ähnlich wie GPT-Modelle funktioniert und darauf trainiert ist, menschenähnliche Texte zu generieren. LLaMA ist in verschiedenen Größen erhältlich und die Variante von Mozilla funktioniert rein lokal. Also offline. Die ersten Tests fand ich ganz ansprechend, aber so richtig warm werde ich mit den Einschränkungen lokaler Systeme nicht. Im Grunde sehe ich nur zwei Vorteile:

  1. Man gibt keine Daten raus, was teils wirklich wichtig sein kann.
  2. Das Zeug funktioniert ohne Internet-Verbindung. Wenn die nicht da ist oder man Daten sparen will, kann das interessant sein.

Ich werde auf jeden Fall damit ein wenig experimentieren und auch mal andere Sprachmodelle des Systems ausprobieren.