Schlagwort: Ollama

Ein Post auf LinkedIn hat mich getriggert, Ollama auszuprobieren. Dabei geht es darum, frei verfügbare LLMs lokal zu nutzen. Wie das geht, ist schön in dem Tutorial beschrieben. Vorteile der lokalen Nutzung von KI sind bekannt. Von Sicherheit über Datenschutz über unbegrenzte Token bis hin Ausfallsicherheit bei Internet- oder Zugriffsproblemen. Da man wie gesagt die bekannten Modelle lokal installieren und nutzen kann, hat man im Grunde die gleichen Features, wie eine Onlinenutzung von ChatGPT (llama), Mistral oder DeepSeek bieten. Nachteile lokaler Nutzung sind aber auch bekannt. Mehr Aufwand an Konfiguration und die Hardware muss halbwegs geeignet sein. Ich probiere Ollama gerade mal auf meinem Mint Linux aus. 2bc