Gestern bin ich durch einen Artikel in eine Linux-Zeitschrift auf llama von der Mozilla-Foundation aufmerksam geworden und habe es mir direkt mal von Github runtergeladen. „LLaMA“ steht für „Large Language Model Meta AI“ und ist ein KI-Modell, das ursprünglich von Meta (Facebook) entwickelt wurde und jetzt als Opensource bereitsteht. Es handelt sich um ein großes Sprachmodell, das ähnlich wie GPT-Modelle funktioniert und darauf trainiert ist, menschenähnliche Texte zu generieren. LLaMA ist in verschiedenen Größen erhältlich und die Variante von Mozilla funktioniert rein lokal. Also offline. Die ersten Tests fand ich ganz ansprechend, aber so richtig warm werde ich mit den Einschränkungen lokaler Systeme nicht. Im Grunde sehe ich nur zwei Vorteile:
- Man gibt keine Daten raus, was teils wirklich wichtig sein kann.
- Das Zeug funktioniert ohne Internet-Verbindung. Wenn die nicht da ist oder man Daten sparen will, kann das interessant sein.
Ich werde auf jeden Fall damit ein wenig experimentieren und auch mal andere Sprachmodelle des Systems ausprobieren.