Lange hat es gedauert, bis ich mich mit dem Thema KI anfreunden konnte. Es gibt natürlich viele Vorteile und unbestritten wird dadurch mein Zeitbudget bei der Arbeit durch unsere MS Copilot Installationen deutlich entlastet.
Ich sehe jedoch nicht ein, daß amerikanische Firmen in mein Heimnetzwerk einziehen sollen.
Die Entscheidung ist klar: gerechnet wird auf eigener Hardware, verwendet werden sollen nur Opne Source Modelle, die freien Lizenzen unterliegen.
Bisher ist aber die Installation im Heimnetzwerk mangels Zeit unterblieben, ich habe einfach keine passenden Pakete gefunden, welche sich einfach installieren ließen. Oder aber der Ressourcenhunger war zu groß, um diese auf permanent laufender Hardware im lokalen Netz zum Laufen zu bringen.
Andererseits langweilte sich mein Tuxedo Mag im Arbeitszimmer seit einiger Zeit fast zu Tode, der wird eigentlich nur am Wochenende ab und zu gestartet, um Grafiken zu rendern.
Warum also nicht diese Hardware verwenden, um damit auch KI Aufgaben zu übernehmen?
Die Entscheidung war schnell gefallen; mit Ollama und Open.WebUI stehen sehr gute Lösungen zur Verfügung. Zunächst hatte ich geplant, diese in VM laufen zu lassen, bin dann aber schnell wieder davon abgerückt, um auch die Rechenkapazität der Grafikkarte nutzen zu können.
Es gibt wahrscheinlich viele Anleitungen im Netz, wie die Kombi installiert werden kann. Eine wirklich sehr gute habe ich hier gefunden:
