Mittlerweile treffen wir in allen möglichen Zusammenhängen auf KIs und deren Einsatz für die verschiedenste Zwecke.
Als Basis wird ein s.g. Large Language Model (LLM) benötigt, die es auch als OpenSoure gibt und z.B. bei Hugging Face (https://huggingface.co/) kostenlos heruntergeladen werden können.
Doch wie nutzt man diese nun?
Mit der Freeware LM Studio (https://lmstudio.ai/) steht eine kostenfreie Software zur Verfügung, um eine KI bzw. ein LLM lokal zu betreiben.
Dazu die Software herunterladen, installieren und dann im Programm die gewünschte LLM von Hugging Face auswählen… fertig.
Es können auch mehrere LLMs heruntergeladen und gezielt zur Nutzung ausgewählt werden. So können die Unterschiede getestet und spezialisierte LLMs ausprobiert werden.
Der lokale Rechner ist da zwar oftmals nicht der Flotteste, aber um sich dem Thema mal anzunehmen, ohne seine Daten gleich überall zu verbreiten, steht so eine gute Möglichkeit zur Verfügung, Erfahrungen im Bereich der KI-Nutzung zu sammeln.