5 Möglichkeiten, wie ich lokale KI nutze, um das Beste aus meiner alten PC-Hardware herauszuholen

Wenn Sie einen alten Computer (auch einen Laptop) herumstehen haben, der nichts tut, könnten Sie ihn stattdessen für lokale KI nutzen. Ich habe zwei alte PCs, die ständig verschiedene KI-Aufgaben ausführen: einen alten HP-Laptop und einen ausgeschiedenen Gaming-PC mit einem Ryzen 1600X, 24 GB VRAM und einer RTX 3060.

Die selektive Nutzung lokaler KI ermöglicht es mir, zu steuern, welche Informationen in die Cloud gesendet werden, maßgeschneiderte KI für meine spezifischen Bedürfnisse zu erstellen und zu vermeiden, dass mein wöchentliches Claude-Kontingent aufgebraucht wird.

Das zentrale Element des Setups ist Ollama, das alle KI-Modelle in meinem lokalen Netzwerk zugänglich macht. Von dort aus können andere Geräte und Dienste auf das Laptop oder den Gaming-PC zugreifen und sie als kleine KI-Server nutzen.

Die Arten von Modellen, die man auf dieser Art von wiederverwendeter Hardware betreiben kann, sind nicht so intelligent oder leistungsfähig wie die großen Frontier-Modelle, aber ein wenig sorgfältige Planung kann sie im Alltag äußerst nützlich machen.

Ich habe einen KI-Discord-Bot gemacht

Es kann mit nur 6 GB RAM laufen

Mein erstes großes lokales KI-Projekt war ein lokaler Discord-Bot. Er kann Musik abspielen, Fragen im Sprachchat beantworten, mit dir über eine beliebige Anzahl von Themen chatten, Dinge nachschlagen, als Wiki fungieren und mehr. Er ist deutlich intelligenter als jeder handelsübliche Sprachassistent, hatte aber ein Problem: er war sehr anspruchsvoll. Die Vollversion des Discord-Bots benötigte zwei Blackwell-GPUs, um ihr volles Potenzial zu erreichen.

Seitdem habe ich eine schlankere Version namens Chad erstellt, die auf einem bescheidenen Gaming-PC problemlos läuft. Sie besteht aus drei grundlegenden Teilen:

Whisper — Verarbeitet Sprache zu Text.
Llama3.2b — Analysiert beiläufig gesprochene Befehle und ordnet sie einer vordefinierten Liste von Befehlen zu.
Komoro — Antwortet laut auf den Befehl.

Zwischen diesen drei Komponenten fühlt sich Chad fast so an, als hätte man ständig eine Alexa in Discord sitzen ohne irgendwelche Datenschutzprobleme. Zum Beispiel könnte ich sagen: „Spiel etwas Led Zeppelin ab“ und es würde wissen, dass das „Led Zeppelin spielen“ bedeutet, oder ich könnte sagen: „Ich stehe auf diesen Song gerade nicht“ und es würde wissen, dass ich „Überspringen“ meine.

Es kann:

Musik abspielen
Eine Musikwarteschlange verwalten
Würfle zufällige Zahlen oder wähle eine zufällige Person
Sprachclips auf Befehl aufnehmen
Umfragen durchführen

Whisper ist nicht perfekt. Der größere AI-Discord-Bot, den ich betreibe, verwendet stattdessen Parakeet, das eine mäßige Genauigkeitsverbesserung bietet. Llama3.2b liegt auch manchmal daneben, aber das ist ein kleiner Preis für einen vollständig sprachgesteuerten Discord-Bot. Er verwendet außerdem ein größeres Qwen-Modell für ein intelligenteres Gesprächsverhalten.

Automatische Foto-Tags und Suche

Immich ist ein großartiges persönliches Foto-Repository

Immich ist ein kostenloser und Open-Source-Ersatz für Google Fotos. Wenn man die richtige Hardware hat, unterstützt es Gesichtserkennung und KI-gestützte Suche, die es mir ermöglicht, nach bestimmten Personen oder Orten mit natürlicher Sprache zu suchen.

Eine kompatible GPU ist entscheidend für die KI-Funktionen. Das Indizieren einer großen Fotosammlung ist schon anspruchsvoll genug, und der Versuch, eine lokale KI im reinen CPU-Modus darauf laufen zu lassen, wird ewig dauern.

Also, anstatt Immich auf einem leistungsstarken Gerät laufen zu lassen, das ich nicht 24/7 eingeschaltet lassen möchte, lasse ich den KI-Container einfach auf dem alten Gaming-PC laufen. Solange er aktiv ist, kann Immich die RTX 3060 für KI-Aufgaben nutzen; wenn er offline geht, funktioniert Immich immer noch als normale Fotobibliothek und kann auf die Arbeit der RTX 3060, die bereits erledigt wurde, zurückgreifen.

Dennoch, wenn Sie 30.000 Fotos importieren (ungefähr so viele habe ich auf meinem Handy), sollten Sie erwarten, dass es eine Weile dauert, selbst auf einem leistungsstarken PC.

Scannen von Dokumenten sortieren und benennen

Paperless-ngx lässt den Berg an Papierkram verschwinden

Ich bewahre die meisten meiner wichtigen Unterlagen auf, auch wenn sie nicht „notwendig“ sind. Leider bedeutet das auch, dass ich einen riesigen Rückstand habe, der sich über Jahre erstreckt. Im letzten Jahr oder so habe ich nach und nach angefangen, sie auf einem Paperless-ngx-Server zu speichern, der als digitales Repository dient und es mir ermöglicht, Dokumente anhand ihres Inhalts zu durchsuchen.

In letzter Zeit hat Paperless-ngx auch lokale KI-Funktionen integriert. Jetzt ist es in der Lage, KI zu verwenden, um die von Ihnen hochgeladenen Dokumente zu betiteln, zu taggen und zu datieren. Da das Ganze lokal läuft, muss ich mir keine Sorgen machen, dass ein Steuerdokument oder mein Passantrag ins Netz gelangt. Alles ist sicher auf meinem eigenen Server gespeichert.

Ein lokaler Sprachassistent für mein Smart Home

Ein KI-Discord-Bot und ein Sprachassistent sind sich sehr ähnlich

Wenn Sie irgendeine Art von KI-Assistenten betreiben, ist es normalerweise ziemlich einfach, ihn in einen Ersatz für Alexa zu verwandeln.

In meinem Fall habe ich einfach meinen leichten Discord-Bot, Chad, so angepasst, dass er auch als Home Assistant dient. Alle KI-Komponenten blieben genau gleich. Er verwendet Whisper für Sprache-zu-Text, Llama, um natürliche Sprache in Befehle zu übersetzen, und dann Komoro, um mir laut zu antworten.

Ich musste nur den Bot aktualisieren, der mit Home Assistant interagieren muss, um verschiedene Teile meines Smart-Home-Setups zu steuern. Derzeit kann der Sprachassistent die Lichter steuern, Alarme und Timer für mich einstellen und Benachrichtigungen aus einigen Apps vorlesen. Er läuft auf einem alten Laptop, daher gibt es eine kleine Verzögerung, wenn er mir zurückspricht. Wenn man ihn auf einer beliebigen RTX-GPU laufen lassen könnte, wäre es sehr nah an Echtzeit.

Das nächste Upgrade wird es mit Mealie integrieren, damit es Fragen zu Rezepten beantworten kann, während ich koche, und es ermöglichen, Satelliten zu nutzen, sodass ich es in jedem Raum meines Hauses verwenden kann.

Ein Screenshot-Helfer für jedes Gerät im Netzwerk

KI-Kennzeichnung ohne den Aufwand

Ich arbeite häufig zwischen meinem Desktop, meinem Laptop und meinem Telefon. Auf meinem Desktop betreibe ich eine kleine lokale KI, die automatisch Screenshots für mich kennzeichnet, während ich sie mache. Mein Telefon und mein Laptop haben diese Fähigkeit jedoch nicht.

Um die Arbeit an meinem Telefon oder Laptop weniger mühsam zu machen, habe ich ein kleines KI-Modell eingerichtet, das automatisch Screenshots analysiert und umbenennt, während ich sie mache. So muss ich später nicht durch 1.000 Screenshots scrollen - ich kann einfach nach der App und dem, was ich gerade gemacht habe, suchen, um es zu finden.

Es macht gelegentlich Fehler, aber es ist zu einem unschätzbaren Teil meines Workflows geworden, den ich jetzt auf jedem Gerät in meinem Netzwerk verwenden kann.

Ein alter PC ist großartig für KI

Ein alter PC - sogar ein Laptop - kann für KI recht nützlich sein. Der Trick besteht darin, die KI-Aufgaben fokussiert zu halten. Verwenden Sie kein Modell mit 27 Milliarden Parametern auf einem Laptop mit 16 GB RAM und keiner dedizierten GPU, das lädt nur Probleme ein.

Einige wenige 3-5B-Parameter-Modelle, die dafür optimiert sind, auf einer CPU zu laufen, sind jedoch vollkommen vernünftig. Ich habe einige, die nahezu in Echtzeit laufen, und einige andere, größere Modelle, die im Grunde dafür ausgelegt sind, über Nacht laufen gelassen zu werden.

Wenn Sie einen alten Desktop mit einer dedizierten GPU haben, haben Sie noch mehr Optionen. Sie können oft eine Handvoll kleiner KI-Modelle schneller als in Echtzeit oder ein mittleres Modell in Echtzeit ausführen. Wenn Sie bereit sind, CPU-Auslagerung und langsamere Verarbeitungszeiten zu akzeptieren, können Sie sogar Modelle wie Qwen 3.8-27B ausführen, das ein fantastisches Modell für Codierung und logisches Denken für seine Größe ist.