PC für KI/AI lokal kann er das?

  • Hi,


    Ich hoffe,hier geht es nicht nur um Server Hardware.. Falls nicht gewünscht, einfach überlesen oder löschen (lassen)..


    Also, ich möchte gerne KI Zuhause nutzen, ohne übermäßig Strom zu verbrauchen und vor allem um die horrenden Abokosten diverser Anbieter besonders im Grafik/Videobereich zu sparen.


    Also für die Text und Chatgeschichte gibt's ja schon massig Sprachmodelle umsonst, einige laufen sogar ohne Grafikkarte, sind dann teilweise aber recht langsam. (Auf meinem Ryzen 5 3600 mit 32GB RAM und ohne GPU). Mich zieht es auch mehr und mehr in die Richtung , was man u.a. bei civitai.com bestaunen kann.


    Nun zur Frage:


    Ich bin eben über dieses wunderschöne Stück gestolpert, und Frage mich nun, ob der für meine Zwecke wohl ausreicht. Dass da z.B. nur eine abgespeckte Ausgabe der RTX 4060 drin ist, ist mir klar, die große braucht ja alleine schon 300 Watt.


    https://acemagic.eu/products/tank03-minipc?variant=49537900871992


    Der Hersteller ist mir zumindest nicht unbekannt, habe von denen einen Mini PC mit Intel N5105, seit 4 Jahren 24/7 in Betrieb.


    Gruß Kristian

    WH 8000 SE BF22, Nano G11s, Mikro G11s, VPS 500 G11s BW24, VPS 1000 G11 JA24, RS 1000 G11

  • Ich bin dem Thema aufgrund der GraKa-Preise bisher ausgewichen, deshalb meine Frage, kann man mit einer 8 GB GPU überhaupt noch "zeitgemäße" KI Modelle laufen lassen?

    RS 2000 G11 | VPS 1000 G11 | VPS 500 G8 Plus | RS X-Mas 2016 🎄 | VPS A Ostern 2017 | VPS [piko|nano|mikro] G11s | RS Cyber Quack 💗 | WH Expert Special 2018

  • Ich betreibe gpt4all auf einem MacBook Pro M1, 32 GB RAM.

    Rennt wie Sau. Evt. Ist ein MacMini für dich eine Alternative?

    Wäre es auf jeden Fall, aber nicht zum Neupreis... Gebrauchte sind aber eher selten zu finden (aus gutem Grund)


    Ich hatte vor ca. 12 Jahren meinen letzten iMac 27" , bin also nicht mehr ganz auf dem Laufenden..


    Was wäre denn zur Zeit einigermaßen aktuell? Ab M1 aufwärts? Aber wir sind glaube ich schon bei M4, oder?

    Ich wollte eigentlich vermeiden, 4-stellig auszugeben.. deswegen verzichte ich bei gleicher Leistung eher auf ein Alu Gehäuse und bin auch mit Kunststoff zufrieden (siehe oben)


    Allerdings war ich auch immer der Meinung, das 100 Euro Smartphone vom Chinesen reicht doch. Seit ich das Samsung Galaxy S24 Ultra habe, bin ich anderer Meinung 🥰😁

    WH 8000 SE BF22, Nano G11s, Mikro G11s, VPS 500 G11s BW24, VPS 1000 G11 JA24, RS 1000 G11

  • Der Kostentip für sowas ist, sich eine Server-Graka gebraucht bei den Chinesen zu kaufen, wenn die ihre KI-Farmen modernisieren. Habe selbst (für andere Zwecke) eine von Huawei erstanden. Allerdings haben die halt den Nachteil, dass sie headless sind und jenseits eines entsprechend belüfteteten Servers eine Bastelkühlung erfordern. Für KI-Anwendungen sind die natürlich gut und vergleichsweise für ein Butterbrot zu bekommen, weil der klassische Gamer damit nichts anfangen kann.