Das längste Thema

    RIP Sir Patrick Stewart

    Externer Inhalt www.youtube.com
    Inhalte von externen Seiten werden ohne Ihre Zustimmung nicht automatisch geladen und angezeigt.
    Durch die Aktivierung der externen Inhalte erklären Sie sich damit einverstanden, dass personenbezogene Daten an Drittplattformen übermittelt werden. Mehr Informationen dazu haben wir in unserer Datenschutzerklärung zur Verfügung gestellt.

    There are only 10 types of people in the world: those who understand binary, and those who don't.

    Vielleicht nicht die schnellste Variante einer KI auf einem RS2000 G12 ohne GPU.
    Nur mit lokaler IP über VPN/VLAN und immer nur 1 Job nach dem anderen - aber für meine Zwecke (Dokumentenbefragung) völlig ausreichend:

    IMG_0545.jpeg

    Ein llama.cpp mit Qwen3 8B Q4_K_M auf 6 von 8 Cores. Immerhin empfangend 54,12 t/s, sendend 14,38 t/s.
    Macht mein passiver Node im Cluster jetzt in seiner Freizeit. Bei Failover ist halt KI aus.
    Ist in 24 h für gut 100.000 Token/Core gut.

    Zitat von darkstar

    Vielleicht nicht die schnellste Variante einer KI auf einem RS2000 G12 ohne GPU.

    Bei mir läuft ein kleines Speech to Text Modell für https://diction.one/ auf meinem Netcup Server (siehe https://diction.one/self-hosted und https://diction.one/features/self-hosting-setup ). Authentifiziert und abgesichert.

    Leider nur als App (bei self hosted kostenlos) für iOS / iPadOS verfügbar, nicht Android.

    Mit solchen AI unterstützten STT Apps/Modellen kann man deutlich bessere Diktate am mobilen Endgerät realisieren.

    Auf Mac/PC kann ich nur https://handy.computer/ empfehlen. Open Source und sehr schnell / gut. Es gibt auch mehrere Apps auf allen Plattformen mit Cloud Anbindung, die kostet aber natürlich dann monatlich, hat dafür aber keine lokalen Anforderungen.

    RS 2000 G12 Pro BW25 (8C EPYC 9645, 16GB, 1TB) | RS 500 G12 BW25 (2C EPYC 9645, 4GB, 128GB) | RS Cyber Quack (1C,2GB,40GB)

    Zitat von friend_of_root

    Bei local ist irgendwie immer nur eine Anfrage nach der anderen oder?

    Nein, grundsätzlich erstmal nicht - das muss man so einstellen. Modellwahl und Einstellung ist eine ziemliche Fummelei mit einer Menge Tests. Angefangen hat das mit viel Timeout (Merke: Nie über IOS-App testen sondern immer mit etwas, was eine persistente Verbindung erlaubt) und dann irgendwann 7 t/s in und 7 t/s out sowie ein ausgelasteter Speicher weil da sich auch 8 GB Cache ansammeln können. Lernt man auch erst wenn man das macht. Reasoning ist übrigens in einer solchen Konstellation nicht wirklich machbar, vermutlich ist das Modell da auch für wirklich sinnvolle Antworten zu klein.
    Hat aber den Hintergrund, dass man bei begrenzter KI-Rechenleistung ja irgendwann mit dem Job fertigwerden will.
    Nur mal so aus dem Bereich Dokumentenauswertung (mehrseitige Texte) - dafür habe ich verschiedene Verfahren mit verschiedenen Modellen geprüft, u.a. mit Vorschaltfilter (nur Abschnitte mit Zahlen statt ganzer Dokumente gehen in die KI), ziemlich viel Prompt-Engineering und dann der KI-Lauf. Ziel ist es bei mir, Dokumente (Ausschreibungstexte) auf bestimmte Informationen (geforderter Mindestumsatz, Versicherungen, Zertifizierungen, Termine, Bewertungsmatrix) zu befragen und strukturiert mit prüffähigem Zitat samt Quelle zu erfassen und zu dokumentieren. D.h. auch keine Halluzinationen zulässig..
    —
    Am besten schneidet das Verfahren v3 (so bei mir betitelt) ab:
    Ein Regex-Filter wählt die Kandidatensätze aus, und das Modell ordnet nur noch Kategorien zu.

    Option

    max 21 Treffer

    Zeit (min) pro Dokument

    Modell zitiert frei (v2), Q4_0

    15

    31 min

    v3 mit 8B Q4_K_M

    21

    8,9 min

    v3 mit 8B Q8_0

    21

    12,8 min

    v3 mit 8B Q4_0

    19-20

    rund 8 min

    v3 mit 4B Q4_K_M

    19

    6,3 min

    Thinking-Modus mit 1-2 h Laufzeit pro Dokument hat sich in dieser Form als unbrauchbar herausgestellt - bei mehr Hardware mag das anders aussehen. Da das Modell leicht streute habe ich auch die Variante probiert, mehrere Läufe durchzuführen und die Ergebnisse dann zusammenzufassen - das ergibt auch 20 bis 21 Treffer, allerdings in 20 bis 30 min.

    Ich mach das ganz klassisch nicht interaktiv sondern wie man das auf ES9000 (xSeries) und AS/400 (iSeries) gelernt hat - im Batchverfahren, also der klassische Betrieb im Rechenzentrum. Meine Software hat daher eine per Cron gesteuerte Warteschlange, die im Batch-Modus die KI befragt.

    Mal ein wenig Config, wie sie jetzt läuft

    /etc/systemd/system/llama-qwen.service

    Dann gibt es noch eine /etc/systemd/system/llama-qwen.service.d/override.conf

    Das OLLAMA_NUM_PARALLEL=1 sagt, dass nur ein Job gleichzeitig läuft.
    Das entspricht 75% eines RS2000 G12 für das LLM - den Rest braucht es für ein laufendes Debian trixie, mit pacemaker/corosync und drbd, da sind normal 2,9 GB von 16GB belegt.

    Ergänzung: Das sollte man fairerweise bei Netcup nur auf einem Rootserver mit dediziert zugewiesenen CPU-Kernen und Speicher machen - NICHT bei einem VPS.
    Meine 6 dafür reservierten CPU-Kerne gehen mit Anfrage auf 100% und bleiben das dann auch für die Zeit der Abfrage (im Minutenbereich) - und dauch der Speicher bewegt sich im Bereich ziemlich voll.
    Auf einem VPS kann das gnadenlos zur Beeinträchtigung anderer Nutzer führen. Übrigens nicht so sehr bei der IO-Leistung weil im Speicher. Wobei 2,5 Gbit beim Download des Modells (268 MB/s…) und NVMe beim Laden schon eine grandiose Sache sind - aber das passiert nicht häufig, da das Modell einmal downgeloaded wird und beim Systemstart nur einmal geladen wird und dann im Speicher verbleibt.

    Wer etwas mehr mit lokalen LLMs machen will -> Mac Mini aufgrund shared RAM = VRAM lokal und per Tailscale von außen.

    Viele Gamingrechner haben ja auch eine Grafikkarte mit 8-16GB VRAM. Hierfür gibt es auch diverse Optionen. Ein sehr einfacher Einstieg z.B. über https://www.jan.ai/ als Software auf MacOS oder Windows.

    RS 2000 G12 Pro BW25 (8C EPYC 9645, 16GB, 1TB) | RS 500 G12 BW25 (2C EPYC 9645, 4GB, 128GB) | RS Cyber Quack (1C,2GB,40GB)

    Zitat von darkstar

    Ergänzung: Das sollte man fairerweise bei Netcup nur auf einem Rootserver mit dediziert zugewiesenen CPU-Kernen und Speicher machen - NICHT bei einem VPS.
    Meine 6 dafür reservierten CPU-Kerne gehen mit Anfrage auf 100% und bleiben das dann auch für die Zeit der Abfrage (im Minutenbereich) - und dauch der Speicher bewegt sich im Bereich ziemlich voll.
    Auf einem VPS kann das gnadenlos zur Beeinträchtigung anderer Nutzer führen. Übrigens nicht so sehr bei der IO-Leistung weil im Speicher. Wobei 2,5 Gbit beim Download des Modells (268 MB/s…) und NVMe beim Laden schon eine grandiose Sache sind - aber das passiert nicht häufig, da das Modell einmal downgeloaded wird und beim Systemstart nur einmal geladen wird und dann im Speicher verbleibt.

    Ich hatte llama auf einem Root RS8000 und es war so langsam, ich hab gleich wieder aufgehört damit.
    Lokal war es viel schneller und komfortabler. Das man es quasi immer laufen lassen könnte ist nicht viel wert.
    Man sollte schon GPU haben.

    Zitat von friend_of_root

    Ich hatte llama auf einem Root RS8000 und es war so langsam, ich hab gleich wieder aufgehört damit.
    Lokal war es viel schneller und komfortabler. Das man es quasi immer laufen lassen könnte ist nicht viel wert.
    Man sollte schon GPU haben.

    Da ich exakt einen Abend am Computer gespielt habe (und das ist über 40 Jahre her...) und bereits am Folgetag angefangen habe, selbst das Spiel zu verändern war privat der Bedarf für GPU bisher nicht so dolle. Privat bin ich gänzlich ohne und Server mit GPU habe ich bisher nie gehabt.
    Mein SIEMENS Plant Simulation und meine Inventor-Lizenzen nehmen aber sowas gerne, weshalb ich im Betrieb auch nur Workstation-Laptops habe.

    Ich brauche - außer dem kleinen Test oben - eigentlich keinen Chat auf dem System. Interaktivität im Sinne Chat ist da überhaupt nicht erforderlich.
    Wichtig ist: Ich muss NICHT interagieren sondern das läuft im Hintergrund. Die Daten verlassen nicht die eigene Serverlandschaft, es kostet kein extra Brot sondern nutzt bereits vorhandene Ressourcen aus, die auch Zeit haben. Das ist auch nicht das KI-Modell, was ich für Software-Entwicklung nehme.
    Wie gesagt - es läuft ohne extra-Kosten auf meinem passiven Node im Cluster mit und produziert pro 24 h ca. 100.000 Token pro Core. Im Monat/30 Tage auf einem RS2000 G12 und 6 Cores ca. 18-20 Mio Token. Das ist bei RS2000 im Bereich um 2 Euro/USD pro Mio Token (und damit nicht unwirtschaftlich) und ohne extrem teure Hardware, d.h. ohne Kanonen auf Spatzen.
    Wenn ich tatsächlich Bedarf an mehr Leistung (sowohl inhaltlich oder Performance) haben sollte, kann das Ganze sicherlich auch umziehen. Für den Anfang aber nicht.
    Das ist mit der Auswahl des bzgl. Genauigkeit _hinreichenden_ Modells mit der passenden Quantifizierung und der passenden Parameter genau die Methodik, die gigantische Up-Front-Kosten verhindert. Da liegt der Wert.

    Ich kann theoretisch auch mit dieser Methodik (d.h. Abschnitte mit Zahlen/Daten aus Texten extrahieren und einzeln mit Prompt abschicken) die Anfragen auf mehrere llama.cpp verteilen... Was meinst, Du wieviel ungenutzte Computeressourcen es gibt - ohne dass es überhaupt gigantische zusätzliche Ressourcen bräuchte.

    Bei dieser Installation geht es bei mir um Ausschreibungsbewertungen, d.h. ich bekomme täglich einige Ausschreibungen (i.d.R. 00:30 per Cronjob) und hab als Vorfilter bereits ein Scoring und kann dann entscheiden, was ich davon ich zumindest als Anfrage betrachte, d.h. wenigstens die Ausschreibungsunterlagen abfordere oder direkt ins Angebot gehe.
    Und wenn ich diese Unterlagen habe, dann brauche ich eine Übersicht nach Terminen im Vergabeverfahren / Umsetzung, Mindest-Mitarbeiter, Mindest-Umsatz, Mindest-Haftpflicht, Bewertungsmatrix, sinnvolle und blödsinnige Qualifikationen (manchmal will man halt in der Ausschreibung zwingend Bauingenieure um ein Schiff zu bauen etc.). Genau sowas soll das Ding als Entscheidungsgrundlage raussuchen, zitierfähig (d.h. Dokument, Seite, Abschnitt).