GPU-Server und LLM-Modelle wie Deepseek, Hunyuan3D-2 als Server-Lösung buchbar?

    Hallo Netcup-Community,

    ich überlege derzeit, ob ich meine Projekte, die GPU-Ressourcen und LLM-Modelle (wie z. B. Deepseek) benötigen, auf eine datenschutzkonforme deutsche Lösung umstellen kann. Da ich bereits sehr zufrieden mit euren Server-Angeboten bin, wollte ich fragen, ob es Pläne gibt, in Zukunft auch GPU-Server oder sogar vorkonfigurierte LLM-Modelle als Service anzubieten?

    Das wäre für mich und sicherlich auch für andere Nutzer interessant, die auf eine DSGVO-konforme Infrastruktur angewiesen sind. Gibt es hierzu bereits Überlegungen oder Alternativen innerhalb des Netcup-Portfolios?

    Vielen Dank im Voraus für eure Antworten!

    Viele Grüße

    Huskynarr

    Das wird hier nichts, denke ich. Probleme sind die Ressourcen... Guck mal beim roten H , was ein dedizierter Server mit EINer GPU kostet. Dazu kommen dann wenn du das LLM von Deepseek nimmst, 512 GB RAM - wer soll das bezahlen?

    WH 8000 SE BF22, VPS 500G11s BW24, VPS1000 G11 JA24, RS1000 G11, VPS2000 ARM G11 SE OST25, RS2000 G12 Pro ADV25

    Ich lebe im Netzwerk, ihr findet mich unter der IP-Adresse: 127.0.0.1

    Vermutlich ist der schlaueste und günstigste Weg sowas aufzubauen, selber eine Kiste mit headless GPUs zusammenzubauen und das als Colo irgendwo reinzustellen. Neu und zu dem erforderlichen Stromverbrauch wird das sowieso nicht günstig. Da gibt es nur Möglichkeiten auf dem Aftermarket, die ich selbst schon wahrgenommen habe

    Einmal editiert, zuletzt von dsp78 (26. Januar 2025 um 23:58)

    DSGVO & API-Lösung

    Genau das Compliance-Problem bei OpenAI & Co. ist mein Hauptantrieb! Selbst eine teurere Netcup-API (z. B. 1€/1M Token statt 0,13€) wäre Gold wert, wenn sie garantiert keine Kundendaten trainiert und in DE gehostet ist. Deepseek R1, Huanyuan-3D-2 & Co. bieten diese Zusagen einfach nicht – da bleibt man als Unternehmen immer im Rechtssumpf stecken.

    Hardware-Hürden

    Meine eigenen Versuche mit RTX 3080 Ti/2080 Ti bestätigen das: Selbst quantisierte 32B-Modelle (16GB VRAM) stottern auf 12GB-Karten – von 700GB-Monstern ganz zu schweigen. Und ja, der Stromverbrauch ist irre: Mein "Test-Lab" (aka Wohnzimmer) heizt sich auf wie eine Sauna. 🥵

    Warum Netcup?

    Darum der Wunsch nach dedizierten Hosting-Lösungen mit passenden GPUs (A100? L40S?) – da geht einfach mehr, ohne dass man selbst Kapazitäten vorhalten muss. Und hey, auf dem Netcup-Community-Event haben die CEOs ja schon Interesse signalisiert! Vielleicht finden sich genug Leute, um ein Pilotprojekt zu starten?

    netcup Wäre ein "Compliance-Turbo" für KI in der EU nicht ein krasses USP? Selbst wenn es erstmal nur eine Nische ist – ihr wisst ja: Wer zuerst kommt, mahlt zuerst! 🔥

  • Huskynarr 27. Januar 2025 um 13:47

    Hat den Titel des Themas von „GPU-Server und LLM-Modelle wie Deepseek als Server-Lösung buchbar?“ zu „GPU-Server und LLM-Modelle wie Deepseek, Hunyuan3D-2 als Server-Lösung buchbar?“ geändert.