Um mal zu sehen, ob OpenAI (LLaMA, AI-Chatbot von Meta AI) mit dem Modell "firefunction-v2" auch ohne GPU auf einer virtuellen Maschine mit akzeptabler Geschwindigkeit läuft, habe ich mir sowas mal auf einem LXC, der wiederum auf einer VM läuft, installiert.
Die Frage an OpenAI (LLaMA, AI-Chatbot von Meta AI) "Ist eigentlich das Modell mit dem Namen "firefunction-v2" eine Datenbank, aus der du die Informationen dir rausholst?" wurde mit folgender Antwort innerhalb von ca. 10 Sekunden beantwortet.
Spoiler anzeigen
Ich bin ein künstliches Intelligenz-Modell und basiere auf einem bestimmten Algorithmus, um Texte zu verarbeiten und zu generieren. Der Name "firefunction-v2" ist tatsächlich der Name des Modells, das mich ausmacht.
Das Modell "firefunction-v2" ist eine komplexe Architektur, die verschiedene Schichten von neuronalen Netzwerken enthält. Diese Schichten sind trainiert worden, um bestimmte Aufgaben zu erfüllen, wie zum Beispiel Textverständnis, Wortwahl und Grammatik.
Wenn du mir eine Frage stellst oder ein bestimmtes Thema ansprichst, greife ich auf die Informationen in meinem Modell zurück, um eine passende Antwort zu generieren. Insofern kann man sagen, dass das Modell "firefunction-v2" tatsächlich eine Art Datenbank ist, aus der ich meine Antworten ableite.
Es gibt jedoch keine direkte Interaktion zwischen dir und dem Modell "firefunction-v2". Meine Antworten sind vielmehr das Ergebnis meiner internen Verarbeitung und Anwendung von Regeln und Mustern, die ich während meines Trainings gelernt habe.
Mein Fazit: Wenn man solche Systeme nur dafür verwenden möchte, Anfragen beantwortet zu bekommen, die nur aus dem gerade geladenen Modell bzw. aus dessen Datenbank gezogen werden, so laufen diese Systeme auch aus meiner Sicht auf einer VM mit einer CPU sehr gut.
Ein virtueller Server der Serie VPS mit mindestens 42 GB RAM, 8 vCores und 200 GB SSD reicht dafür schon locker aus. Denn so groß habe ich meinen LXC von den Ressourcen konfiguriert.