Plötzlich 100% auf allen Kernen, aber kein Thread über 0.7% ?

Hm, nach dem mpstat wäre ich davon ausgegangen, dass ein „geniceter“ Prozess die CPU veratmet. Die beiden Dämonen würde ich aber für harmlos halten. Mist.

Nachdem die Ursache wohl nicht bei netcup liegen dürfte, sollte man es sicherheitshalber nochmals eingrenzen: Deakiviere mal den Autostart von Docker (siehe hier) und starte die Kiste neu. Ist die mysteriöse Auslastung dann noch immer vorhanden?

Zitat von KrisAusEU

Ich kümmere mich erstmal nicht weiter drum und beobachte weiter.

Meiner Meinung nach eine ganz schlechte Idee. Am Ende hast Du da vielleicht irgendeinen Rootkit, der fleißig Cryptowährung schürft. So eine extreme Auslastung muss ja eine Ursache haben. Besonders dann, wenn man sie nicht zuordnen bzw. komplett sehen kann.

Laut https://serverfault.com/questi…-in-htop-status-bars-mean . Die Frage ist ob das jetzt Blau oder eher Cyan ist.

Zitat

Detailed mode

• Blue: low priority threads (nice > 0)
• Green: normal (user) processes
• Red: system processes
• Orange: IRQ time
• Magenta: Soft IRQ time
• Grey: IO Wait time
• Cyan: Steal time
• Cyan: Guest time

TBT Wenn es die gleiche Farbe wie der Text links daneben ist, dann sollte es Cyan sein. Außer der Terminalemulator bzw. SSH-Client ist ganz komisch konfiguriert.

Bildschirmfoto_2022-04-20_17-19-17.png

Ist aber auch egal, laut den anderen Ausgaben sind es ge-nice-te Threads. Und die tauchen ebenso nirgends auf, was es nicht besser macht.

Hm, entweder mined da jemand fleissig direkt auf dem Server (nicht in Docker), oder es ist sowas wie Folding@Home etc. installiert.

Zitat von KrisAusEU

Aber wie soll das gehen? Der Server ist keine 2 Wochen alt und das erste was ich gemacht habe, SSH-Port auf Ü40000 und Login nur mit Zertifikat

Nichts für ungut: "security by obscurity" war noch nie eine gute Idee, sondern eher trügerische Sicherheit. Das Port verlegen bringt da quasi nix, ein Portscan auf die IP und der Port ist klar.

Meine Aussage war: entweder hast Du selbst etwas installiert (wie Folding@Home, einen Miner, etc.) oder "es wurde Dir etwas installiert". Angreifer dringen mitunter nicht unbedingt via SSH ein, sondern über Schwachstellen von laufenden Anwendungen.

Es könnte aber schon auch noch ein Hintergrundprozess einer Audio / Video /Foto Anwendung sein, die gerade eine Analyse macht.

Zitat von TBT

Angreifer dringen mitunter nicht unbedingt via SSH ein, sondern über Schwachstellen von laufenden Anwendungen.

Ja, das ist etwas, bei dem ich nicht müde werde darauf hinzuweisen.

Wenn ein Server mit Firewall, Fail2ban, Login nur per KeyPair usw. abgesichert ist, dann ist er eben nicht notwendigerweise bombensicher.

Das sind alles wichtige Maßnahmen, aber sie wirken halt nur auf den unteren Ebenen.

Auch Layer 7 sollte abgesichert werden. (z.B. mit einer WAF)

(Und die größte Schwachstelle ist immer noch auf Layer 8 )

Ganz ehrlich, ich würde den Server neu aufsetzen. Ein /var/spool/system.d gibt es eigentlich nicht auf einem Standardsystem. Wenn du das nicht warst und nicht weißt, woher das kommt, würde ich den Server so wie er jetzt ist auf keinen Fall weiter betreiben.

Hay,

Zitat von KrisAusEU

Na sowas.. Der hat was gefunden in /var/spool/system.d/system.d

Da war eine Datei von ca. 10 MB. Gelöscht, reboot, wieder alles normal !? Was war das jetzt?

Solange Du keine weitere Infos postest (Dateiname z.B.), können wir das auch nicht sagen. Irgendwo hin sichern zur Analyse wäre wohl besser gewesen.

Zitat von Paul

Ganz ehrlich, ich würde den Server neu aufsetzen.

Wenn er genauso neu aufgesetzt wird wie er zuletzt aufgesetzt wurde, sind wir in 2 Wochen ggf. wieder da, wo wir jetzt waren.

CU, Peter

Hi Kris, dieser Server gehört nicht mehr dir, sondern jemanden anderen, der ohne dein Wissen ein Programm installieren und starten konnte. Vermutlich hat dieser jemand auch Systerndateien wie den ps-Befehl ausgetauscht. Diesen Zustand kann man in Normalfall nicht mehr retten. Bitte fahre den Server herunter, führe eine Revision deiner Security Policy durch und installiere den Rechner mir einem aktualisierten Sicherheitskonzept neu.

Interessant wäre auch zu wissen was du denn alles installiert hast…

Übrigens echt noch Glück gehabt dass das Ding sich hat so einfach erwischen lassen!

An dieser Stelle mal ein großes Lob an alle, die hier bei der Diagnose des Probleme geholfen haben, ohne dafür Geld oder irgendetwas anderes zu bekommen. Vielen Dank!

Die Rechnungen kommen per Post, dauert noch ein, zwei Tage

Zitat von KrisAusEU

Na sowas.. Der hat was gefunden in /var/spool/system.d/system.d

Da war eine Datei von ca. 10 MB. Gelöscht, reboot, wieder alles normal !?

Aufheben zur weiteren Analyse wäre wahrscheinlich wesentlich sinnvoller gewesen…

Prinzipiell schließe ich mich meinen Vorrednern an: Da hat wohl jemand die Kontrolle als root übernommen, das System ist als kompromittiert zu betrachten und nicht mehr zu gebrauchen. Das was Du gefunden hast, war wahrscheinlich nur ein winziges Fragment von allen Änderungen.

Falls Du noch nicht neu installiert hast, würde ich Dir dringend folgende Sache empfehlen: Sicher Dir trotzdem (außerhalb des laufenden Systems) den aktuellen Zustand der Festplatte und hebe ihn zur späteren Analyse oder als mögliches Beweismittel auf! Also entweder im Rettungssystem mit dd ein Image speichern bzw. herunterladen oder gleich im SCP einen (Offline) Snapshot erstellen, exportieren und danach herunterladen.