vServer Overload

multitasking-berlin · 12. Juni 2012

Hallo!

Urplötzlich verhält sich seit heute mein vServer ungewöhnlich. Es kommt zu einem extremen Overload. netcup schiebt es auf mich.

Offen gesagt, weiß ich nicht so recht wie ich dieses Problem angehen soll. Der Server läßt sich in normalem Zustand nicht mehr bedienen. Ich kann ihn nur im Rettungsmodus ansprechen.

Was kann ich tun?

Habe mir die Systemlogs angeschaut, habe dort jedoch nichts ungewöhnliches gefunden.

Ich bin so verwundert, denn der Server lief wochenlang einwandfrei.

Könntet Ihr mir bitte ein paar Tipps geben?

Vielen Dank im Voraus!

KB19 · 12. Juni 2012

Wie sieht die Auslastung denn genau aus, wenn das Problem auftritt? Load? ps, free Ausgabe? Ohne diese Angaben wird es schwierig.

MfG Christian

multitasking-berlin · 12. Juni 2012

Hallo Christian,

ps zeigt nur folgendes an:

Code

PID TTY      	TIME CMD
12385 pts/2	00:00:00 bash
12418 pts/2	00:00:00 ps

free gibt folgende Auskunft:

Code

total   	used   	free 	shared	buffers 	cached
Mem:    	524288 	478612  	45676      	0      	0   	4020
-/+ buffers/cache: 	474592  	49696
Swap:   	524288      	0 	524288

Die Load-Werte nach wenigen Sekunden können dem Anhang entnommen werden...

Was kann ich tun?

KB19 · 12. Juni 2012

Copy & Paste in [code]-Tags wäre einfacher und schneller

MfG Christian

fnkr · 12. Juni 2012

Hast du mal per Rettungssystem alles aus dem Autostart genommen, alle Ports geschlossen (bis auf SSH) und dann hochgefahren? Ist es dann besser? Wenn ja: dann mal die Dienste nacheinander starten und gucken ab wann es Probleme gibt. Wenn nein: sicher alles aus dem Autostart raus?

multitasking-berlin · 12. Juni 2012

fnkr

Ich muss jetzt dumm fragen, wie nehme ich die Sachen aus dem Autostart raus?!
Sind das etwa die Dateien unter /etc/init.d/ ??

christian

Ich lerne immer wieder was dazu

fnkr · 12. Juni 2012

Genau. Die Startscripte für Apache usw. halt in einen anderen Ordner verschieben.

multitasking-berlin · 12. Juni 2012

Nach dem ich ALLES rausgenommen habe, wollte der Server gar nicht mehr starten...

Ich habe folgende Dienste drin:

README hdparm mtab.sh saned
apache2 hostname.sh mysql saslauthd
bootlogd hwclock.sh mysql-ndb sendsigs
bootlogs hwclockfirst.sh mysql-ndb-mgm single
bootmisc.sh ifupdown networking skeleton
checkfs.sh ifupdown-clean nscd spampd
checkroot.sh kdm ntp sqwebmail
courier-authdaemon killprocs openbsd-inetd ssh
courier-imap klogd pdns stop-bootlogd
courier-imap-ssl libdevmapper1.02 portmap stop-bootlogd-single
courier-pop lisa postfix sudo
courier-pop-ssl lm-sensors pppd-dns sysklogd
cron memcached procps umountfs
cups module-init-tools proftpd umountnfs.sh
dbus mountall-bootclean.sh rc umountroot
dirmngr mountall.sh rc.local urandom
dkim-filter mountdevsubfs.sh rcS x11-common
dovecot mountkernfs.sh reboot xinetd
fam mountnfs-bootclean.sh rmnologin
fancontrol mountnfs.sh rsync
halt mountoverflowtmp rsyslog

Was muss drin bleiben?

multitasking-berlin · 12. Juni 2012

Hallo noch einmal,

ich habe offensichtlich ein Problem mit mysql. Apache ist auch nicht ohne.

Ich habe nun den Server im Normalmodus gestartet und schnell mysql beendet. Das Problem scheint beseitigt zu sein. Apache beendet. Noch besser.

Was kann ich nun tun?

Bitte helft mir! Danke!

fnkr · 12. Juni 2012

- MySQL-Datenbanken Backupen
- aptitude purge mysql
- aptitude install mysql
- MySQL neu konfigurieren / Datenbanken wiederherstellen

multitasking-berlin · 12. Juni 2012

Danke schön fnkr, ich werde es sofort umsetzen und berichten!

Kann ich die Datenbanken einfach sichern in dem ich das Verzeichnis /var/lib/mysql sichere? Oder soll ich auf Tools wie MySQLDumper zurückgreifen?

Nochmals vielen Dank für die schnelle Hilfe!

fnkr · 12. Juni 2012

Nein, das geht vermutlich nicht.

Hier ist mein Backup-Script für die Datenbanken: fnkr-Paste
Sichert alle Datenbanken in den bei backup_dir angegebenen Ordner. Die kann man hinterher auch wieder mit dem mysql-Konsolentool importieren

multitasking-berlin · 12. Juni 2012

Das Backup-Script hat wunderbar funktioniert - herzlichen Dank!

Hast Du auch ein Wiederherstellungs-Script geschrieben?

fnkr · 12. Juni 2012

Zitat

Die kann man hinterher auch wieder mit dem mysql-Konsolentool importieren

EDIT: Da fehlt ein "-" im Paste. Der Pfad für den Backupordner war /root/sql-backup nicht /root/sqlbackup
Nicht dass du dich wunderst

multitasking-berlin · 13. Juni 2012

Die Aufgabenstellung war klar:

Zitat von fnkr

- MySQL-Datenbanken Backupen
- aptitude purge mysql
- aptitude install mysql
- MySQL neu konfigurieren / Datenbanken wiederherstellen

Die Daten habe ich gesichert.

Die Deinstallation von mysql klappt jedoch nicht:

Zitat

Konnte Paket »mysql« nicht finden und mehr als 40 Pakete
enthalten »mysql« in ihrem Namen:
Konnte Paket »mysql« nicht finden und mehr als 40 Pakete
enthalten »mysql« in ihrem Namen:
Es werden keine Pakete installiert, aktualisiert oder entfernt.
0 Pakete aktualisiert, 0 zusätzlich installiert, 0 werden entfernt und 0 nicht aktualisiert.
Muss 0 B an Archiven herunterladen. Nach dem Entpacken werden 0 B zusätzlich belegt sein.

Alles anzeigen

Das Entfernen von mysql-server und mysql-common hat auch nichts gebracht. Sprich die Datenbanken und Einstellung wurden nicht entfernt.

Bei einer Neuinstallation wird man nach nichts gefragt.

Der Overload muss jedoch wirklich mit mysql zusammenhängen. Denn so bald ich apache2 dazu schalte, kommt es sofort zum Mega-Overload. Wenn ich apache2 ohne mysql laufen lasse, ist alles in Ordnung. Allerdings ist es auch kein Problem mysql ohne apache2 laufen zu lassen.

Ich habe mysqlcheck -A -r laufen lassen und bei einigen Tabellen hiess es dann

Zitat

note : The storage engine for the table doesn't support repair

Diese Tabellen habe ich gelöscht (aus dem Verzeichnis /var/lib/mysql/ entfernt). Dies hat jedoch das Problem nicht gelöst.

Weiß jemand von Euch wie man mysql komplett deinstalliert bekommt?

Oder soll ich das Problem etwa anders angehen?

Vielen Dank für Eure Hinweise!

KB19 · 13. Juni 2012

Zitat von multitasking-berlin

Denn so bald ich apache2 dazu schalte, kommt es sofort zum Mega-Overload. Wenn ich apache2 ohne mysql laufen lasse, ist alles in Ordnung. Allerdings ist es auch kein Problem mysql ohne apache2 laufen zu lassen.

Wenn die Websites keine Datenbank erreichen können, wird die Ausführung der Scripts auch sofort beendet -> keine Auslastung. Ich würde einmal im Access-Log schauen, welche Anfragen zu dieser Zeit herein kommen. Falls du FCGI verwendest, kannst du es noch gezielter eingrenzen. Danach sperre einmal den HTTP/HTTPS Port (außer für deine IP) mit der Firewall, löse die entsprechenden Anfragen zum Test selbst aus und beobachte alles.

Zum Thema MySQL: /var/lib/mysql wird leider nicht automatisch neu angelegt, das müsstest du dir selbst aus dem Paket extrahieren. (apt-get download und danach mit ar/tar weiter arbeiten)

MfG Christian

perryflynn · 13. Juni 2012

Oder einfach einen dpkg-reconfigure für den mysql server machen.

KB19 · 13. Juni 2012

Zitat von sim

Oder einfach einen dpkg-reconfigure für den mysql server machen.

Letztes Jahr wurden da keine Datenbank-Dateien neu angelegt. Hat sich das geändert?

MfG Christian

perryflynn · 13. Juni 2012

Code

root@xxx:/home/xxx# /etc/init.d/mysql stop
Stopping MySQL database server: mysqld.
root@xxx:/home/xxx# rm -rf /var/lib/mysql/
root@xxx:/home/xxx# dpkg-reconfigure mysql-server-5.1
Stopping MySQL database server: mysqld.
Stopping MySQL database server: mysqld.
120613 12:26:30 [Note] Plugin 'FEDERATED' is disabled.
120613 12:26:30  InnoDB: Initializing buffer pool, size = 8.0M
120613 12:26:30  InnoDB: Completed initialization of buffer pool
120613 12:26:30  InnoDB: Started; log sequence number 0 44233
120613 12:26:30  InnoDB: Starting shutdown...
120613 12:26:35  InnoDB: Shutdown completed; log sequence number 0 44233
Starting MySQL database server: mysqld.
Checking for corrupt, not cleanly closed and upgrade needing tables..
root@xxx:/home/xxx# ls /var/lib/mysql/
debian-5.1.flag  ibdata1  ib_logfile0  ib_logfile1  mysql  mysql_upgrade_info

Alles anzeigen

multitasking-berlin · 14. Juni 2012

@sim
Vielen Dank für Deine perfekte Anleitung! Es hat wunderbar funktioniert.

Nach Neuinstallation von mysql lief mein Server wieder einwandfrei.

Als bald ich es jedoch apache2 ermöglichte auf eine bestimmte wiederhergestellte Datenbank zuzugreifen kam es sofort zu heftigem Overload. Der Fehler lag an dieser Datenbank, einige Tabellen hatten Überhänge und waren mehr als 1 GB groß. Ich konnte auf sie verzichten, habe die Daten gelöscht, so waren die Überhänge weg und nun funktioniert alles wieder.

Kann man Überhänge los werden, ohne eine Tabelle leeren zu müssen?

Vielen Dank für Eure Hilfe!!!!