Ubuntu Ordnergrößen

fisi · 7. November 2023

Hallo Miteinander,

ich benötige regelämßig die Speichergrößen aller Unterordner von /home, aktuell habe ich das ganz einfach gelöst:

Code

du -s /home/* > /ORDNER/info.txt

Das führe ich einmal nachts aus und lasse die info.txt dann in eine Datanbank übertragen.

Mittlerweile liegen so viele Ordner in dem Verzeichnis, dass das Script ewig braucht und vor allem schießt die CPU auf 100 % Auslastung.

Hat jemand eine Idee wie ich das performanter machen könnte?

Ich brauche nur von allen Unterordnern aus /home/ den Namen und die Größe.

VG

Fisi

femur · 7. November 2023

Vielleicht hilft es schon ein anderes Tool zu nutzen. Ich verwende gerne `dua` (https://github.com/Byron/dua-cli). In meinem Home-Ordner mit ~1,7 Mio Dateien und Ordnern gibt sich folgendes Bild:

Code

Benchmark 1: dua .
  Time (mean ± σ):      1.478 s ±  0.016 s    [User: 2.577 s, System: 5.283 s]
  Range (min … max):    1.456 s …  1.504 s    10 runs

Benchmark 2: du -s
  Time (mean ± σ):      5.249 s ±  0.029 s    [User: 1.647 s, System: 3.545 s]
  Range (min … max):    5.223 s …  5.310 s    10 runs

Summary
  dua . ran
    3.55 ± 0.04 times faster than du -s

Alles anzeigen

Ansonsten gäbe es mit Btrfs (und vermutlich ZFS) die Möglichkeit mittels Subvolumes und offenen Quotas das ganze mitzuzählen. Allerdings nimmt man da natürlich alle Vor- und Nachteile des Dateisystems mit und ich erwähne das nur der Vollständigkeit halber.

Code

NAME                                  TYPE    REFER     EXCL  MOUNTPOINT
xxxxxxxx                                fs       -   361.23G (single, 565.06G/931.32G free, 60.67%)
    [main]                         mainvol   16.00k   16.00k /
    root                            subvol    8.09G    7.41G /
        snapshots/root-20230101     rosnap    3.55G    2.88G
    boot                            subvol   54.54M   54.54M
        snapshots/boot-20230101     rosnap  129.25M  129.25M
    srv                             subvol  311.09G   14.04G /srv
        snapshots/srv-20230101      rosnap  309.97G   12.92G
    home                            subvol    2.25G  896.54M /home
        snapshots/home-20230101     rosnap    1.84G  480.01M
    var                             subvol   11.51G    8.37G /var
        snapshots/var-20230101      rosnap    8.82G    5.68G

Alles anzeigen

H6G · 7. November 2023

Zitat von fisi

Hat jemand eine Idee wie ich das performanter machen könnte?

Wenn ich soetwas bauen müsste, würde ich per inotify mir Dateiänderungen anzeigen lassen und in einen Index in einer Datenbank aufnehmen.

Leider findet sich bei Google unter inode index nicht wirklich was Brauchbares.

perryflynn · 7. November 2023

Vielleicht einfach die prio von dem Script auf Low setzen? Das die CPU auf 100 Prozent dreht ist ja nicht schlimm. Das Script muss nur bei etwas wichtigeren einen Schritt zurück treten.

nice und ionice waren glaube ich die Stichwörter.

fisi · 9. November 2023

Hab jetzt die Prio verändert, jetzt läuft es stabiler

KB19 · 21. November 2023

Geht es wirklich nur um die Home-Ordner der Benutzer, oder war das nur ein Beispiel? Dann würde ich einfach FS-Quotas aktivieren und die Ausgabe von "repquota" parsen. Oder dürfen die User auf der gleichen Partition auch noch woanders schreiben?

Alternative Idee: Ein Dateisystem in einer Image-Datei, also mittels Loop-Device. Dann kann man die Auslastung jederzeit mit "df" in wenigen Millisekunden abrufen und muss nicht gleich alles auf ZFS/Btrfs/o.ä. umstellen.

Ich verwende so eine Lösung für ein paar Ordner, in denen mehrere Millionen kleine Dateien liegen. Dadurch kann ich auch die Filesystem-Parameter für die jeweiligen Ordner entsprechend tunen. In meinem Fall ist es ein stinknormales ext4 in *.img Dateien, die über die fstab jeweils exklusiv für einen bestimmten User eingebunden werden. Der Vorteil davon ist, dass ich diese Ordner unabhängig vom eigentlichen Speichersystem optimieren und auch leichter umziehen kann. Der Overhead von zwei Dateisystemen ist bei mir zu vernachlässigen.