Bin Mal gespannt wie lange der für die Daten dann braucht.
ich habe seit einiger zeit b3sum (BLAKE3) im einsatz und bin vom tempogewinn schon arg beeindruckt.
Bin Mal gespannt wie lange der für die Daten dann braucht.
ich habe seit einiger zeit b3sum (BLAKE3) im einsatz und bin vom tempogewinn schon arg beeindruckt.
find und {md5,sha1,sha256,sha512}sum gibt es hingegen von Haus aus
Dann würde ich sha1 benutzen...
Das wird er im Webhosting aber nicht ohne Verrenkungen ausführen können
das gibt's doch als static binary. und sich evtl. ein userbindir zu basteln, sollte ebenfalls machbar sein.
ich hab's jedenfalls auch im WH laufen.
das gibt's doch als static binary. und sich evtl. ein userbindir zu basteln, sollte ebenfalls machbar sein.
ich hab's jedenfalls auch im WH laufen.
Ok, ich nehme alles zurück.
Muss ich mal testen. Danke!
Dann würde ich sha1 benutzen...
die sha-bande ist ja grundsätzlich langsamer.
ich mache gleich mal nen benchmark auf dem WH2000SE.
auf WH2000SE, jeweils 2 durchgänge (sha256, sha1, md5, blake3) über ca. 18GB gemischtes allerlei und das ergebnis ist auch hier ziemlich eindeutig:
/$ du -sh
18G .
/$ hashgencheck -s -g
sha256sum: Generating sha256sum
real 2m50,58s
-rw-r--r-- 1 hosting psacln 10802694 Jan 21 00:40 sha256sum
/$ hashgencheck -s -g
sha256sum: Generating sha256sum
real 3m1,22s
-rw-r--r-- 1 hosting psacln 10802694 Jan 21 00:46 sha256sum
/$ hashgencheck -1 -g
sha1sum: Generating sha1sum
real 1m18,63s
-rw-r--r-- 1 hosting psacln 8839160 Jan 21 00:47 sha1sum
/$ hashgencheck -1 -g
sha1sum: Generating sha1sum
real 1m22,12s
-rw-r--r-- 1 hosting psacln 8839160 Jan 21 00:49 sha1sum
/$ hashgencheck -m -g
md5sum: Generating md5sum
real 0m57,55s
-rw-r--r-- 1 hosting psacln 8184649 Jan 21 00:50 md5sum
/$ hashgencheck -m -g
md5sum: Generating md5sum
real 0m56,85s
-rw-r--r-- 1 hosting psacln 8184649 Jan 21 00:51 md5sum
/$ hashgencheck -b -g
b3sum: Generating b3sum
real 0m11,73s
-rw-r--r-- 1 hosting psacln 10802698 Jan 21 00:51 b3sum
/$ hashgencheck -b -g
b3sum: Generating b3sum
real 0m12,18s
-rw-r--r-- 1 hosting psacln 10802698 Jan 21 00:52 b3sum
Display More
die sha-bande ist ja grundsätzlich langsamer.
Hm, laut deinem Test schon.
https://github.com/BLAKE3-team…aw/master/media/speed.svg sagt eigentlich ja was andres.
Aber ein statisches bin von b3 ist natürlich der Luxus.
sagt eigentlich ja was andres.
»Nur selbst (m)essen macht satt!«
installer (b3install):
#!/usr/bin/env bash
#set -vux
#
# install latest b3sum in /.local/bin
#
_dir='/.local/bin'
mkdir -pv -m 755 "${_dir}"
wget -O "${_dir}/b3sum" -q --show-progress "https://github.com/BLAKE3-team/BLAKE3/releases/latest/download/b3sum_linux_x64_bin"
chmod +x "${_dir}/b3sum"
echo "${PATH}" | grep -q "${_dir}" || { echo 'export PATH="'${_dir}':$PATH"' >> /.profile && source /.profile; }
Display More
ausführen: bash b3install
Läuft bei euch xP
Gerade mal wieder rein geschaut, war die letzten Tage etwas beschäftigt und wenig Zeit dafür. Sind auf jeden Fall praktische Infos und die Blake Summe mit install ist echt praktisch. Wenn die zeitlichen Unterschiede da so groß sind, werde ich das wohl eher austesten und verwenden.
Habs tatsächlich immer noch nicht gemacht. Hab zum Glück bis Mai Zeit und es sind auch in dem Sinne "nur" private NextCloud Daten, die jetzt nicht unbedingt zeitnah wieder Online sein müssen. Werde ich mich die Tage auf jeden Fall mal mehr mit beschäftigen, da mich das natürlich trotzdem beschäftigt das fertig zu bekommen.
Danke euch auf jeden Fall für die Antworten.
Eine Sache die mich beim Webhosting noch beschäftigt, bzw. die evtl. verbessert werden könnte, wobei dies wahrscheinlich wegen CHROOT etwas umstaendlich und Sicherheitstechnisch schwierig ist, waere screen bzw tmux zum laufen zu bringen. Vielleicht hat da ja jemand ne Idee.
MfG
Witzig, kurzes Update..:
Also, zu dem Backup.. wollte gerade mal dran weiter arbeiten und das erledigen.
Jetzt logge ich mich im WCP ein und dann kommt nur die Seite von Plesk, dass mein Hosting wegen Speicherüberschreitung gesperrt ist.
Richtiger Fail. Erst jetzt wird es gesperrt, sowie die Tatsache, dass ich keine E-Mail erhalten habe. Ich schaue zwar gleich noch mal genauer nach aber da ich alles andere von NetCup immer sofort bekomme und sehe, denke ich einfach Mal, dass es keine Benachrichtigung darüber gibt. Finde ich dann echt schade, das wirklich so vorgegangen wird. Auch kein Anruf oder ähnliches. Da wurde hier im Forum ja auch schon mal drüber diskutiert. Also E-Mail finde ich schon das mindeste, mit einer Zeitspanne für die Korrektur. Telefon ist noch optional aber würde einen guten Support ausmachen.
Die Tatsache, das eigentlich der Speicher meines Erachtens nach auch nicht überfüllt sein kann ist auch etwas komisch.
Da eigentlich nur um die 205 - 210GB auf dem Webspace liegen sollten. Wüsste nicht, wo da mit Mal der Speicher auf 312GB ansteigen soll, obwohl das Hosting in dem Sinne nicht mehr benutzt wird.
Gehe fast davon aus, dass der Speichermanager irgendwie mit den temporären Dateien vom Archiv packen gerechnet hat und nicht schnallt, dass der Speicher nicht mehr überschritten ist.
Habe den Support angeschrieben und das auch alles geschildert sowie, dass man die Umgangsweise am besten zur Kundenfreundlichkeit und für weniger Support-Aufwand ändern sollte.
Gehe fast davon aus, dass der Speichermanager irgendwie mit den temporären Dateien vom Archiv packen gerechnet hat und nicht schnallt, dass der Speicher nicht mehr überschritten ist.
Liest sich in die Richtung. Cache ist ein unvorhersehbares Ding.
Ich habe gestern ein Backup in die Icedrive Cloud geschoben. Icedrive nutzt seinen Cache beim Upload.
Schwups, war meine C: Platte fast voll. Wegen 250GB Cache.
Die Crux ist, das Icedrive den Cache nur löscht wenn er für etwas anderes gebraucht wird oder der PC neu startet. Vielleicht bleiben auch bei Deinem Fall die Dateien länger als geplant?
(War mein Fehler, ich habe vergessen den Cacheordner woanders hin zu verschieben)
Tatsächlich, hab ich wahrscheinlich wohl irgendeinen Fehler oder so gemacht. Komischerweise waren 2 Mal Archive mit den 100GB Daten vorhanden anstatt nur 1.
Weiß nicht ob ich da jetzt was falsch gemacht habe bzw. irgendwie ein Archiv vergessen habe, dass ich dies erstellt und nicht gelöscht habe oder ob bei dem Befehl was falsch gelaufen ist. Auf jeden Fall war es dann doch kein Wunder, dass ich deutlich über dem Speicherlimit lag. Hat mich selbst ziemlich gewundert, wo die 2. Datei dann jetzt her kam. Aber nun gut, hab gestern direkt den Support angeschrieben wie ja auch schon geschrieben und die haben sich heute morgen direkt zurück gemeldet und das Hosting entsperrt, sowie ne kurze Stellungnahme dazu.
QuoteDisplay MoreSchönen guten Morgen,
vielen Dank für Ihre Nachricht.
Ich habe Ihr Produkt soeben entsperrt. Bitte bereinigen Sie Ihren Speicher zeitnah; einmal täglich wird ein Prozess gestartet, welcher Sie wieder sperrt, sollte nicht genügend Speicher freigemacht worden sein. Die Statistik-Anzeige im WCP aktualisiert sich auch nur einmal am Tag, bitte diese nicht zum Prüfen nach dem Löschen heranziehen.
Derzeit belegen Sie rund 304GB des Webspaces des Hostingxxxxxx, 250GB sind hier beim Webhosting 4000 SE inbegriffen. Bei 80% Auslastung wird eine Warnung verschickt, welche Sie auf die Belegung aufmerksam macht. Werden diese 100% jedoch abrupt überschritten, kann die E-Mail jedoch nicht mehr zugestellt werden und Sie werden somit nicht gewarnt.
Mit freundlichen Grüßen,
"Mitarbeiter"
Natürlich unpraktisch mit der Mail, aber auch gut zu wissen. Diese kam dann für die 80% nachdem entsperrt wurde. Alles ein wenig durcheinander. Hat mich halt aber auch sehr gewundert, dass es so viele Tage gedauert hat. Hab auch heute vormittag dann erst im CCP ne Abusemeldung. Vorher hatte ich schon alles erledgit, auch mit dem Support. Also da ist meiner Meinung nach noch Luft nach oben in deren System.
Hat sich jetzt auf jeden Fall geklärt. Hab die 2. Datei gelöscht, mache jetzt noch die Hashes und dann sollte alles fertig sein. Dann kann ich das alte Hosting endlich abgeben und bin da raus. Geht mir ein bisschen auf die Nerven diese ganzen verschiedenen Systeme, wenn alles nur so halb ist..
MfG
Also noch ein kurzes Update und eine Frage.
Hab jetzt die Hashs erstellt. Wollte da mal nachfragen wie ich denn (einfach mal zum Testen) crc32 nutzen kann? Der Befehl wird nicht gefunden. MD5 und SHA1 geht.
CRC32 soll aber schneller sein. Da frage ich mich, wenn man Blake wie oben genannt selbst implementieren kann, geht das auch mit CRC32 ?
Hab bei sowas tatsächlich noch nicht so die Ahnung, wie man solche Shell Sachen lokal selbst installiert in einer CHROOT Umgebung.
du musst dir halt die passende (static binary) app suchen oder selbst erstellen.
oder man nimmt, was man kriegen kann und versucht's mit PHP:
und dann: php crc32.php file
das ist dann genauso unhandlich wie das original und du müsstest dir deine check-files noch passend erstellen.
schneller als die anderen *SUMs wird es aber IMHO sicher nicht sein.