rclone funktioniert auf einmal nicht mehr

  • Moin,

    ich habe für meine Backups für Vaultwarden und Mailcow rclone eingerichtet.

    Es werden die Backups erstellt, gezippt und dann noch mnit gpg verschlüsselt. Danach wird mit rclone über FTP die Daten mein Webhosting bei Netcup kopiert.

    Seit heute funktioniert es gar nicht mehr.

    Folgende Fehlermeldung bekomme ich:


    024/10/21 17:19:54 DEBUG : Creating backend with remote "SourceFolder"

    2024/10/21 17:19:54 DEBUG : Using config file from "/root/.config/rclone/rclone.conf"

    2024/10/21 17:19:54 DEBUG : Creating backend with remote "Destination:"

    2024/10/21 17:19:54 DEBUG : ftp://server.net:21: Connecting to FTP server

    2024/10/21 17:19:54 DEBUG : ftp://server.net:21: dial("tcp","server.net:21")

    2024/10/21 17:20:54 DEBUG : ftp://server.net:21: > dial: conn=<nil>, err=dial tcp IP:21: i/o timeout

    2024/10/21 17:20:54 DEBUG : pacer: low level retry 1/10 (error dial tcp IP:21: i/o timeout)

    2024/10/21 17:20:54 DEBUG : pacer: Rate limited, increasing sleep to 20ms

    2024/10/21 17:20:54 DEBUG : ftp://server.net:21: dial("tcp","server.net:21")


    Leider wird keine Verbindung mehr zu FTP-Server aufgebaut, benutze ich einen FTP-Client funktioniert es super.

    Gestern habe ich auf dem Server Updates installiert, aber da gab es nur ein paar Update für Crowdsec und Docker, mehr nicht.

    Ich wollte daher fragen, ob einer von euch das gleiche Problem schonmal hatte?

    Bei github habe ich auch folgendes Issue gefunden, aber dazu gibt es keine Lösung.
    https://github.com/rclone/rclone/issues/7022


    Schönen Gruß,
    Robert

  • Bezogen auf den GitHub-Fehlerbericht: Wurde denn lokal wirklich nicht "irgendwann" ein rclone-Update vorgenommen, dessen Seiteneffekte man nun ggf. sieht? Unabhängig davon: Wenn es nur darum geht, den Server via FTP unter Verwendung von rclone zu befüllen, warum es nicht mit einer älteren Version probieren und diese im Erfolgsfall beibehalten?

    Alternativ könnte man auch rsync via ssh einsetzen.

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE

    Edited 2 times, last by m_ueberall ().

  • Das ist ja das Problem. Die letzte Version die installiert wurde, war vor einem Monat.
    Ich denke das Problem besteht auch in den anderen Versionen.


    Mit rsync habe ich mir gerade mal angeschaut. Das ist eine gute alternative, aber leider kann ich im Webhosting von Netcup kein Private\Public-Key-Verfahren einrichten und ein Passwort kann ich nicht hinterlegen.

  • Leider hat das Webhosting kein rsync.
    Muss ich leider auf scp wechseln.

    Was nicht da ist, lässt sich installieren: Mithilfe eines statischen Binaries (siehe diesen Diskussionsfaden), welches man ggf. via ssh startet, sollte das kein Problem sein; ich erinnere mich dunkel, dass das im Forum bereits mehrfach praktiziert wurde (die Forensuche ist leider immer noch verbesserungswürdig).

    EDIT: Diskussion zu rsync findet sich an derselben Stelle weiter unten.

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE

    Edited once, last by m_ueberall ().

  • Ich denke, das Problem liegt nicht an rclone. Ich glaube der Server hat ein Problem.
    Ich kann keine normale ssh-Verbindung zum Webhosting aufbauen oder mit scp (was ja das gleiche Protokoll ist).

    Das muss ich mir erstmal in ruhe anschauen, bevor ich das Thema rsync angehe.

  • ufw ist es doch nicht, das funktioniert.


    Habe nun mal die SSH-Verbindungen getestet.
    Ich habe bei mir zuhause von einen meiner Server den SSH-Port ins Internet freigegeben (Habe ich schon wieder geschlossen)

    Ich habe nun ein paar SSH-Verbindungen getestet. Folgendes habe ich getestet

    HomeServer zu Netcup-Webhosting --> funktioniert

    Netcup-Webhosting zu HomeServer --> funktioniert

    HomeServer zu Netcup-root-Server --> funktioniert

    Netcup-root-Server zu HomeServer --> funktioniert

    Netcup-root-Server zu Netcup-Webhosting --> funktioniert nicht

    Netcup-Webhosting zu Netcup-root-Server --> funktioniert nicht


    Wie schon gesagt, bis zum 20.10.2024 hat es funktioniert. Nun bekomme ich keine FTP und SSH-Verbindung zwischen den Netcup-Produkten.

    Ich denke, da gibt es aktuell Routing-Probleme zwischen dem Webhosting und den root-Servern.

    Oder sehe ich das gerade völlig falsch?


    /edit:

    Traceroute von meinen HomeServer zum Netcup-Webhosting kann ich ohne Probleme auflösen.

    Traceroute von meinem Netcup-root-Server zum Netcup-Webhosting läuft ins leere. Wenn ich z.B. google.de verfolge kann dies aufgelöst werden.

  • Ich würde zunächst einmal ping- und traceroute-Ergebnisse ansehen. (Nutze kein Webhosting, kann also nicht sagen, ob ein Anpingen regelmäßig funktionieren sollte.)

    Bei ssh-Tests spielt immer eine Rolle, welche Ciphers usw. auf beiden Seiten erlaubt werden (in der Vergangenheit hatte ich bspw. Probleme, von einem RS ein ISO-Image via (S)FTP(S) für die Verwendung im SCP zu übertragen). Hier hilft es, mit mehreren "-v" die Geschwätzigkeit zu erhöhen, um ggf. Fehlermeldungen besser erfassen zu können und explizit die entsprechenden Einstellungen auf allen Seiten anzeigen zu lassen. Ich bin mir fast sicher, dass sich die SSH-Einstellungen zwischen HomeServer und Netcup-RS an einer Stelle unterscheiden.

    Soll es schnell gehen, hilft immer noch die Methode "von hinten durch die Brust ins Auge" über zwei "Sprünge" : Netcup-RS <-> HomeServer <-> Netcup-Webhosting


    EDIT: Fürs Protokoll: Bei SSH-Kontaktaufnahmen von exponierten Hosts auf einen HomeServer insbesondere zu Testzwecken würde ich hier zusätzliche Sicherheitsvorkehrungen treffen, beispielsweise die Verwendung eines gesicherten Containers oder einer VM und dedizierte SSH-Schlüssel, die nur an einer Stelle bzw. für die vorgenannten Tests verwendet werden.

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE

    Edited 5 times, last by m_ueberall ().

  • Ich habe die Ciphers auf dem Netcup-root-Server angepasst. Nach einem Best Practice.

    Das Problem sehe ich nicht an den Ciphers. Das Probleme sehe ich aktuell beim Routing. Wenn ich eine SSH-Verbindung zwischen den Netcup-Produkten aufbauen möchte, dann geht es nicht. Gleiches Problem mit FTP von Netcup-root-Server zu Netcup-Webhosting. (Hatte ich ja mit rclone benutzt). Habe einen weiteren Test mit dem ftp-CMD ausprobiert., geht auch nicht.

    Andersrum kann ich das nicht testen, da ich auf dem Netcup-root-Server kein FTP möchte und auch brauche.


    Ich mache mal ein Ticket beim Support auf, mit meinen ganzen Informationen die ich herausgefunden habe.

  • Ich würde zunächst einmal ping- und traceroute-Ergebnisse ansehen. (Nutze kein Webhosting, kann also nicht sagen, ob ein Anpingen regelmäßig funktionieren sollte.)

    Bei ssh-Tests spielt immer eine Rolle, welche Ciphers usw. auf beiden Seiten erlaubt werden (in der Vergangenheit hatte ich bspw. Probleme, von einem RS ein ISO-Image via (S)FTP(S) für die Verwendung im SCP zu übertragen). Hier hilft es, mit mehreren "-v" die Geschwätzigkeit zu erhöhen, um ggf. Fehlermeldungen besser erfassen zu können und explizit die entsprechenden Einstellungen auf allen Seiten anzeigen zu lassen. Ich bin mir fast sicher, dass sich die SSH-Einstellungen zwischen HomeServer und Netcup-RS an einer Stelle unterscheiden.

    Soll es schnell gehen, hilft immer noch die Methode "von hinten durch die Brust ins Auge" über zwei "Sprünge" : Netcup-RS <-> HomeServer <-> Netcup-Webhosting


    EDIT: Fürs Protokoll: Bei SSH-Kontaktaufnahmen von exponierten Hosts auf einen HomeServer insbesondere zu Testzwecken würde ich hier zusätzliche Sicherheitsvorkehrungen treffen, beispielsweise die Verwendung eines gesicherten Containers oder einer VM und dedizierte SSH-Schlüssel, die nur an einer Stelle bzw. für die vorgenannten Tests verwendet werden.

    Die Lösung über den HomeServer finde ich nicht gut. Deshalb lasse ich es und warte ab.

    Danke trotzdem für den Lösungsansatz.

  • Bei mir klappt die ssh Verbindung zwischen VPS und Webhosting.
    Es gehen beide Richtungen.


    Das Webhosting habe ich im VPS per sshfs eingebunden. Hier wäre auch syncronisieren mit rsync möglich.


    Bevor ich auf den gemounteten Webspace zugreife, überprüfe ich ob dieser auch da ist. Das passiert über eine Abfrage ob sich eine bestimmte Datei im Verzeichnis befindet.


    Ist auf deiner VPS ein Nameserver in /etc/resolv.conf eingetragen?

    Bzw. kannst du vom VPS auch etwas anderes anpingen.

    Nicht das es an der Namensauflösung liegt.

  • Moin,


    die Kommunikation zwischen root-Server und Webhosting ist laut dem Support von Netcup nicht möglich.


    In der resolv.conf sind 2 Server eingetragen

    Code
    nameserver 46.38.225.230
    nameserver 46.38.252.230

    Ich kann auch alle Adressen in das Internet auflösen. Google, web.de, facebook, etc.

    Ich habe gestern noch dem Support geschrieben und eine Antwort bekommen. Es wird angenommen, dass mein Server auf einer internen Blacklist gelandet sein könnte. Warum, kann ich nicht sagen? Dies wird gerade weiter vom Support überprüft.

    Ich habe Docker auf dem root-Server mit Mailcow und Vaultwarden darauf. Die Backups von den Mailcow und Vaultwarden lasse ich in der Nacht über FTP auf das Webhosting legen. Dafür habe ich immer rclone mit dem FTP-Module durchgeführt.


    /Edit:

    Die Adresse von meiner Domäne für den FTP-Zugang kann ja aufgelöst werden, nur werden keine Pakete angenommen oder gesendet.

  • die Kommunikation zwischen root-Server und Webhosting ist laut dem Support von Netcup nicht möglich.

    das ist definitiv falsch (vom support).

    ich z.b. ziehe unregelmäßig backup-kopien von WHs auf RS oder VPS via rsync oder scp.

    »Hauptsache BogoMIPS!«

    Fleischfresser

    »This is extremely dangerous to our democracy«

    Edited once, last by Olivetti ().

    Like 1
  • das ist definitiv falsch.

    ich z.b. ziehe unregelmäßig backup-kopien von WHs auf RS oder VPS via rsync oder scp.


    Das wage ich mal stark zu bezweifeln. :/

    Das ist nur das was sich vom Support habe. Ich habe vergessen, dass ich mich nur damit auf rsync bezog. Die eigentliche Kommunikation ist möglich.
    Ich mache das andersum. Ich sende von meinem root-Server zum Webhosting.


    Aber wie schon geschrieben, muss ich aktuell auf eine Antwort vom Support warten, warum die Kommunikation zwischen meinem root-Server und dem Webhosting nicht funktioniert. Danach würde ich es nochmal testen.