scp seeeeehr langsam

  • hallo,

    ich bin gerade dabei ein backup eines servers zu erstellen.

    dies geht tierisch lahm.

    offensichtlich schlägt hier ein traffic shaper zu.

    was ich getan habe: server mit der rescue cd gebootet.

    platte gemountet

    per sshfs ein st**to hidrive gemountet.

    dort läuft nun ein tar der platte hin.

    das ganze läuft nun seit 4-5 stunden und er hat gerade mal 3,5 gigabytes übertragen.

    zum glück hat dieser server nur 8 gig.

    ich glaube gesehn zu haben, dass die ersten 10-20megabytes schnell gingen. seitdem geht kaum noch was durch die leitung.

    am hidrive liegt es nicht. das habe ich von einem andren server aus getestet.

    ist es wirklich unmöglich, ein eigenes backup auf einen drittserver zu machen?

    wie kann ich das shaping verhindern?

    ich glaube mal etwas von einem iptables befehl gelesen zu haben. aber diesen finde ich nicht mehr.

    auch bräuchte ich dann noch die grenzen, um nicht dem shaper zum opfer zu fallen.

    heute abend muss ich noch ein backup von einem server mit 120 gig machen. ich hoffe, daß mir bis dahin jemand den erhellenden tipp geben kann. das würde ja sonst 6 wochen laufen :-)

    danke

    jay

  • Über einen Root-Server bei Netcup und einen dedizierten Server mit dedizierter Gigabit-Leitung direkt in Frankfurt/Main bei einem Fremdanbieter kam ich auf nur einer Übertragungsrate von ca. 4,5 MB/s zur virtuellen Festplatte beim Provider aus Berlin. Also würde ich eher mal das Problem beim Provider aus Berlin suchen.

  • danke für die antwort.

    aber schrieb ich nicht bereits, daß die verbindung zu hidrive getesteterweise schnell genug war?

    aber ok. ich werde das große backup zwischen 2 netcup vservern versuchen. vielleicht ist ja zumindest firmenintern das shaping raus...

    jay

  • könnte mir vielleicht jemand den weg zu dem thread wegen der drosselung bei zuviel lan-bandbreitenverbrauch schicken?

    oder auch eine bestätigung, daß es NICHT gedrosselt wird?

    ich weiß nicht einmal mehr, ob ich das in diesem forum las...

    danke

    jay

  • jay , 80 Mbit/s entspricht umgerechnet 10 MB/s.

    Da du mit der Bandbreite der Gegenstelle aus Berlin mit ca. 4,5 MB/s noch weit darunter liegst, wird mit höchster Wahrscheinlichkeit Netcup dir die Bandbreite auch nicht drosseln.


    Welchen Server - genaue Produktbezeichnung - hast du denn?

  • hallo andreas,

    jay ,

    Da du mit der Bandbreite der Gegenstelle aus Berlin mit ca. 4,5 MB/s noch weit darunter liegst, wird mit höchster Wahrscheinlichkeit Netcup dir die Bandbreite auch nicht drosseln.

    das wäre ja ok.aber - woher hast du das mit den 4,5MB/s? selbst wenn, so würde das ja auch nur mein problem zum hidrive lösen, nicht aber zu anderen servern, zb bei he**ner, die dediziert 1gb haben.

    Quote

    Welchen Server - genaue Produktbezeichnung - hast du denn?

    ich habe nicht nur einen server.
    ich habe da einen bunten mix:
    VPS 100 G7 SE O2017
    VPS 500 G7SE O2017
    VPS A Ostern 2017
    RS 1000 SSD G7SE O2017
    VPS B Ostern 2017
    VPS 500 G7SE OStern 2017
    RS 1000 SSD G7SEa1
    RS 1000 SAS G7 SE a2
    VPS 2000 G7SEa1
    und nicht nur jeweils einen.
    die meisten server sind modell
    RS 1000 SSD G7SEa1.

    da können bei backups schonmal ein paar hundert gig anfallen. sowohl zwischen den servern, als auch zu denen anderer provider, oder zu mir nachhaus.


    am meisten wäre mir mit einer methode geholfen, mit der ich den durchschnitt unter 80Mb/s halten könnte.


    jay

  • das wäre ja ok.aber - woher hast du das mit den 4,5MB/s?

    Das habe ich mit Hilfe des SFTP-Client von beiden Servern aus zum Zielserver in Berlin gemessen. Denn wenn du eine Datei auf einem Zielserver damit überträgst, bekommst du nicht nur den aktuellen Fortschritt angezeigt, sondern auch die derzeit aktuelle Bandbreite mit der die Datei gerade übertragen wird.


    ich habe nicht nur einen server.

    Damit man dein Problem besser eingrenzen kann, meinte ich mit der Frage "Welchen Server - genaue Produktbezeichnung - hast du denn?" deinen Problemserver.


    am meisten wäre mir mit einer methode geholfen, mit der ich den durchschnitt unter 80Mb/s halten könnte.


    Wenn ich mich richtig daran erinnern kann, wurde in diesem Forum schon mal das Tool TC, welches ich aber auch nicht nutze, zur Bandbreitenbegrenzung vorgeschlagen.


    Ich persönlich regle die Bandbreitenbegrenzung über einen meiner vielen OpenVZ 7 Container unter OpenVZ 7 auf einen großen Root-Server.

    Dessen Bandbreite wird präzise auf 9 MB/s (9 MB/s entspricht 72 Mbit/s) begrenzt.

  • hallo,


    >Das habe ich mit Hilfe des SFTP-Client von beiden Servern aus zum Zielserver in Berlin >gemessen.


    ah, es steht also nirgends festgeschrieben. also könnte es je nach "tagesform" auch erheblich mehr sein...


    >Damit man dein Problem besser eingrenzen kann, meinte ich mit der Frage "Welchen Server - genaue Produktbezeichnung - hast du denn?" deinen Problemserver.


    der server mit dem gestern die probleme bestanden war ein RS 1000 SAS G7 SE a2.
    der mit dem ich heute nacht bzw morgen früh versuchen werde etwa 120 gig zu übertragen ist ebenfalls ein RS 1000 SAS G7 SE a2.

    >Wenn ich mich richtig daran erinnern kann, wurde in diesem Forum schon mal das Tool TC, >welches ich aber auch nicht nutze, zur Bandbreitenbegrenzung vorgeschlagen.


    ja, den thread mit dem vorschlag habe ich ja oben verlinkt. leider steht da nur "schau ich mir mal an", aber keine weiteren berichte oder gar eine lösung.


    >Ich persönlich regle die Bandbreitenbegrenzung über einen meiner vielen OpenVZ 7 Container unter OpenVZ 7 auf einen großen Root-Server.

    >Dessen Bandbreite wird präzise auf 9 MB/s (9 MB/s entspricht 72 Mbit/s) begrenzt.


    du benutzt also eine extra beschränkte vm auf einem rootserver bei einem andren provider als backup ziel!?
    elegant. leider geht das ja bei hidrive nicht. und ich habe auch nicht nur einen zielserver für meine backups...


    jay

  • du benutzt also eine extra beschränkte vm auf einem rootserver bei einem andren provider als backup ziel!?


    Nein, auf einen großen Root-Server (RS 6000 G7 SE) bei Netcup als Gateway-Server. Denn auf den dedizierten Server mit dedizierter Gigabit-Leitung beim Fremdanbieter brauche ich die Bandbreite nicht künstlich zu drosseln.

  • hallo fisi,

    diese umschreibungen die oft missverständnisse erzeugen find ich "lustig".

    es geht aber auch garnicht eigentlich um diesen bestimmten provider.

    den onlinespeicher "in berlin" hab ich auch nur deshalb, weil die mir irgendwann mal als kundenbindungsangebot einen unschlagbaren preis dafür gemacht hatten.

    so finden die häufigeren backups zu mir nachhaus statt.

    mittlerweile habe ich auch eine recht gute 100er anbindung zuhause.

    vom nc server 5 hops und 5millisekunden latenz.

    da gehn also vermutlich bei großen backups mehr als 80mbit im schnitt drüber.

    mein eigentliches problem besteht also noch immer :-/

    jay

  • kleiner zwischenstatus:

    vorab: das bezieht sich nicht auf den server gestern, sondern auf den heute, bei dem ich 120gb übertragen muss.


    der berliner ist schuldlos.

    dorthin kann ich problemlos daten mit 140megabit übertragen (zumindest solange, bis der netcup shaper zuschlägt).

    wenn ich die agb richtig verstanden habe, so sollte bei meinem rs server das shaping überhaupt erst aktiv werden, wenn ich über 10tb liege. und auch dann erst nach 60 minuten dauerfeuer.


    was das ganze quasi unbenutzbar macht ist nun wider erwarten erstmal nicht der shaper, sondern die cpu! mit tar komme ich auf 140mbit/s. mit tar.gz kommt das ganze auf etwa 80kilobit/s.

    und das obwohl das ding 2 angeblich dedizierte kerne hat!

    es kann doch nicht sein, daß nur das packen den tar prozess auf ein 1400stel dezimiert!??


    kommentare erwünscht :)


    jay:


    ps: nach wie vor aber auch gerne ein konkretes verfahren, den traffic auf 80mbit/s zu begrenzen.

    mein ihr, ich sollte dazu ein eigenes thema aufmachen?