Routing 1&1 Versatel

    Hallo zusammen,


    seit Anfang Dezember '21 ist das Routing von und zu 1&1 Versatel (also nicht die Hosting-Sparte, sondern Access, DSL und so) deutlich schlechter geworden:


    pasted-from-clipboard.png


    Vor einem Jahr waren es noch gute <20ms, dann ist es hoch auf etwas über 20ms (immer noch ordentlich), letztes Jahr gab's dann mal einen Faserbruch und Probleme bei DECIX, dann war wieder ok, aber seit Dezember eben konstant auf 40ms oder sogar darüber, außerdem mit mehr Gezappel (also Leitung höher ausgelastet). Liegt offenbar daran, daß mittlerweile über AMS-IX geroutet wird, wenn man dem traceroute glauben darf:

    Code
     1  94.16.112.2 (94.16.112.2)  0.429 ms  0.386 ms  0.403 ms
 2  ae3-4019.bbr02.anx84.nue.de.anexia-it.net (144.208.211.10)  0.338 ms  0.358 ms  0.341 ms
 3  ae0-0.bbr01.anx84.nue.de.anexia-it.net (144.208.208.139)  10.929 ms  10.911 ms  10.891 ms
 4  ae2-0.bbr02.anx25.fra.de.anexia-it.net (144.208.208.141)  10.810 ms  10.888 ms  10.993 ms
 5  ae0-0.bbr01.anx25.fra.de.anexia-it.net (144.208.208.143)  10.741 ms  10.725 ms  10.702 ms
 6  ae2-0.bbr01.anx63.ams.nl.anexia-it.net (144.208.208.210)  10.672 ms  10.725 ms  10.708 ms
 7  ae1-10.bbr02.anx63.ams.nl.anexia-it.net (144.208.208.157)  10.589 ms  10.580 ms  10.569 ms
 8  xnl1002aihb001.versatel.de (80.249.209.109)  11.182 ms  11.233 ms  11.446 ms
 9  62.214.38.173 (62.214.38.173)  30.313 ms  26.901 ms  32.580 ms
10  i59F4BC__.versanet.de (89.244.188.__)  38.666 ms !X  38.496 ms !X  39.305 ms !X

    Laut einem Kontakt bei Versatel gibt es wohl kein direktes Peering zwischen netcup/Anexia und VT, die AS-Pfade in FFM sind alle länger weil dazwischen immer ein Carrier ist (NTT, Telia, DTAG etc.), in AMS kommt die Route über den Route-Server (d.h. der vom DECIX in FFM wird noch nicht benutzt?).


    Wie es vor 12/21 genau war, kann ich nicht sagen, aber die Zeiten von da sehen schon eher nach DECIX aus.


    Das geht doch bestimmt wieder besser, oder? VT ist ja mittlerweile schon einer der größten deutschen Access-Provider...


    Achja, als kleines Kuriosum noch ein traceroute zum DTAG VDSL eines Freundes. Obwohl die Route bis zum 4. Hop identisch ist, sind die Zeiten beim 3. und 4. Router deutlich unterschiedlich... Interessant, aber wahrscheinlich nicht so wild...

    Code
     1  94.16.112.2 (94.16.112.2)  0.233 ms  0.224 ms  0.196 ms
 2  ae3-4019.bbr02.anx84.nue.de.anexia-it.net (144.208.211.10)  0.399 ms  0.396 ms  0.374 ms
 3  ae0-0.bbr01.anx84.nue.de.anexia-it.net (144.208.208.139)  5.169 ms  5.144 ms  5.122 ms
 4  ae2-0.bbr02.anx25.fra.de.anexia-it.net (144.208.208.141)  14.498 ms  14.506 ms  14.662 ms
 5  80.156.161.185 (80.156.161.185)  3.925 ms  4.188 ms  4.162 ms
 6  p57ba8dc9.dip0.t-ipconnect.de (87.186.141.201)  8.159 ms  8.054 ms  8.112 ms
 7  p57ba8dc9.dip0.t-ipconnect.de (87.186.141.201)  7.740 ms  7.815 ms  7.777 ms
 8  p5b0bca__.dip0.t-ipconnect.de (91.11.202.___)  15.781 ms !X  15.765 ms !X  15.777 ms !X


    Grüße

    Jakob

    Wie sieht das über IPv6 aus?


    Ein traceroute hat natürlich immer nur begrenzt Aussagekraft, da die ICMP Nachrichten von den Routern mit geringer Priorität erzeugt werden. Das sollte man immer im Hinterkopf haben.


    Wenn man zynisch ist, könnte man sagen: Bis zum Eintritt ins Versatel Netz sind es nur 10 ms. Erst ab da treten die Probleme auf. Es ist natürlich denkbar, dass Versatel zu Frankfurt den kürzeren Draht hat, und deshalb auch im Versatel Netz weniger Zeit verbraten wird.


    Hast du bei anderen Routen über Amsterdam auch diesen Zeitverlust? Und tritt der Zeitverlust auch bei "echten" Applikationsdaten auf und nicht nur bei traceroutes oder Pings?


    Wenn du nicht mehr genau weißt, woher die Route früher ging, ist da natürlich viel Spekulation dabei.

    IPv6 sieht noch schlechter aus, war aber schon länger sehr schwankend... traceroute gibt wenig her, reverse DNS ist da leider nicht gut gepflegt...

    pasted-from-clipboard.png


    Dass traceroute/ICMP mit etwas Vorsicht zu genießen ist, ist schon klar. Ich gehe aber mal davon aus, daß nicht von einem Tag auf den anderen alle Router langsamer geworden sind.


    Wenn man zynisch ist, könnte man das so sehen, aber wir wollen hier doch konstruktiv sein ;)

    FFM <-> AMS sind alleine Luftlinie ~ 350km, und der Weg muß ja auch wieder in die andere Richtung zurückgelegt werden...


    Transferraten sind weiterhin ok (soweit ich gesehen habe), Überlast gibt's also wohl nicht. Bei interaktiven Anwendungen merkt man das aber schon etwas. Und würde ich auch nicht gerade als Idealzustand betrachten...


    Früheren Traceroute (bzw. mtr report) habe ich leider nur von der Gegenrichtung gefunden:

    Code
      2.|-- stu1902aihr001.versatel.d  0.0%    10   12.8  12.7  12.5  13.4   0.0
  3.|-- 62.214.37.253              0.0%    10   18.7  22.0  18.5  50.9  10.1
  4.|-- 62.214.37.134              0.0%    10   18.9  18.9  18.4  19.3   0.0
  5.|-- gw-decix.ffm.netcup.net    0.0%    10   18.9  22.9  18.8  52.8  10.6
  6.|-- 4010.nbg-juniper1.netcup.  0.0%    10   22.9  28.1  22.7  74.7  16.3
  7.|-- ___________                0.0%    10   23.0  23.0  22.8  23.3   0.0

    Im Gegensatz zu heute:

    Ich hatte damals ein Ticket aufgemacht. Die Antwort:

    Vielleicht hilft es ja, wenn du auch nochmal nachfragst. Meine Ticket-ID ist [NC#2022012010006092].

    RS Brezn | VPS 500 G8 Plus | 2× VPS Karneval 2020 | VPS Pocket Admin | RS Cyber Quack | VPS 500 ARM


    Dieses Gebäude hat mir die Vorfahrt genommen! *hup*

    Gefällt mir 1

    So sieht übrigens bei mir die Route von netcup zu mir aus:

    Code
     Host                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. gw02.netcup.net                              0.0%    35    0.3   3.2   0.2  55.1  10.7
 2. ae3-4018.bbr01.anx84.nue.de.anexia-it.net    0.0%    35    1.9   0.9   0.3   6.0   1.1
 3. ae2-0.bbr02.anx25.fra.de.anexia-it.net       0.0%    34   13.4  13.5  10.8  40.0   6.6
 4. ae0-0.bbr01.anx25.fra.de.anexia-it.net       0.0%    34   10.9  11.8  10.8  28.0   3.0
 5. ae2-0.bbr01.anx63.ams.nl.anexia-it.net       0.0%    34   10.8  13.0  10.7  51.3   8.0
 6. ae1-10.bbr02.anx63.ams.nl.anexia-it.net      0.0%    34   10.6  13.5  10.5  66.0  11.3
 7. xnl1002aihb001.versatel.de                   0.0%    34   11.5  12.9  11.3  32.8   3.9
 8. i59F44622.versanet.de                        0.0%    34   18.9  21.0  18.7  37.8   4.9
 9. iXXXXXXXX.versanet.de                        0.0%    34   25.8  25.9  25.7  26.5   0.2


    Und so bei meinem Patenonkel ausm Nachbardorf mit DTAG:

    Code
     Host                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. gw02.netcup.net                              0.0%    33    0.3   2.5   0.2  53.6   9.5
 2. ae3-4018.bbr01.anx84.nue.de.anexia-it.net    0.0%    33    0.5   1.7   0.4  14.1   3.3
 3. ae2-0.bbr02.anx25.fra.de.anexia-it.net       0.0%    33    5.3   6.3   3.5  45.8   7.8
 4. 80.156.161.185                              15.2%    33    4.0 582.2   3.9 5115. 1364.
 5. p5b17cd35.dip0.t-ipconnect.de                0.0%    33    8.4   8.2   8.1   8.6   0.1
 6. pXXXXXXXX.dip0.t-ipconnect.de                0.0%    32    9.9  10.0   9.8  10.9   0.3


    Die Übergabe in Frankfurt ist meiner Meinung nach auch wesentlich sinnvoller als der Umweg über Amsterdam. Und über die Zeit müssen wir erst gar nicht sprechen...


    EDIT:
    Und so siehts zu einer Freundin in Köln aus (netcologne):

    Code
     Host                                           Loss%   Snt   Last   Avg  Best  Wrst StDev
 1. gw02.netcup.net                              0.0%    53    0.3   4.7   0.2  68.1  14.2
 2. ae3-4018.bbr01.anx84.nue.de.anexia-it.net    0.0%    53    0.6   0.7   0.3   3.4   0.6
 3. ae2-0.bbr02.anx25.fra.de.anexia-it.net       0.0%    53    7.5   6.0   3.4  50.0   8.5
 4. rtdecix2-po1-2.netcologne.de                 0.0%    53   11.4  12.8  11.4  24.6   2.8
 5. ip-core-eup1-ae3.netcologne.de               0.0%    52   11.2  11.7  11.2  16.1   0.8
 6. bras-vc1-ae1.netcologne.de                   0.0%    52    6.6   7.1   6.6  19.6   1.9
 7. xdsl-XXX-XXX-XXX-XXX.nc.de                   0.0%    52   15.9  16.2  15.6  17.2   0.3

    Auch hier Übergabe in Frankfurt. Schade, dass Theo nicht mehr bei Anexia ist. Das waren Zeiten, als man bei dem Thema noch ein offenes Ohr gefunden hat...

    RS Brezn | VPS 500 G8 Plus | 2× VPS Karneval 2020 | VPS Pocket Admin | RS Cyber Quack | VPS 500 ARM


    Dieses Gebäude hat mir die Vorfahrt genommen! *hup*

    Ich würde mich von dem Gedanken verabschieden, dass der kürzeste Weg immer der beste ist. 700km auf Glasfaser sind eine Handvoll Nanosekunden, das macht den Braten nicht fett. Es ist eher die Anzahl der Hops, die sich da niederschlägt.


    Klar ist es aus eurer Sicht schlecht gelaufen. Leute mit einer besseren Anbindung an Amsterdam leiden weniger unter der Umstellung.


    Von mir zu Hause aus sind es weniger als 20ms auf meinen Netcup Server, und das trotz Amsterdam. Der Weg von mir nach Amsterdam sind 8 ms. Wenn ich einen trace zu Heise mache, geht es über Frankfurt. Bis Frankfurt brauche ich 10 ms. Für mich würde es in der Praxis vermutlich keinen Unterschied machen, ob ich über Frankfurt oder Amsterdam geroutet werde. Nach Frankfurt brauche ich so oder so 10 ms, egal ob über Amsterdam oder direkt.

    Zitat von jah

    Achja, als kleines Kuriosum noch ein traceroute zum DTAG VDSL eines Freundes. Obwohl die Route bis zum 4. Hop identisch ist, sind die Zeiten beim 3. und 4. Router deutlich unterschiedlich... Interessant, aber wahrscheinlich nicht so wild...

    Anexia verwendet offensichtlich MPLS, da ist das normal.

    Ich hatte die Problematik mit dem Routing von Versatel zu Netcup über Amsterdam auch schon in den Latenzen festgestellt, bin leider bloß noch nicht dazu gekommen, ein entsprechendes Ticket aufzumachen.


    Die Antwort des Support, dass immer das schnellste Routing gewählt wird, ist natürlich richtig. Allerdings kann beim Routing natürlich nur aus den vorhandenen Routen gewählt werden. Fehlt ein Stück auf der vormals besten Route, gibt es die Route halt einfach nicht mehr. Das Problem gab es wohl auch schon einmal mit Vodafone und damals wurde das auch behoben. Außerdem kann es auch durchaus sinnvoll sein, Kapazitäten zu erhöhen, falls aufgrund von Überlastung andere Routen gewählt werden.


    Für mich sieht das Routing so aus:

    In der Tat sieht man an den Traces, dass die Verzögerung bei mir nicht durch die Glasfaserstrecken zwischen Frankfurt und Amsterdam kommen, sondern durch das Routing innerhalb von Versatel nach Amsterdam. Für meinen Standort (Großraum Karlsruhe) ist das Routing via Amsterdam also kein guter Ansatz.


    Ich denke, man könnte hier Besserung schaffen, indem man ein direktes Peering zwischen Anexia und Versatel in Frankfurt ermöglicht. Für die Versatel-Kunden, für die ein Routing über Amsterdam aus was auch immer für Gründen besser ist, kann der Routing-Algorithmus ja trotzdem die bessere Route wählen. Ich denke nicht, dass dadurch einem Netcup-Kunden Nachteile entstehen würden.

    Zitat von nebula76

    Für die Versatel-Kunden, für die ein Routing über Amsterdam aus was auch immer für Gründen besser ist, kann der Routing-Algorithmus ja trotzdem die bessere Route wählen.

    Wird man das so einfach trennen können? IP-Adressen haben nicht unbedingt einen geografischen Bezug.

    Zitat von frank_m

    Ich würde mich von dem Gedanken verabschieden, dass der kürzeste Weg immer der beste ist. 700km auf Glasfaser sind eine Handvoll Nanosekunden, das macht den Braten nicht fett. Es ist eher die Anzahl der Hops, die sich da niederschlägt.

    Ja, 700km Glas sind nur 3,5ms, aber dieser Weg wird nicht ohne aktive Technik überbrückt, und die kostet Latenz, die sich auch nicht einfach so wegdiskutieren läßt.


    Ich sehe, daß die Anbindung an meinen Access-Provider schlechter ist, als sie sein könnte und schon war. Das sollte doch schon aus Eigeninteresse von Netcup/Anexia behoben werden. Ein so ausschweifendes Routing belastet nicht nur eigene Strecken unnötig, sondern auch fremde.

    Zitat von frank_m

    Wird man das so einfach trennen können? IP-Adressen haben nicht unbedingt einen geografischen Bezug.

    Üblich ist m.W. immer noch hot-potato routing. D.h. man übergibt so früh wie möglich an den nächsten Provider.

    In diesem Fall (Peering in AMS und FFM, AMS ist für Client günstiger, FFM ist für Server günstiger) wäre es so, daß Pakete vom Client in AMS übergeben werden (weil das IGP des Access-Providers diesen Weg bevorzugt), die Pakete vom Server aber in FFM.


    AMS besser erreichbar als FFM dürfte für einen deutschen Kunden aber sehr unüblich sein... magst du sagen, wo du bist und welchen Provider du hast?

    Ich bin bei der deutschen Glasfaser. Die haben ursprünglich holländische Wurzeln und setzen stark auf Kooperationen mit niederländischen Partnern, u.a. auch beim Transit. Da ist man schnell in Amsterdam.


    Aus Sicht von Netcup muss man natürlich das "Große Ganze" im Blick behalten. Vielleicht hat es andere Vorteile, mehr Traffic über Amsterdam zu routen, die wir nicht einschätzen können.


    Ich bin im Thema Transit Routing zu wenig drin, um beurteilen zu können, wie einfach es ist, deutsche Kunden über Frankfurt anstatt über Amsterdam zu routen, oder welche Nachteile das vielleicht auch hat. Ich weiß auch nicht, was es für die globalen Routing Tabellen heißt, wenn plötzlich übriggebliebene IPv4 Adressen aus Neuseeland nach Hamburg, Düsseldorf oder Nürnberg geroutet werden müssen.


    Deshalb kann ich eure Wünsche da sehr gut nachvollziehen. Wenns schlechter wird, ist immer doof. Aber Ende letzten Jahres wurde ja ein paar mal was am Routing umgestellt, weil es zwischendurch Probleme gab. Ich hatte damals mal eine Zeitlang das Problem, dass der Ping abends zwischen 18 und 22 Uhr schlechter wurde. Nicht dramatisch, aber messbar. Das war ungefähr Ende November weg.

    Good news everyone! ^^

    Seit 12 Uhr sieht es wieder gut aus:

    pasted-from-clipboard.png

    Code
      1.|-- 94.16.112.2                                                 0.0%    10    0.5   0.4   0.3   0.5   0.1
  2.|-- ae3-4019.bbr02.anx84.nue.de.anexia-it.net (144.208.211.10)  0.0%    10   23.4   3.7   0.4  23.4   7.1
  3.|-- ae0-0.bbr01.anx84.nue.de.anexia-it.net (144.208.208.139)    0.0%    10    4.0   3.9   3.7   4.0   0.1
  4.|-- ae2-0.bbr02.anx25.fra.de.anexia-it.net (144.208.208.141)    0.0%    10   88.0  12.2   3.6  88.0  26.6
  5.|-- fra020isp005.versatel.de (80.81.193.80)                     0.0%    10    3.8   4.0   3.8   4.2   0.2
  6.|-- 62.214.38.173                                               0.0%    10   10.6  10.9  10.5  12.9   0.7
  7.|-- i59F4B4__.versanet.de (89.244.180.___)                      0.0%    10   21.9  22.0  21.7  22.5   0.2

    Support hatte vorgestern Abend gemeldet, daß das an die "entsprechende Abteilung" weitergeben wurde, heute morgen nochmal kurze Meldung. Na hoffentlich bleibt das so :saint:

    Der Weg zu netcup sieht bei mir jetzt auch gut aus. Aber der Weg von netcup zu mir geht immer noch über Amsterdam. :/

    RS Brezn | VPS 500 G8 Plus | 2× VPS Karneval 2020 | VPS Pocket Admin | RS Cyber Quack | VPS 500 ARM


    Dieses Gebäude hat mir die Vorfahrt genommen! *hup*

    IPv6 sieht noch etwas komisch aus... in Richtung Versatel ok (die fehlenden Hops vor dem letzten liegen glaub ich an meinem DSL-Router):

    In Richtung netcup/Anexia noch etwas komisch, 20ms bis FRA ist normal bei meinem Anschluss, aber über 10ms von FRA nach NBG ist unüblich viel. Naja, jammern auf hohem Niveau, ist ja jetzt wieder viel besser!

    Code
    HOST: _________                                                      Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- fritz.box (2001:16b8:245c:de00:de15:c8ff:febc:831c)             0.0%    10    1.2   1.4   1.0   2.6   0.5
  2.|-- 2001:1438::62:214:63:95                                         0.0%    10   18.8  17.5  13.7  22.3   2.6
  3.|-- 2001:1438:0:1::5:1f2                                            0.0%    10   11.6  14.3  11.6  25.3   4.9
  4.|-- 2001:1438:0:1::5:72                                            10.0%    10   34.3  22.8  18.0  42.8   9.2
  5.|-- ae3-1337.bbr02.anx25.fra.de.anexia-it.net (2001:7f8::a5e9:0:3) 10.0%    10   45.5  22.5  18.4  45.5   8.7
  6.|-- 2a00:11c0:47:1:47::140                                         10.0%    10   21.6  21.9  21.5  23.0   0.5
  7.|-- 2a00:11c0:47:3::21                                             10.0%    10   21.9  27.5  21.8  71.4  16.4
  8.|-- ____.__ (2a03:4000:28:________________)                        10.0%    10   33.4  33.6  33.1  34.4   0.4

    Mein Anschluss -> netcup:

    Code
     1. 172.28.8.1
 2. i5e86c6c0.versanet.de
 3. i59f44624.versanet.de
 4. i59f44622.versanet.de
 5. 62.214.39.216
 6. ae3-1337.bbr02.anx25.fra.de.anexia-it.net
 7. ae1-0.bbr01.anx84.nue.de.anexia-it.net
 8. netcup-gw.bbr01.anx84.nue.de.anexia-it.net
 9. server2.XXXX.de


    netcup -> mein Anschluss:

    Code
     1. gw02.netcup.net
 2. ae3-4018.bbr01.anx84.nue.de.anexia-it.net
 3. ae2-0.bbr02.anx25.fra.de.anexia-it.net
 4. ae0-0.bbr01.anx25.fra.de.anexia-it.net
 5. ae2-0.bbr01.anx63.ams.nl.anexia-it.net
 6. ae1-10.bbr02.anx63.ams.nl.anexia-it.net
 7. xnl1002aihb001.versatel.de
 8. i59F44622.versanet.de
 9. iXXXXXXXX.versanet.de

    RS Brezn | VPS 500 G8 Plus | 2× VPS Karneval 2020 | VPS Pocket Admin | RS Cyber Quack | VPS 500 ARM


    Dieses Gebäude hat mir die Vorfahrt genommen! *hup*

    Zitat von frank_m

    Bei mir ist es umgekehrt. Hinweg geht noch über Amsterdam, Rückweg biegt in Frankfurt ab, macht einen Hop in Düsseldorf und ist dann im Zielnetz auf dem Weg zu mir.

    Nun laufen bei mir beide Wege direkt über Frankfurt, und der Ping hat sich fast halbiert auf 11 ms. Hat sich bei euch auch was geändert?

    Bei sieht’s jetzt auch auf allen Protokollen und in alle Richtungen gut aus. Übergabe scheint in Frankfurt zu sein und bei mir hat’s sich auch halbiert auf 12-13 ms.

    RS Brezn | VPS 500 G8 Plus | 2× VPS Karneval 2020 | VPS Pocket Admin | RS Cyber Quack | VPS 500 ARM


    Dieses Gebäude hat mir die Vorfahrt genommen! *hup*