IPv6 Failover Probleme mit dem Routing

Mikey · 27. Februar 2021

Hallo zusammen,

folgendes Problem besteht seit mindestens einer Woche mit meinem Server Cluster + IPv6 Failover (davor hab ich das ganze ignoriert und nicht im Monitoring gehabt). Bevor ich jetzt ein Support Ticket aufmache frage ich hier einmal nach, ob bei anderen Kunden das gleiche Phänomen auftritt. Ich konnte hier bereits Beiträge lesen, wo aber meistens der Fall anders aussieht.

Ziel ist es mein Cluster auf lange Sicht IPv4 und IPv6 ready zu machen.

Zu dem System:

3x RS2000 G8, alle auf Debian Buster neuste Updates werden regelmäßig eingespielt. Kernel läuft ein 4.19 er. Macht soweit auch keine Probleme.

Firewall und IP Config ist bis auf das Gateway und die einzelnen IP's bei allen Systemen identisch (via Ansible) eingerichtet und funktioniert auch soweit.

Was aktuell keine Probleme macht (via DNS oder direkter IP kein Unterschied):

Ping 4 von netcup Server <-> netcup Server (via Failover v4 bzw. die servereigene IPv4 geht beides)
Ping 6 von netcup Server <-> netcup Server (via Failover v6 bzw. die servereigene IPv6 geht beides)
Ping 4 von externem Server <-> netcup Server (via IPv4 und Failover v4 in beide Richtungen kein Problem)
Ping 6 von netcup Server zum externem Server (1x von der Failover v6 und einmal von der servereigenen v6 IP)
Ping 6 von externem Server zum netcup Server (auf die servereigene IPv6, Failover v6 geht nicht siehe unten)

Was aktuell Probleme macht, wo ich mir noch nicht zu 100% sicher bin, ob es wirklich in meinem Verantwortungsbereich liegt.

Ping 6 von externen Server zum netcup Server (bekomme hier zur Failover v6 ein: "Destination unreachable: Address unreachable")

Auf den Servern sehe ich bei dem Interface mit der Failover v6 ein "scope global deprecated" anstelle von "scope global" bei der servereigenen IPv6.

Das komische an dem ganzen ist, dass es so aussieht, als würde die IPv6 auf keinen Server zeigen (Zuordnung im SCP habe ich auch schon gewechselt) bzw, der Router nicht wissen, was damit passieren soll.

Anbei mal ein paar MTRs von und zum Server. (Man vergleiche die Hops bei v6), da diese leider keine Hostnames haben, gehe ich davon aus, dass das Problem am Routing direkt vor meinem Server hängt.

Code

IPv4 vom Server nach extern:

Start: 2021-02-27T15:08:20+0100
HOST: rcluster2                                                             Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS197540 152.89.104.2                                                   0.0%    10    0.7   6.1   0.4  36.9  12.3
  2. AS47147  ae3-4019.bbr02.anx84.nue.de.anexia-it.net (144.208.211.10)     0.0%    10    0.5   3.1   0.5  23.0   7.0
  3. AS47147  hetner-gw.bbr02.anx84.nue.de.anexia-it.net (144.208.211.57)   0.0%    10    0.6   0.8   0.5   1.7   0.4
  4. AS24940  core11.nbg1.hetner.com (213.239.229.161)                      0.0%    10    0.8   1.8   0.6   9.6   2.8
  5. AS24940  spine1.cloud1.nbg1.hetner.com (85.10.250.210)                 0.0%    10    1.1   2.9   1.0  13.4   3.9
  6. AS???    ???                                                           100.0    10    0.0   0.0   0.0   0.0   0.0
  7. AS24940  12341.your-cloud.host (116.203.161.69)                         0.0%    10    0.6   0.8   0.6   1.5   0.3
  8. AS24940  xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx    0.0%    10    0.8   1.0   0.7   1.7   0.3

###########################################
IPv6 vom Server nach extern:

Start: 2021-02-27T15:06:11+0100
HOST: rcluster2                                              Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS197540 2a03:4000:39::2                                 0.0%    10    0.9   0.8   0.3   1.6   0.4
  2. AS47147  2a00:11c0:47:3::32                              0.0%    10    7.5   1.4   0.6   7.5   2.1
  3. AS47147  2a00:11c0:47:3::2b                              0.0%    10    0.6   1.2   0.5   3.7   0.9
  4. AS24940  core11.hetner.de (2a01:4f8:0:3::22d)           0.0%    10    0.6   0.9   0.6   1.7   0.3
  5. AS24940  2a01:4f8:0:e0c0::a006                           0.0%    10    1.3   8.7   1.3  47.3  15.3
  6. AS???    ???                                            100.0    10    0.0   0.0   0.0   0.0   0.0
  7. AS24940  12341.your-cloud.host (2a01:4f8:0:e0c0::2a1a)   0.0%    10    1.0   0.9   0.7   1.2   0.1
  8. AS24940  2a01:4f8:xxxxxxxxxxx                            0.0%    10    0.8   0.8   0.8   1.1   0.1

###########################################
IPv4 von extern nach Server:

Start: 2021-02-27T15:11:30+0100
HOST: prod-de-nbg-hn-02                                                      Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???    172.31.1.1                                                      0.0%    10    7.6   6.7   3.9   8.5   1.2
  2. AS24940  12341.your-cloud.host (116.203.161.69)                          0.0%    10    0.3   0.3   0.2   0.7   0.1
  3. AS24940  static.65.161.203.116.clients.your-server.de (116.203.161.65)   0.0%    10   14.0  94.0  14.0 294.4 112.6
  4. AS24940  static.88-198-253-5.clients.your-server.de (88.198.253.5)       0.0%    10    1.0   1.1   0.9   1.8   0.3
  5. AS24940  core11.nbg1.hetner.com (213.239.208.221)                       0.0%    10   18.0   3.7   0.5  18.0   5.5
  6. AS24940  juniper5.dc2.nbg1.hetner.com (213.239.229.162)                 0.0%    10    0.7   1.1   0.4   4.9   1.4
  7. AS47147  ae7-0.bbr02.anx84.nue.de.anexia-it.net (144.208.211.56)         0.0%    10    0.8   0.8   0.6   1.3   0.2
  8. AS47147  netcup-gw.bbr02.anx84.nue.de.anexia-it.net (144.208.211.11)     0.0%    10    0.6   7.3   0.5  67.0  20.9
  9. AS197540 xxxxxxxxxxxxx                                                   0.0%    10    0.8   1.0   0.7   2.7   0.6

###########################################
IPv6 von extern nach Server:

Start: 2021-02-27T15:12:23+0100
HOST: prod-de-nbg-hn-02                                          Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS???    fe80::                                              0.0%    10    7.1   6.2   4.8   7.1   0.8
  2. AS24940  12341.your-cloud.host (2a01:4f8:0:e0c0::2a1a)       0.0%    10    0.6   0.6   0.5   0.7   0.1
  3. AS24940  2a01:4f8:0:e0c0::2a01                               0.0%    10    2.4  59.3   2.4 414.9 130.2
  4. AS24940  2a01:4f8:0:e0c0::a0dd                               0.0%    10    1.3  13.1   0.9  83.2  27.2
  5. AS24940  2a01:4f8:0:e0c0::a0d1                               0.0%    10    0.7   6.3   0.6  27.4   9.5
  6. AS24940  juniper5.dc2.nbg1.hetner.com (2a01:4f8:0:3::22a)   0.0%    10    0.5   0.7   0.5   1.5   0.3
  7. AS47147  2a00:11c0:47:3::2a                                  0.0%    10    0.6   0.9   0.6   1.9   0.4
  8. AS???    ???                                                100.0    10    0.0   0.0   0.0   0.0   0.0

###########################################
Weiterer IPv6 von extern nach Server:

Start: Sat Feb 27 15:15:25 2021
HOST: gra.lg.oh.net                                                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS16276 2001:41d0:302:1000::1                                            0.0%     3    0.2   0.3   0.2   0.7   0.0
  2. AS???   fd00::ffe                                                        0.0%     3    0.2   0.3   0.2   0.3   0.0
  3. AS16276 2001:41d0:302:c15:ffff:ffff:ffff:ffff                            0.0%     3    0.5   0.5   0.4   0.5   0.0
  4. AS16276 po139.gra-z1g2-a75.fr.eu (2001:41d0:0:1:1:c15:2:1)               0.0%     3    0.6   0.6   0.5   0.6   0.0
  5. AS16276 be121.gra-d1-a75.fr.eu (2001:41d0::22a)                          0.0%     3    0.7   0.6   0.5   0.7   0.0
  6. AS16276 be100-100.gra-g1-nc5.fr.eu (2001:41d0::42c)                      0.0%     3    1.7   2.0   1.7   2.2   0.0
  7. AS16276 2001:41d0::435                                                  33.3%     3    9.2   9.3   9.2   9.3   0.0
  8. AS16276 2001:41d0::257a                                                 66.7%     3    9.2   9.2   9.2   9.2   0.0
  9. AS???   ae3-1337.bbr02.anx25.fra.de.anexia-it.net (2001:7f8::a5e9:0:3)   0.0%     3    9.3   9.3   9.3   9.3   0.0
 10. AS47147 2a00:11c0:47:1:47::140                                           0.0%     3   12.3  12.3  12.3  12.4   0.0
 11. AS???   ???                                                             100.0     3    0.0   0.0   0.0   0.0   0.0

###########################################
Weiterer IPv6 von extern nach Server (direkte IPv6):

Start: Sat Feb 27 15:18:59 2021
HOST: gra.lg.oh.net                                                         Loss%   Snt   Last   Avg  Best  Wrst StDev
  1. AS16276 2001:41d0:302:1000::1                                            0.0%     3    0.2   0.3   0.2   0.5   0.0
  2. AS???   fd00::ffe                                                        0.0%     3    0.3   0.3   0.2   0.4   0.0
  3. AS16276 2001:41d0:302:c15:ffff:ffff:ffff:ffff                            0.0%     3    0.4   0.4   0.4   0.5   0.0
  4. AS16276 po139.gra-z1g1-a75.fr.eu (2001:41d0:0:1:1:c15:1:1)               0.0%     3    0.5   0.5   0.5   0.6   0.0
  5. AS16276 be120.gra-d1-a75.fr.eu (2001:41d0::228)                          0.0%     3    0.6   0.6   0.5   0.6   0.0
  6. AS???   ???                                                             100.0     3    0.0   0.0   0.0   0.0   0.0
  7. AS???   ???                                                             100.0     3    0.0   0.0   0.0   0.0   0.0
  8. AS???   ???                                                             100.0     3    0.0   0.0   0.0   0.0   0.0
  9. AS???   ae3-1337.bbr02.anx25.fra.de.anexia-it.net (2001:7f8::a5e9:0:3)   0.0%     3    9.2   9.3   9.2   9.4   0.0
 10. AS47147 2a00:11c0:47:1:47::140                                           0.0%     3   13.2  13.0  12.4  13.4   0.0
 11. AS47147 2a00:11c0:47:3::21                                               0.0%     3   12.3  12.3  12.2  12.5   0.0
 12. AS197540xxxxxxServereigeneIPv6                                           0.0%     3   12.4  12.5  12.4  12.6   0.0

Alles anzeigen

Mikey · 27. Februar 2021

Sorry für den doppelt Post aber das hier ist mir auch noch aufgefallen, war aber für das Erstellen zu lange:

Was ich komisch finde, sind die letzen beiden MTRs von extern nach Failover v6 vs. direkte IPv6 man sieht, dass vor meinem Server noch die "2a00:11c0:47:3::21" kommt. Diese IP ist bei der Failover nicht erreichbar?

Bin gerade etwas ratlos, ob ich hier etwas nicht verstehe, oder ob die FailoverIPv6 einfach nicht sauber auf meinen Server zeigt. Ich weiß auf jeden Fall, dass die Failover IPv6 damals als ich sie initial via Ansible eingerichtet hatte ohne Probleme erreichbar war.

So nachdem dieses Buch geschrieben ist, hoffe ich auf konstruktives Feedback. Echt nervig, wenn etwas nicht so tut, wie man es gerne hätte....

H6G · 27. Februar 2021

Prinzipiell mach jedes Routing da Probleme, weil die 'drunterliegenden Ziele (IPs oder MAC Adressen) vom Router gecached werden.

Hier könnte es helfen, wenn du erst Pakete von deinem Server losschickst.

Zum Thema depricated: https://www.netcup-wiki.de/wik…dresse_konfigurieren#IPv6

Hier sind die sysctl Einträge sehr wichtig.

Mikey · 27. Februar 2021

Zu den sysctl Einträgen: Habe ich auch bereits getestet, dass war gestern (ja apply und reboot brachten dort auch nichts). Die Einträge sind laut Commands aktiv und werden soweit korrekt genutzt.

Das mit dem erst Pakete von meinem Server los senden: Müsste das nicht durch die Pings bereits erledigt sein (sofern ich als Absender die Failover IPv6 nutze?), oder muss ich da etwas weiteres beachten?

Habe gerade via mtr nochmal geschaut, jetzt bekomme ich von der Failover v6 gar keinen Host in Richtung extern mehr angezeigt?!? (Wenn ich eine falsche Absender IPv6 angebe bekomme ich korrekterweise "mtr: Address not available")

Failover v6 nach netcup.de:

Code

Start: 2021-02-27T20:52:57+0100
HOST: rcluster2 Loss%   Snt   Last   Avg  Best  Wrst StDev

Servereigene IPv6 nach netcup.de:

Code

Start: 2021-02-27T20:56:45+0100
HOST: rcluster2            Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- 2a03:4000:2b:1000::2  0.0%     1    0.6   0.6   0.6   0.6   0.0
  2.|-- 2a03:4000::e01e       0.0%     1    0.4   0.4   0.4   0.4   0.0

Wie schon beschrieben die servereigene IPv6 funktioniert genau so wie ich es auch von der Failover IPv6 erwarten würde. Habe auch nochmal via "ip a" und "ip -6 r" geprüft, dort ist nichts auffälliges von meiner Seite aus.

Mikey · 24. März 2021

Sorry für den Doppelpost.

Das Problem ist behoben. An für sich war der Fehler auf meiner Seite, jedoch auch ein "komisches" verhalten von Debian.

Lösung:

Es müssen auf dem Server:

- Die eigentliche IPv6 (Server eigene) als network Interface angelegt werden

- Die Failover IPv6 (die man sich aussucht z.B. für DNS) angelegt werden

- UND die IPv6, welche die Failover IPv6 im SCP anzeigt, angelegt werden. (also IPv6 Failover + Link Local vom jeweiligen Server)

Der letzte Punkt war mein Problem und ich konnte ihn auch nachstellen. Ich habe damals 2019 mit Ansible die Netzwerk Konfiguration erstellt. Dann ging einmal alles und ich habe geschaut, was denn "überflüssiger" Ballast darin ist. Dabei konnte ich (geht immer noch) die oben letzte genannte IPv6 entfernen und das networking restarten, ohne dass es irgendeinen Impact zu Schein hatte. Großer Fehler, denn irgendwo scheint Debian für 1800 Sekunden alle Routen nochmals zu "cachen". Danach funktioniert das ganze via Failover IPv6 einfach nicht mehr.