VLAN - Probleme

    Ich habe wie der Kollege an dieser Stelle ein ähnliches Phänomen mit Ubuntu - Server (24 LTS).

    Hinter mehreren Servern steckt das 2,5 Gbit VLAN. Und ein einfaches Szenario funktioniert nicht: über Port 80 des Apache2 per CURL von Server zu Server über das VLAN eine Antwort zu erhalten. Egal wie, bei "Accept */*" bleibt jede Kiste untereinander stehen.

    Das Testszenario ist ganz simpel: über Netplan jeweils 192.168.10.10, 192.168.10.20, 192.168.10.30 je Server vergeben, Apache installieren, sonst nichts.

    Per curl http://192.168.10.10:80/ -v von Maschine 20 oder 30 ausführen - und es passiert nichts weiter nach dem "Accept". Das gleiche über die Public-IP ausgeführt, kommt sofort die Testseite des Apachen. Und es ist egal, wie herum man die Eingabe macht, der Effekt über das VLAN ist immer der Gleiche.

    Es gibt den Effekt auch mit MySQL-Datenbanken, die einfach keine Antwort über das VLAN senden, der Effekt ist mit dem Apachen aber am sipelsten zu reproduzieren.

    Einer ne Idee, weil Neuinstallation hier null bringt?

    Funktioniert ein Ping? Ansonsten bitte mal diese Ausgaben posten:

    Code
    ip -4 a
ip -4 r
ip -4 n

    (Die Zeilen fürs öffentliche Interface kannst Du ruhig zensieren.)

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    Zitat von KB19

    Funktioniert ein Ping? Ansonsten bitte mal diese Ausgaben posten:

    Code
    ip -4 a
ip -4 r
ip -4 n

    (Die Zeilen fürs öffentliche Interface kannst Du ruhig zensieren.)

    Bitteschön - funktioniert alles bestens, was mich ja so verwirrt.

    Spoiler anzeigen

    root@xxx:~# ping 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 56(84) bytes of data.

    64 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=1.71 ms

    64 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.761 ms

    64 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.728 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    3 packets transmitted, 3 received, 0% packet loss, time 2015ms

    rtt min/avg/max/mdev = 0.728/1.065/1.706/0.453 ms

    root@xxx:~# ping 192.168.10.20

    PING 192.168.10.20 (192.168.10.20) 56(84) bytes of data.

    64 bytes from 192.168.10.20: icmp_seq=1 ttl=64 time=1.39 ms

    64 bytes from 192.168.10.20: icmp_seq=2 ttl=64 time=0.768 ms

    64 bytes from 192.168.10.20: icmp_seq=3 ttl=64 time=0.739 ms

    64 bytes from 192.168.10.20: icmp_seq=4 ttl=64 time=0.760 ms

    ^C

    --- 192.168.10.20 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3078ms

    rtt min/avg/max/mdev = 0.739/0.913/1.386/0.273 ms

    root@xxx:~# ping 192.168.10.30

    PING 192.168.10.30 (192.168.10.30) 56(84) bytes of data.

    64 bytes from 192.168.10.30: icmp_seq=1 ttl=64 time=1.44 ms

    64 bytes from 192.168.10.30: icmp_seq=2 ttl=64 time=0.748 ms

    64 bytes from 192.168.10.30: icmp_seq=3 ttl=64 time=0.790 ms

    64 bytes from 192.168.10.30: icmp_seq=4 ttl=64 time=0.721 ms

    ^C

    --- 192.168.10.30 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3066ms

    rtt min/avg/max/mdev = 0.721/0.924/1.439/0.298 ms

    root@xxx:~# ip -4 a

    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group defau0

    inet 127.0.0.1/8 scope host lo

    valid_lft forever preferred_lft forever

    2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group def0

    altname enp0s3

    altname ens3

    inet [public]/22 brd [public].255 scope global eth0

    valid_lft forever preferred_lft forever

    3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group def0

    altname enp0s4

    altname ens4

    inet 192.168.10.40/24 brd 192.168.10.255 scope global eth1

    valid_lft forever preferred_lft forever

    root@xxx:~# ip -4 r

    default via [public].1 dev eth0 proto static

    [public].0/22 dev eth0 proto kernel scope link src [public]

    192.168.10.0/24 dev eth1 proto kernel scope link src 192.168.10.40

    root@xxx:~# ip -4 n

    192.168.10.30 dev eth1 lladdr 3a:56:f7:8a:3c:98 STALE

    192.168.10.10 dev eth1 lladdr b6:3b:23:06:fc:6c STALE

    192.168.10.20 dev eth1 lladdr aa:2e:5d:94:a1:fd STALE

    [public].1 dev eth0 lladdr 00:0

    ssh root@192.168.18.40 z.B. funktioniert auch nicht.

    VHost/s ist/sind angepasst, ändert auch nichts.

    Um das Phänomen ganz kurz zu beschreiben: alles was mit Daten zu tun hat wird gesendet und kommt im VLAN auch beim Empfänger an, allerdings kommen keine Daten wieder zurück zum Sender.

    Zitat von frank_m

    erhöhe beim Ping mal die Paketgröße, auch mal mit dem df Bit.

    Das kann man beliebig über alle Server hinweg machen und ändert nichts:

    Spoiler anzeigen

    root@xxx:~# ping -s 64 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 64(92) bytes of data.

    72 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.832 ms

    72 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.711 ms

    72 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.780 ms

    72 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.733 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3107ms

    rtt min/avg/max/mdev = 0.711/0.764/0.832/0.046 ms

    root@xxx:~# ping -s 128 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 128(156) bytes of data.

    136 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.716 ms

    136 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.770 ms

    136 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.761 ms

    136 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.741 ms

    136 bytes from 192.168.10.10: icmp_seq=5 ttl=64 time=0.703 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    5 packets transmitted, 5 received, 0% packet loss, time 4136ms

    rtt min/avg/max/mdev = 0.703/0.738/0.770/0.025 ms

    root@xxx:~# ping -s 256 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 256(284) bytes of data.

    264 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.859 ms

    264 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.768 ms

    264 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.776 ms

    264 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.734 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3113ms

    rtt min/avg/max/mdev = 0.734/0.784/0.859/0.045 ms

    root@xxx:~# ping -s 512 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 512(540) bytes of data.

    520 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.700 ms

    520 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.727 ms

    520 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.735 ms

    520 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.704 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3111ms

    rtt min/avg/max/mdev = 0.700/0.716/0.735/0.014 ms

    root@xxx:~# ping -s 1024 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 1024(1052) bytes of data.

    1032 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.692 ms

    1032 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.722 ms

    1032 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.741 ms

    1032 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.745 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3097ms

    rtt min/avg/max/mdev = 0.692/0.725/0.745/0.020 ms


    ######################


    root@xxx:~# ping -s 64 -M dont 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 64(92) bytes of data.

    72 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.789 ms

    72 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.795 ms

    72 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.758 ms

    72 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.773 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3054ms

    rtt min/avg/max/mdev = 0.758/0.778/0.795/0.014 ms

    root@xxx:~# ping -s 128 -M dont 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 128(156) bytes of data.

    136 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.703 ms

    136 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.774 ms

    136 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.731 ms

    136 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.761 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3110ms

    rtt min/avg/max/mdev = 0.703/0.742/0.774/0.027 ms

    root@xxx:~# ping -s 256 -M dont 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 256(284) bytes of data.

    264 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.810 ms

    264 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.745 ms

    264 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.815 ms

    264 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.723 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3083ms

    rtt min/avg/max/mdev = 0.723/0.773/0.815/0.040 ms

    root@xxx:~# ping -s 512 -M dont 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 512(540) bytes of data.

    520 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.781 ms

    520 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.753 ms

    520 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.773 ms

    520 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.764 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, time 3082ms

    rtt min/avg/max/mdev = 0.753/0.767/0.781/0.010 ms

    root@xxx:~# ping -s 1024 -M dont 192.168.10.10

    PING 192.168.10.10 (192.168.10.10) 1024(1052) bytes of data.

    1032 bytes from 192.168.10.10: icmp_seq=1 ttl=64 time=0.782 ms

    1032 bytes from 192.168.10.10: icmp_seq=2 ttl=64 time=0.723 ms

    1032 bytes from 192.168.10.10: icmp_seq=3 ttl=64 time=0.817 ms

    1032 bytes from 192.168.10.10: icmp_seq=4 ttl=64 time=0.803 ms

    ^C

    --- 192.168.10.10 ping statistics ---

    4 packets transmitted, 4 received, 0% packet loss, t

    Die MTU bei jedem Server auf der VLAN-Schnittstelle eth1 auf 9000 stellen hatte bislang auch nichts gändert.

    Zitat von Hille

    Kannste mal deine netplan und nftables (falls verwendet) posten

    NFtables wird nicht verwendet.

    Spoiler anzeigen

    network:

    version: 2

    ethernets:

    eth0:

    addresses:

    - [public]/22

    - [publicv6]/64

    match:

    macaddress: ea:12:01:bf:50:f6

    routes:

    - to: default

    via: [public].1

    - on-link: true

    to: default

    via: fe80::1

    eth1:

    addresses:

    - 192.168.10.40/24

    - fe80::e812:1ff:febf:50f7/64

    match:

    macaddress: ea:12:01:bf:50:f7

    ####################

    network:

    version: 2

    ethernets:

    eth0:

    addresses:

    - [public]/22

    - [publicv6]/64

    match:

    macaddress: b6:3b:23:06:fc:6b

    routes:

    - to: default

    via: [public].1

    - on-link: true

    to: default

    via: fe80::1

    eth1:

    addresses:

    - 192.168.10.10/24

    - fe80::b43b:23ff:fe06:fc6c/64

    match:

    macaddress: b6:3b:23:06:fc:6c


    Der Netplan ist bei allen Servern identisch (d.h. natürlich unterscheiden sich die IP-Adressen, Mac-Adressen und die Adressen der Public-IPs).

    Zitat von frank_m

    ja, das hatte ich im anderen Thread ja auch empfohlen, die MTU zu senken.

    Und denk an die Firewall!

    Ich habe in über 20 Jahren noch nie die MTU ändern müssen. Der Plan ist ja, die Server zu "verstecken". Also, jetzt, wo ich weiß, wo der Fehler ist - was ja mein Ziel war, kann ich auch meinen eigentlichen Plan umsetzen. Danke an euch.

    Zitat von Linewalker

    Ich habe in über 20 Jahren noch nie die MTU ändern müssen. Der Plan ist ja, die Server zu "verstecken".

    Das VLAN sollte eigentlich eine MTU von 1500 Bytes unterstützen. Jumbo Frames (9000 Bytes) funktionieren hier nicht.

    PathMTU regelt eigentlich den Rest, aber nur, wenn die Interfaces sauber konfiguriert sind.

    Gleiches Problem bei uns. Ping geht, alles andere (NFS, telnet, ssh) nicht. Alle 6 am letzten Donnerstag bestellten Server sind betroffen. MTUs stehen auf 1500. Server wie die alten auch mit Ansible aufgesetzt.

    Keine Reaktion vom Service.

    Andreas

    * Firewalls sind aus

    * max ICMP 1450 sowohl ins Internet als auch ins vLAN

    Aber:

    Code
    time while ping -s $size -c1 -M do 172.16.1.1 >&/dev/null; do    ((size+=4)); done
real    0m10,002s
user    0m0,000s
sys     0m0,003s


time while ping -s $size -c1 -M do google.com >&/dev/null; do    ((size+=4)); done
real    0m1,061s
user    0m0,000s
sys     0m0,003s