IPv6 Addressvergabe an Docker-Container

hannip · 17. Januar 2018

Hallo Leute,

Ich bin leider noch nicht so gut im Umgang mit IPv6 und neu bei Netcup- darum bitte um Nachsicht, hoffe ich meine Frage ist nicht allzu doof.

Ich würd gerne den ipv6 /64-Adresspool, der jedem Server zur Verfügung steht, auf folgende Weise nutzen:

Idealerweise sollte bei Erzeugung eines Containers automatisch eine freie Adresse aus dem Pool dem neuen Container zugewiesen werden.

Wie wäre das zu konfigurieren? Bisher habe ich es nur geschafft, so wie im Netcup-Wiki beschrieben, eine IPv6-Adresse meinem Host statisch zuzuweisen- alle anderen Versuche, den docker-daemon mittels /etc/docker/daemon.json zu konfigurieren haben nicht funktioniert.

Hat das schon jemand gemacht? Ich meine das wäre ja eigentlich ideal, wenn man schon zig Adressen zur Verfügung hat, dass sie einfach automatisch einem neuen Container zugewiesen werden oder?

Ach ja, noch eine kleine Zusatzfrage- was könnte man eigentlich in diese beiden EIngabefelder im SCP (unter Network) eintragen? ipv6 SCP.JPG

oliver.g · 17. Januar 2018

Ich kenne mich zwar mit Docker nicht aus, aber ich denke man kann damit auch Bridged Lan einrichten, wie bei LXC.

Suche in dieser Hinsicht mal nach IPv6 neigh proxy.

Eine andere Möglichkeit: Bei meinem LXC Containern habe ich es so gelöst, dass ich das zugewiesene Subnetz auf das Interface des Hosts (ens3) gelegt habe. Meine Container sind mit der Bridge vmbr0 verbunden, welches eine Adresse aus einem Zusatzsubnetz besitzt und als Gateway für die Container dient.

Vorteil ist, dass ein Zusatzsubnetz auf dein primäres Subnetz geroutet wird. Damit ist neigh proxy nicht nötig.

Bei den genannten Eingabefeldern kannst du Reverse IP Adressen eintragen.

TobiasH · 25. Januar 2018

Hallo,

hannip hast du es mittlerweile gelöst? Ich bin zwar soweit, dass meine Container alle eine IPv6 Adresse erhalten, von außen jedoch nicht erreichbar sind. Mit dem Einsatz von neigh proxy funktioniert es zwar, ich würde es jedoch gerne so lösen wie oliver.g , klappt jedoch nicht.

Mein Vorgehen:

Schritt 1: Wie im netcup Wiki beschrieben IPv4+IPv6 für das Netzwerk Interface ens3 einstellen: https://www.netcup-wiki.de/wik…IP_Adresse_konfigurieren: /etc/network/interfaces

Code

# The primary network interface
auto ens3
iface ens3 inet static
        address 188.68.**.**
        netmask 255.255.252.0
        broadcast 188.68.51.255
        gateway 188.68.48.1
iface ens3 inet6 static
        address 2a03:4000:6:****::1
        netmask 64
        gateway fe80::1

Alles anzeigen

Schritt 2: https://docs.docker.com/engine…ing/default_network/ipv6/

Da habe ich mich an dem Absatz "Often servers or virtual machines get a /64 IPv6 subnet assigned [...]" orientiert.

In /etc/docker/daemon.json folgendes eingetragen:

Code

{
  "ipv6": true,
  "fixed-cidr-v6": "2a03:4000:6:****:1::/80"
}

Folgende Befehle ausgeführt (wobei der erste nicht nötigt scheint, setzt Docker auch von selbst - siehe später ; die letzten 2 Befehle sind mittlerweile in /etc/sysctl.d/50-IPv6.confeingetragen):

Code

$ ip -6 route add 2a03:4000:6:****:1::/80 dev docker0
$ sysctl net.ipv6.conf.default.forwarding=1
$ sysctl net.ipv6.conf.all.forwarding=1

Alle Docker Container ohne Netzwerk Angabe erhalten eine IPv6 aus dieser Range, z.B. 2a03:4000:6:****:1::2 (2a03:4000:6:****:1::1 hat docker0 als Gateway).

Lege ich mit docker-compose ( https://docs.docker.com/compos…ipv4_address-ipv6_address ) weitere Container mit einem Netzwerk mit eigenem Subnetz an...

Code

networks:
  mynetwork:
    driver: bridge
    enable_ipv6: true
    ipam:
      driver: default
      config:
        - subnet: 172.20.0.0/24
        - subnet: 2a03:4000:6:****:2::/80

... erhalten die Container auch eine IP aus dem Subnetz und Docker richtet eine Route ein.

Code

$ ip -6 r
2a03:4000:6:****:1::/80 dev docker0 proto kernel metric 256  pref medium
2a03:4000:6:****:1::/80 dev docker0 metric 1024  pref medium
2a03:4000:6:****:2::/80 dev br-4d0f56215b56 proto kernel metric 256  pref medium
2a03:4000:6:****:2::/80 dev br-4d0f56215b56 metric 1024  pref medium
2a03:4000:6:****::/64 dev ens3 proto kernel metric 256  pref medium
fe80::/64 dev ens3 proto kernel metric 256  pref medium
fe80::/64 dev docker0 proto kernel metric 256  pref medium
fe80::/64 dev vethb93fd0c proto kernel metric 256  pref medium
fe80::/64 dev br-4d0f56215b56 proto kernel metric 256  pref medium
fe80::/64 dev vethc0fd246 proto kernel metric 256  pref medium
fe80::/64 dev veth7e57aa8 proto kernel metric 256  pref medium
fe80::/64 dev veth2e712f6 proto kernel metric 256  pref medium
fe80::/64 dev vethd968967 proto kernel metric 256  pref medium
fe80::/64 dev vethe397721 proto kernel metric 256  pref medium
default via fe80::1 dev ens3 metric 1024  pref medium

$ docker network ls
NETWORK ID          NAME                DRIVER              SCOPE
95fcd21*****        bridge              bridge              local  #docker0
ee58001*****        host                host                local
6a1e19d*****        none                null                local
4d0f56215b56        mynetwork           bridge              local  #br-4d0f56215b56

$ brctl show    #(via  bridge-utils)
bridge name     bridge id         STP enabled     interfaces
br-4d0f56215b56 8000.0242b6       no              veth2e712f6
                                                  veth7e57aa8
                                                  vethc0fd246
                                                  vethd968967
                                                  vethe397721
docker0         8000.02422d       no              vethb93fd0c

Alles anzeigen

Die Container sind aber wie schon geschrieben von extern nicht erreichbar. Firewall (iptables 4/6) ist (noch) nicht konfiguriert, lässt also alles durch. (Die Network ID bzw. bridge br-** und interfaces sind dynamisch generiert.)

Was übersehe ich bzw. hat jemand einen Tipp? Hab schon das ein oder andere erfolglos versucht. oliver.g wie sieht den deine Netzwerkkonfig. (/etc/network/interfaces) aus?

mlohr · 30. Januar 2018

Kannst du die Docker-Container per ping vom Hostsystem aus erreichen?

chrko · 30. Januar 2018

Zitat von TobiasH

hannip hast du es mittlerweile gelöst? Ich bin zwar soweit, dass meine Container alle eine IPv6 Adresse erhalten, von außen jedoch nicht erreichbar sind. Mit dem Einsatz von neigh proxy funktioniert es zwar, ich würde es jedoch gerne so lösen wie oliver.d , klappt jedoch nicht.

Die Lösung von oliver.d klappt auch nur, wenn das Subnetz an deinen Server geroutet ist. Das erste Subnetz eines jeden Servers ist jedoch geswitcht. Daher wirst du dort einen neighbor proxy nutzen müssen.

Alle zusätzlichen Subnetze, statisch oder Failover, sind auf eine Adresse aus deinem ersten Subnetz geroutet (Prefix + EUI-64). Diese Adressen kannst du dann auch problemlos auf deinem Server routen.

VG

Christian

TobiasH · 30. Januar 2018

Zitat von mlohr

Kannst du die Docker-Container per ping vom Hostsystem aus erreichen?

Ja, das funktioniert.

Zitat von chrko

Die Lösung von oliver.d klappt auch nur, wenn das Subnetz an deinen Server geroutet ist. Das erste Subnetz eines jeden Servers ist jedoch geswitcht.

Danke für die Info. Ein weiteres Subnetz kostet nur 1€/M, lohnt sich aktuell für mich jedoch nicht, dann nutze ich doch erstmal den Proxy.

Dbone · 6. April 2018

Zitat von chrko

Die Lösung von oliver.d klappt auch nur, wenn das Subnetz an deinen Server geroutet ist. Das erste Subnetz eines jeden Servers ist jedoch geswitcht. Daher wirst du dort einen neighbor proxy nutzen müssen.

Alle zusätzlichen Subnetze, statisch oder Failover, sind auf eine Adresse aus deinem ersten Subnetz geroutet (Prefix + EUI-64). Diese Adressen kannst du dann auch problemlos auf deinem Server routen.

VG

Christian

Wie würde das mit dem neighbor proxy aussehen?

Dbone · 6. April 2018

Zitat von Dbone

Wie würde das mit dem neighbor proxy aussehen?

Also ich meine damit, wie kann ich das am einfachsten machen?

TobiasH · 6. April 2018

Schau mal hier https://docs.docker.com/v17.09…ing/default_network/ipv6/ unter "Using NDP proxying", dort steht es noch, scheint aber in der neuen Doc entfernt worden zu sein. Ich nutzte mittlerweile https://hub.docker.com/r/robbertkl/ipv6nat/ , für meinen Nutzen ist das ausreichend und am Bequemsten....

Dbone · 6. April 2018

Ich hab genau das gemacht, aber irgendwie hat es beim ersten Mal nicht geklappt. Jetzt hat es aber geklappt und es Funktioniert auch so wie ich es wollte. Danke!

Ich habe mir jetzt auch eine Failover ip aus der aktuellen Aktion gegönnt, die aber auf meinem Hauptserver läuft. Ich denke ich werde später mal auch TobiasH's Variante ausprobieren.

voja · 7. April 2018

Ich nutze bei Netcup ndppd, das ist bei Debian/Ubuntu als Paket installierbar.

https://github.com/DanielAdolfsson/ndppd/

Dbone · 7. April 2018

Zitat von voja

Ich nutze bei Netcup ndppd, das ist bei Debian/Ubuntu als Paket installierbar.

https://github.com/DanielAdolfsson/ndppd/

Guck ich mir mal auch die Tage mal genauer an. Danke für die Info!

Gymnae · 16. November 2018

Ich will ja keinen Zombie wiederbeleben, aber Dbone, @hannpi habt ihr das Problem lösen können?

Auf meinem G8 VPS läuft CoreOS, auf diesem Docker.

Den Tips in diesem thread folgend habe ich mir heute ein zweites ipv6 subnet bestellt und auf den Server gerouted. Nur IPs daraus kann ich nicht anpingen

1. Screenshot aus dem SCP:

forum.netcup.de/system/attachment/2650/

2. ifconfig eth0

Code

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 185.244.192.64  netmask 255.255.252.0  broadcast 185.244.195.255
        inet6 2a03:4000:2x:xx::1  prefixlen 64  scopeid 0x0<global> <- ipv6 subnet von anfang dabei
        inet6 fe80::e8f2:xxx:xxx:95b7  prefixlen 64  scopeid 0x20<link>
        inet6 2a03:4000:2x:xxx::1  prefixlen 64  scopeid 0x0<global> <- ipv6 subnet bestellt
        ether ea:f2:xx:xx:xx:b7  txqueuelen 1000  (Ethernet)
        RX packets 63039  bytes 26095949 (24.8 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 12772  bytes 1762320 (1.6 MiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

Von einem extern host kann ich die zweite inet6 IP nicht anpingen:

Code

ping6 2a03:4000:2x:xxx::1
--- 2a03:4000:2x:xxx::1 ping6 statistics ---
3 packets transmitted, 0 packets received, 100.0% packet loss

Die originäre jedoch funktioniert:

Code

ping6 2a03:4000:2x:xx::1
16 bytes from 2a03:4000:2x:xx::1, icmp_seq=0 hlim=58 time=582.119 ms
16 bytes from 2a03:4000:2x:xx::1, icmp_seq=1 hlim=58 time=15.719 ms
16 bytes from 2a03:4000:2x:xx::1, icmp_seq=2 hlim=58 time=19.913 ms

3. /etc/system/network/static.networking

Code

[Match]
Name=eth0

[Network]
Address=2a03:4000:2x:xx::1/64
Gateway=fe80::1
DNS=2606:4700:4700::1111

Address=2a03:4000:2x:xxx::1/64
Gateway=fe80::1
DNS=2606:4700:4700::1111

DNS=1.1.1.1
DNS=1.0.0.1
Address=185.244.192.64/22
Gateway=185.244.192.1

Alles anzeigen

4. Folgende sysctl parameter werden beim systemstart übergeben:

Code

net.ipv6.conf.default.forwarding=1
net.ipv6.conf.all.forwarding=1
net.ipv6.conf.eth0.proxy_ndp=0
net.ipv6.conf.default.accept_ra=0
net.ipv6.conf.default.autoconf=0
net.ipv6.conf.all.accept_ra=0
net.ipv6.conf.all.autoconf=0
net.ipv6.conf.eth0.accept_ra=0
net.ipv6.conf.eth0.autoconf=0

5. ip -6 r

Code

2a03:4000:2x:xxx::/80 dev docker0 metric 1024 pref medium
2a03:4000:2x:xxx:1::/80 dev docker0 proto kernel metric 256 pref medium
2a03:4000:2x:xxx:1::/80 dev docker0 metric 1024 pref medium
2a03:4000:2c:xxx::/64 dev eth0 proto kernel metric 256 pref medium
2a03:4000:2x:xx::/80 dev br-7b8f192b7917 proto kernel metric 256 pref medium
2a03:4000:2x:xx::/80 dev br-7b8f192b7917 metric 1024 pref medium
2a03:4000:2x:xx:a::/80 dev br-13c07fde9e70 proto kernel metric 256 pref medium
2a03:4000:2x:xx:a::/80 dev br-13c07fde9e70 metric 1024 pref medium
2a03:4000:2x:xx::/64 dev eth0 proto kernel metric 256 pref medium
fe80::/64 dev eth0 proto kernel metric 256 pref medium
fe80::/64 dev br-13c07fde9e70 proto kernel metric 256 pref medium
fe80::/64 dev br-7b8f192b7917 proto kernel metric 256 pref medium
fe80::/64 dev docker0 proto kernel metric 256 pref medium
fe80::/64 dev veth1d2a512 proto kernel metric 256 pref medium
fe80::/64 dev vethcd36405 proto kernel metric 256 pref medium
fe80::/64 dev vethc7005fe proto kernel metric 256 pref medium
fe80::/64 dev veth8c26e2f proto kernel metric 256 pref medium
fe80::/64 dev vethec261a3 proto kernel metric 256 pref medium
fe80::/64 dev vetha71f958 proto kernel metric 256 pref medium
fe80::/64 dev veth6770ffd proto kernel metric 256 pref medium
fe80::/64 dev veth25a87ca proto kernel metric 256 pref medium
fe80::/64 dev veth1fb3460 proto kernel metric 256 pref medium
fe80::/64 dev veth0aff3cd proto kernel metric 256 pref medium
fe80::/64 dev veth97849f3 proto kernel metric 256 pref medium
default proto static metric 1024 
    nexthop via fe80::1 dev eth0 weight 1 
    nexthop via fe80::222:8300:8bda:6fc0 dev eth0 weight 1 
    nexthop via 2a03:4000:27:30:xx:xxx:xxx:95b7 dev eth0 weight 1

Alles anzeigen

Docker startet mit Environment='DOCKER_OPTS=--dns 1.1.1.1 --dns 1.0.0.1 --ipv6 --fixed-cidr-v6="2a03:4000:2x:xxx:1::/80"', einer entsprechende Route habe ich auch angelegt: sudo ip -6 route add 2a03:4000:2x:xxx:1:/80 dev docker0.

Neue Docker container erhalten Adressen aus dem subnet 2a03:4000:2x:xxx:1:242:ac11:4, aber anpingen kann ich diese hosts auch nicht.
Habe ich etwas vergessen?

oliver.g · 16. November 2018

Hi, hast du dem primären NIC auch die Routing Adresse zugewiesen (siehe SCP in der Gateway Spalte)? Das ist die Adresse aus deinem ersten Subnet, auf die das zusätzliche Subnet geroutet wird. Die muss natürlich auch konfiguriert sein.

Gymnae · 16. November 2018

Zitat von oliver.g

Hi, hast du dem primären NIC auch die Routing Adresse zugewiesen (siehe SCP in der Gateway Spalte)? Das ist die Adresse aus deinem ersten Subnet, auf die das zusätzliche Subnet geroutet wird. Die muss natürlich auch konfiguriert sein.

Ich fummel ja gerne in der Konsole rum und weiß, was ein NIC ist. Aber jetzt habe ich nur Bahnhof verstanden.

Der primäre NIC bei mir ist wohl eth0 und mit der Routing Adresse meinst du die lange IPV6 Adresse, die das SCP generiert hat? Wie würde diese Konfiguration vornehmen?

EDIT:

Meinst du so?

Code

Address=2a03:4000:2x:xxx::1/64
#Gateway=fe80::1
Gateway=2a03:4000:xx:xx:xxx:xxx:xxx:95b7 <- Adresse aus dem SCP in der Gateway Spalte
DNS=2606:4700:4700::1111

oliver.g · 16. November 2018

NIC = Network Interface Controller, also kurz für Netzwerkkarte.

Nein, diese Adresse ist nicht Gateway, sondern die Zieladresse, an die die Pakete geroutet werden, die an Adressen aus deinem Zusatzsubnetz gesendet werden. Diese wird also als zweite IP deinem Netzwerkadapter zugewiesen. Das Gateway fe80::1 bleibt so.

Gymnae · 16. November 2018

Zitat von oliver.g

NIC = Network Interface Controller, also kurz für Netzwerkkarte.

Nein, diese Adresse ist nicht Gateway, sondern die Zieladresse, an die die Pakete geroutet werden, die an Adressen aus deinem Zusatzsubnetz gesendet werden. Diese wird also als zweite IP deinem Netzwerkadapter zugewiesen. Das Gateway fe80::1 bleibt so.

Merci für die Erklärung, ich habe es so probiert:

sudo ip address add 2a03:4000:2x:xxx::/64 dev eth0

aber noch keine änderung

Es schaut gerade so aus:

Code

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether ea:f2:1e:xx:xx:b7 brd ff:ff:ff:ff:ff:ff
    inet 185.244.xxx.xx/22 brd 185.244.xxx.xxx scope global eth0
       valid_lft forever preferred_lft forever
    inet6 2a03:4000:2x:xxx::/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a03:4000:2x:xx::1/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 fe80::e8f2:xxxx:xxxx:95b7/64 scope link 
       valid_lft forever preferred_lft forever
3: br-9b3eaf4ab5c8: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:dc:9d:00:8b brd ff:ff:ff:ff:ff:ff
    inet 172.19.0.1/16 brd 172.19.255.255 scope global br-9b3eaf4ab5c8
       valid_lft forever preferred_lft forever
    inet6 2a03:4000:20:186:2::1/80 scope global 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:dcff:fe9d:8b/64 scope link 
       valid_lft forever preferred_lft forever
    inet6 fe80::1/64 scope link 
       valid_lft forever preferred_lft forever
4: docker0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default 
    link/ether 02:42:ea:17:22:bd brd ff:ff:ff:ff:ff:ff
    inet 172.17.0.1/16 brd 172.17.255.255 scope global docker0
       valid_lft forever preferred_lft forever
    inet6 2a03:4000:20:186:1::1/80 scope global 
       valid_lft forever preferred_lft forever
    inet6 fe80::42:eaff:fe17:22bd/64 scope link 
       valid_lft forever preferred_lft forever
    inet6 fe80::1/64 scope link 
       valid_lft forever preferred_lft forever

Alles anzeigen

oliver.g · 16. November 2018

Wieso haben die IPs in den Dockern die netmask 80? Hast du auf deinem Host IPv6 Forwarding aktiviert (Stichwort sysctl)?

Gymnae · 16. November 2018

Zitat von oliver.g

Wieso haben die IPs in den Dockern die netmask 80? Hast du auf deinem Host IPv6 Forwarding aktiviert (Stichwort sysctl)?

Ja, ich habe mir die Info aus dem Web zusammen geklaubt, siehe meinen ersten post:

Code

net.ipv6.conf.default.forwarding=1
net.ipv6.conf.all.forwarding=1
net.ipv6.conf.eth0.proxy_ndp=0
net.ipv6.conf.default.accept_ra=0
net.ipv6.conf.default.autoconf=0
net.ipv6.conf.all.accept_ra=0
net.ipv6.conf.all.autoconf=0
net.ipv6.conf.eth0.accept_ra=0
net.ipv6.conf.eth0.autoconf=0

Von ipv6 verstehe ich noch sehr wenig, muss ich zugeben.

oliver.g · 16. November 2018

Bei mir sieht das auschnittsweise so aus.

Host (Proxmox):

Code

iface ens3 inet6 static
        address 2a03:4000:xx:xx::1:1
        netmask 64
        gateway fe80::1

        post-up ip -6 address add 2a03:4000:xx:xx:8898:11ff:fee1:4a3e/128 dev ens3
        down ip -6 address del    2a03:4000:xx:xx:8898:11ff:fee1:4a3e/128 dev ens3

iface vmbr0 inet6 static
        address 2a03:4000:yy:yy::1:1
        netmask 64

Alles anzeigen

sysctl.conf

Code

net.ipv6.conf.all.forwarding=1

Gast (LXC):

Code

iface eth0 inet6 static
        address 2a03:4000:yy:yy::101:1
        netmask 64
        gateway 2a03:4000:yy:yy::1:1

xx:xx --> 1. IPv6

yy:yy --> Zusatz IPv6

Läuft wunderbar!

Tags