Posts by michaeleifel

Paar mehr Details zu dem Server wären ganz gut.

- Was ist dort alles installiert?

- SystemD Timer?

- Ist der Server zu der Zeit überlastet?

- Was wird geprüft? Ping? SSH?

- Unattended Upgrades etc. installiert?

- etc.

Quote from Homwer

Habe ich mal angefragt.
War "kostenfrei" die Domains wurden aber nur als Zusatzdomains geführt und konnten nicht in das Inklusivvolumen des neuen Webhostings übertragen werden.

War aber auch im Zusammenhang mit der Kündigung eines Webhostings.
Hat sich am Ende alles nicht gelohnt - bei dem Preis lohnt sich nicht mal die Überlegung und so hab eich weiterhin mein Expert Special 2018für. 2,44 EUR / Monat mit 15. Inkl. Domains
Auch wenn davon nurnoch 8 existieren.

Du könntest die Domains für ein Jahr woanders registrieren und dann zurückhole, dann laufen sie als "neue" domains und können als Inkl. Domains verbucht werden - aber der Aufwand erscheint mir zu groß für 5 EUR / Jahr.

Danke für die Info. Das wäre in der Tat zuviel des guten. Dann eher die Domainliste mal was schrumpfen

Quote from tab

Ach, der Aufwand lohnt sich schon, wenn man nebenbei noch einen Lockvogelanbieter ein wenig ärgern kann.

Der mit dem 25 Jahre Angebot?

Hat jemand schon mal Inklusiv Domains zwischen 2 Webhostings verschoben? Ich finde nur die Information, dass die Wechselgebühr bis zu dem jährlichen Betrag hoch sein kann. Bin nämlich am überlegen auf ein kleineres Webhosting zu wechseln, wenn ich aber dafür die jährliche Gebühr der Domains zahlen muss, rechnet es sich nicht.

Quote from nan0

michaeleifel je nach dem wie/was/wo du genau testen willst.

Aber vielleicht wäre ansible-molecule in Kombination mit einen docker host (oder gitlab runner) eine Option?
So teste ich meine Roles/Playbooks.

Falls nicht schreib mal was du genau tust, rein aus Interesse.

Danke für den Ping. Ich habe verschiedenste Ansible Playbooks die zum provisionieren der Hosts dienen. Das fängt bei Paketinstallation an, über Konfiguration von Sysctl, HAProxy, Unbound etc. Dabei gebe ich mir Mühe, dass diese auch bei verschiedenen Providern ohne Probleme klappen. Infrastructure as Code ohne Terraform

Mittlerweile habe ich meine Tests wie folgt aufgesplittet:

- Ubuntu 20.04 / 22.04

- Debian 10 /11

- der erste Test erfolgt mit den rollen eigenen Defaults, beim anderen werden meine Git versionierten Ansible Variablen ausgecheckt und das Playbook damit losgeschickt.

Molecule Docker hatte ich bereits im Einsatz, allerdings gibt's da Ärger mit SystemD in Verbindung mit Cgroups.und nur das Setzen von systemd.unified_cgroup_hierarchy=0 in Grub brachte Abhilfe. Dies hatte ich auf einem separaten Host gemacht, dessen günstige Konditionen aber ausgelaufen sind. Die Gegenrechnung mit dynamisch provisionierten Hosts und kein Ärger mit dem SystemD hat mich dazu gebracht, wieder normale VMs zu provisionieren.

Schlussendlich habe ich dann noch ein Projekt, welches alle Provisionierungsrollen kombiniert in einer Pipeline und womit ich ausprobiere, ob mit den derzeitgen Rollen und Werten, ich bei Anbieter Y ein funktionsfähiges Kubernetes Cluster deployen könnte, wo ich mit dann mit Ansible und eingecheckten Helm Value + Kuberneres Manifesten dann den Anwendungsteil baue. Backups liegen bei einem anderen Anbieter.

Der Gitlab CI Code sieht leicht verfremdet wie folgt aus ( vermittelt aber die Idee ) Das genutzte Image ist selbst gebaut und enthält diverse Molecule Treiber ( A.S,DigitalerSee,Hotzner,Valtr und ein Delegated für Netcup )

---
# global variables
variables: &global-variables
  PY_COLORS: 1
  ANSIBLE_FORCE_COLOR: 1
  MOLECULE_SCENARIO_NAME: hetznercloud

# global stages
stages:
  - lint
  - unit
  - integration

# global rules
.rules-default:
  - if: '$CI_PIPELINE_SOURCE == "web"'
    when: always
  - changes:
      - ".ansible-lint"
      - ".gitlab-ci.yml"
      - ".yamllint"
      - "Makefile"
    when: never
  - if: '$HCLOUD_TOKEN != null && $CI_SERVER_URL == "https://gitlab.example.com"'

.rules-legacy:
  - if: '$CI_PIPELINE_SOURCE == "web"'
    when: always
  - changes:
      - ".ansible-lint"
      - ".gitlab-ci.yml"
      - ".yamllint"
      - "Makefile"
    when: never
  - if: '$CI_COMMIT_BRANCH == $CI_DEFAULT_BRANCH'
    when: manual
    allow_failure: true
  - if: '$HCLOUD_TOKEN != null && $CI_SERVER_URL == "https://gitlab.example.com"'

ansible-lint:
  image:
    name: molecule:lint
    entrypoint: ["/bin/sh", "-c"]
  stage: lint
  before_script:
    - ansible-lint --version
  script:
    - 'ansible-lint -p --offline ${CI_PROJECT_DIR}'

shellcheck:
  image:
    name: molecule:lint
    entrypoint: ["/bin/sh", "-c"]
  stage: lint
  before_script:
    - shellcheck --version
  script:
    # anything ending on .*sh, should be shell script
    - |
      find . -name .git -type d -prune -o -type f -name \*.\*sh -print0 |
      xargs -0 -P $(nproc) -r -n1 shellcheck --format=gcc -x
    # magic, any file with a valid shebang should be scanned aswell
    - |
      find . -name .git -type d -prune -o -type f -regex '.*/[^.]*$' -print0 |
      xargs -0 -P $(nproc) -r -n1 sh -c 'FILE="$0"; if head -n1 "$FILE" |grep -q "^#\\! \?/.\+\(ba|d|k\)\?sh" ; then shellcheck "$FILE" --format=gcc -x ; else /bin/true ; fi '

yamllint:
  image:
    name: molecule:lint
    entrypoint: ["/bin/sh", "-c"]
  stage: lint
  before_script:
    - yamllint --version
  script:
    - 'yamllint -f parsable ${CI_PROJECT_DIR}'

.molecule-template: &molecule-template
  image:
    name: molecule:ansible
  stage: testing
  script:
    - EXITCODE=0
    - echo $ANSIBLE_VAULT_PASSWORD > ${CI_PROJECT_DIR}/.vault
    - export CI_HOSTNAME=$(echo $MOLECULE_DISTRO | tr -dc '[:alnum:]\n\r' | tr '[:upper:]' '[:lower:]')
    - export CI_PROJECT_NAME_MOLECULE=$(echo $CI_PROJECT_NAME | tr '_' '-')
    - export ANSIBLE_ROOT_REPO=$(echo $CI_PROJECT_NAMESPACE | sed 's|\(.*\)/.*|\1|')
    - export RANDOM_SUBNET_IP=$(shuf -i 2-254 -n 1)
    - export RANDOM_SUBNET_NAME=$(cat /dev/urandom | tr -dc 'a-z0-9' | fold -w 16 | head -n 1)
    # get molecule scenarios
    - mkdir -p ${CI_PROJECT_DIR}/molecule/default
    - cd ${HOME}
    - git clone --depth 1 https://gitlab-ci-token:${CI_JOB_TOKEN}@${CI_SERVER_HOST}/${ANSIBLE_ROOT_REPO}/molecule.git
    - rsync -avzh --ignore-existing --ignore-errors molecule/${MOLECULE_SCENARIO_NAME}/ ${CI_PROJECT_DIR}/molecule/default/
    # get real world variables for integration testing, else modify inventory
    - if [[ "$TEST_TYPE" == "unit" ]]; then yq -i 'del(.provisioner.inventory)' ${CI_PROJECT_DIR}/molecule/default/molecule.yml; fi
    - if [[ "$TEST_TYPE" == "integration" ]]; then git clone --depth 1 --filter=blob:none --no-checkout https://gitlab-ci-token:${CI_JOB_TOKEN}@${CI_SERVER_HOST}/${ANSIBLE_ROOT_REPO}/infra.git; fi
    - if [[ "$TEST_TYPE" == "integration" ]]; then cd infra && git checkout main -- group_vars && rsync -aP --remove-source-files group_vars ${CI_PROJECT_DIR}; fi
    # fix requirements.yml URLs + Tokens
    - cd ${CI_PROJECT_DIR}
    - test -f requirements.yml && sed -i "s,ssh://git@gitea.example.com:22222,https://gitea_admin:$GITEA_TOKEN@gitea.example.com,g" requirements.yml
    - test -f requirements.yml && sed -i "s,git@github.com:,https://github.com/,g" requirements.yml
    - test -f requirements.yml && sed -i "s,ssh://git@gitlab.example.com:2222,https://root:$GITLAB_TOKEN_VALUE@gitlab.example.com,g" requirements.yml
    - cd ${CI_PROJECT_DIR} && molecule test  || EXITCODE=$?
    - cd ${CI_PROJECT_DIR} && molecule destroy
    - test $EXITCODE -eq 0 && echo "All Fine!" || echo "Something bad happened";
    - exit $EXITCODE

unit_debian-10:
  <<: *molecule-template
  rules: !reference [.rules-legacy]
  stage: unit
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "debian-11"
    TEST_TYPE: unit

integration_debian-10:
  <<: *molecule-template
  needs: [unit_debian-10]
  rules: !reference [.rules-legacy]
  stage: integration
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "debian-11"
    TEST_TYPE: integration

unit_debian-11:
  <<: *molecule-template
  rules: !reference [.rules-default]
  stage: unit
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "debian-11"
    TEST_TYPE: unit

integration_debian-11:
  <<: *molecule-template
  needs: [unit_debian-11]
  rules: !reference [.rules-default]
  stage: integration
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "debian-11"
    TEST_TYPE: integration

unit_ubuntu-2004:
  <<: *molecule-template
  rules: !reference [.rules-legacy]
  stage: unit
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "ubuntu-20.04"
    TEST_TYPE: unit

integration_ubuntu-2004:
  <<: *molecule-template
  needs: [unit_ubuntu-2004]
  rules: !reference [.rules-legacy]
  stage: integration
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "ubuntu-20.04"
    TEST_TYPE: integration

unit_ubuntu-2204:
  <<: *molecule-template
  rules: !reference [.rules-default]
  stage: unit
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "ubuntu-22.04"
    TEST_TYPE: unit

integration_ubuntu-2204:
  <<: *molecule-template
  needs: [unit_ubuntu-2204]
  rules: !reference [.rules-default]
  stage: integration
  variables:
    <<: *global-variables
    MOLECULE_DISTRO: "ubuntu-22.04"
    TEST_TYPE: integration

Quote from m_ueberall

Aus Zeitmangel nicht selbst durchexerziert, aber grundsätzlich ließe sich das via Selenium realisieren, vgl. Verweis auf Verweis auf existierenden Ansatz für die Nutzung anderer SCP-Funktionen (Snapshot-Erstellung) durch michaelvo .

Danke für den Input. Das selbe wie bei mir. Selenium hab ich bisher keine Erfahrungen, dann bleibe ich derzeit erstmal bei anderen Cloudanbietern zum dynamischen Testen von Ansible Playbooks.

Frage in die Runde:

Hat jemand schon einen Weg gefunden die OS Installation im SCP über einen programmatischen Weg zu triggern?

Gruß

Quote from aRaphael

Ja, sauberer ist es sicher über die Config-Datei

Ich hatte diesen "Quick Hack" damals auch im Netz gefunden, ihn schnell mal ausprobiert und da es klappte, nie wieder nach alternativen Lösungen gesucht. (Aus den Augen aus dem Sinn ) Ich werde das beim nächsten Mal dann auch mal über /etc/resolvconf/resolv.conf.d/head oder /etc/systemd/resolved.conf versuchen.

Das macht vermutlich Sinn, sofern man nicht einen lokalen DNS Server hat. Bisher habe ich immer systemd-resolved deaktiviert, da ich Unbound habe und der ja auch Anfragen cacht. Sonst hätte ich direkt 2 DNS Caches

Happy Birthday!

Hab damals ne Umgebung gebraucht auf der ich verschiedene Software + Konfigurationen testen kann. Danach sind dann noch verschiedene Dienste dazu gekommen und das Cluster ist gewachsen. Zum Glück kam damals das Cloud VLAN noch rechtzeitig, war mich schon am umschauen bei der Konkurrenz.

Quote from joas

Was mich interessiert: habt ihr eine eigene Konfiguration für den Unbound? Oder installiert ihr einfach per Default?

Eigene Konfiguration die von Ansible templated wird. So kann ich dynamisch die ACL, auf welche Adressen (IPv4 / IPv6) der Unbound lauscht, spezielle Forwards / Reverse Verweise, Anzahl der Threads etc. konfigurieren.

Danke für die Rückmeldungen ThomasChr  AutoYaST

Ich habe dem Support anschließend nochmals per Verlinkung auf Wiki + XML Inhalt.+ Curl Response geschickt um das Argument der eigenen Srkipte zu entkräften, leider bisher ohne weitere Antwort / Hilfe.

Auf den 2. Teil meines Tickets mit dem Hinweis auf den UI Bug ist man gar nicht eingegangen, schade

Quote from AutoYaST

Ist das eigentlich von meiner RS SLA abgedeckt?

"Die Failover-IP ist auch per Webservice konfigurierbar" -> Gibt's sowas wie Mietminderung?

Quote from ThomasChr

Das hier klappte bei mir bislang immer:

Code

curl -H "Content-Type: text/xml; charset=utf-8" -H "SOAPAction:"  -d "<soapenv:Envelope xmlns:soapenv=\"http://schemas.xmlsoap.org/soap/envelope/\" xmlns:tns=\"http://enduser.service.web.vcp.netcup.de/\"><soapenv:Header/><soapenv:Body><tns:changeIPRouting><loginName>123</loginName><password>456</password><routedIP>37.120..</routedIP><routedMask>32</routedMask><destinationVserverName>v220161</destinationVserverName><destinationInterfaceMAC>36:0b:84::</destinationInterfaceMAC></tns:changeIPRouting></soapenv:Body>" -X POST https://www.servercontrolpanel.de/WSEndUser

Klappt das aktuell noch bei dir? Ich habe aktuell Probleme https://forum.netcup.de/inform…onsf%C3%A4hig/#post181527 und auch mit deinem Aufruf krieg ich nur:

<S:Fault xmlns:ns4="http://www.w3.org/2003/05/soap-envelope"><faultcode>S:Server</faultcode><faultstring>generall error</faultstring></S:Fault>

zurück.

Ist eigentlich nur bei mir der IP Failover aktuell verbuggt?

SCP:

pasted-from-clipboard.png

und alle meine Skripte melden StatusCode 500 sowie:

<?xml version='1.0' encoding='UTF-8'?><S:Envelope xmlns:S="http://schemas.xmlsoap.org/soap/envelope/"><S:Body><S:Fault xmlns:ns4="http://www.w3.org/2003/05/soap-envelope"><faultcode>S:Server</faultcode><faultstring>generall error</faultstring></S:Fault></S:Body></S:Envelope>

beim Versuch per Curl die IP zu schieben

Wenn mein Monitoring schreien würde dass die CPU die ganze Zeit auf 100% hängt, ja.

Bei mir war es der Faktor CloudVLAN 1Gbit/s > 2,5Gbit/s

Copy-Paste aus Ansible: ( unattended, fail2ban, postix haben ihre separaten Rollen und werden nicht nur "installiert", sondern auch "konfiguriert" )

apt_packages:
  - apt-transport-https
  - bash-completion
  - bridge-utils
  - bc
  - conntrack
  - curl
  - dnsutils
  - file
  - gawk
  - htop
  - inotify-tools
  - ipset
  - jq
  - kmod
  - libxml2-utils
  - lsof
  - lvm2
  - moreutils
  - nano
  - ncdu
  - netcat-openbsd
  - net-tools
  - psmisc
  - python3-dnspython
  - python3-netaddr
  - rsync
  - software-properties-common
  - sudo
  - sysfsutils
  - sysstat
  - tmux
  - wget

Quote from NieSommer

Unbound auf der PfSense hat mehrere Vorteile:

1. Du hast eine GUI und bessere Beschreibungstexte.

2. Du kommst nicht in eine Schräglage durch abweichende DNS Antworten. Das kann dir zum Beispiel passieren, wenn ein CDN oder Cloudanbieter für 2 IPs unterschiedliche GEO daten hat und nicht auf die gleiche Region matcht. Das ist mir tatsächlich schon mehrfach passiert und das will man einfach nicht haben.

3. Am Caching und asynchronen Nachladen ändert sich ja nichts. Deinem Cluster ist es ja egal wo er den DNS Eintrag herbekommt. Zumal viele Cluster selbst interne DNS Server betreiben.

4. Resolver pro Server verursachen unnötigen Traffic und Last. Das macht man nicht und die Dienstanbieter bitten auch deutlich darum, das nicht zu tun. Dann lieber einen Public DNS Eintragen und Forwarden.

1.) Lasse ich mal so stehen, bei mir trifft der Punkt aufgrund Automatisierung nicht zu

2.) Das ist aber nur solange valide bis die TTL vom Eintrag abgelaufen ist und in dem Zeitraum mehrere Server die gleiche Abfrage machen. Ansonsten kann dir das doch auch weiterhin passieren? Als Beispiel

lbxxxxx.cloudapp.azure.com haben immer TTL von nur 10 Sekunden...

4.) Die Logik erschließt sich mir nicht so ganz. Aktuell beantwortet der Unbound alle DNS Anfragen vom Host. Fragen 10 Container die gleiche Abfrage und die DNS TTL ist nicht abgelaufen, werden die vom Cache beantwortet. Würde ich jetzt den 8.8. eintragen, würden 10 Anfragen Richtung g00gle gehen. Aktuell sind im Cache ~2000 Antworten vorgehalten.

Quote from [netcup] Claudia M.

Hallo zusammen,

ein kurzes Update: es gibt hierzu zwar ein geplantes Vorhaben, aber leider noch kein konkretes Datum für die Umsetzung.

Schön zu hören Ich lasse mich überraschen

Quote from NieSommer

Wenn man mehrere Server bei Netcup hat lohnt es sich vielleicht einen weiteren als Firewall (z.B. Pfsense, OpnSense) und Service Provider einzusetzen.

Ich nutze die Firewall einen DNS Resolver zu betreiben und um einen zentralen Zeitserver zu haben.

Das hat den Charme, dass ich manche DNS Einträge gezielt von Dritten auflösen lassen kann, um zum Beispiel auch "Private DNS" von Cloudanbietern bequem nutzen zu können. Die Einträge kurz zu flushen ist natürlich auch kein Problem...

Wenn man keine Firewall benötigt, dann ist das natürlich ein wenig über das Ziel hinaus...

Da sehe ich aktuell keinen Vorteil zu Unbound als DNS Resolver auf allen Kisten der im Zweifel auch noch gecachte bereits abgelaufene Antworten liefern kann. Irgendwo her muss die Firewall Kiste dann ja auch wieder die Einträge bekommen und eigentlich 2 davon wegen SPOF. Klar kann ich CF, G00gle und Co. in meine resolv.conf eintragen, aber eigentlich will ich dass mein Cluster bei Verlust der externen Konnektivität nicht direkt Amok rennt ( Erfahrungen aus dem Berufsleben )-

Quote from Ente-Dank

Sehe ich das richtig dass ich auch beim RS lieber von SCSI auf VirtIO stellen sollte ?

Ich warte irgendwie noch auf ne richtige Stellungnahme seitens Netcup. Vor allem würde mich nicht nur die kurzfristige, sondern auch langfristige Folgen / Nachteile interessieren. Beim roten H ist es übrigens Virtio SCSI.

Mein "Server"-Nachbar ist wieder Benchmarks am machen: :kotz

:pasted-from-clipboard.png

Quote from engine

Umstellung erfolgt und auch bei mir eine deutliche Verbesserung. Virtio wird ja auch bei anderen Hostern eigentlich immer als Standard bei KVM-basierten VPS genutzt.

Aber ist es doch beides VirtIO: https://mpolednik.github.io/20…irtio-blk-vs-virtio-scsi/

Quote from Paul

Dauert das eigentlich immer noch so lange? Ich hatte das vor Jahren mal so gemacht. Aber die Failover IP Adresse zu wechseln dauerte immer mindestens >30 Sekunden. Da habe ich den Host schneller rebootet als dass die Failover IP endlich auf den neuen Server geroutet war. Ich hatte am Ende mit Failover IP mehr Downtime als ohne, weswegen ich das komplett habe sein lassen. Aber kann ja gut sein, dass es sich mittlerweile gebessert hat. Aber damals hatte mich das schon ziemlich genervt.

Gefühlt würde ich sagen dass es 15 Sekunden sind, kann es aber nicht genau sagen weil es automatisiert durch Keepalived etc. passiert und kein aktiver Vorgang meinerseits ist.