Beiträge von TreZc0_

  • Das längste Thema

    Zitat von heppel

    Wenn es jemanden noch nie passiert ist, dass eine Netzwartung, die keine Unterbrechung verursachen sollte, dann doch zu einer Unterbrechung gefuehrt hat, der hat der noch nicht sehr viele groessere Wartungen zu verantworten gehabt.

    Ich erinnere mich mit Schaudern an ein ausfallsicheres, redundantes Produkt eines fuehrenden Netzausruesters, das durch ein anderes Produkt ersetzt werden musste, weil ein "ausfallfreier" Softwareupgrade zu reproduzierbaren mehrminuetigen Ausaellen fuehrte, die der Hersteller nicht in den Griff bekam. Und ich hatte die ersten Wartungen als unbedenklich angekuendigt ...

    Ne sorry, kann ich so nicht gelten lassen. Dann kündigt man die Wartung an und erwähnt, dass Ausfälle nicht geplant sind, aber auch nicht ausgeschlossen sind.

    zu sagen es WIRD keine Beeinträchtigung geben ist eine absolute Aussage, auf die ich mich als Kunde verlassen muss.

    Genauso erwarten meine Kunden von mir, dass ich bei angekündigten Netzwerk-Wartungen entweder die Erwartungshaltung und evtl. notwendige Maßnahmen kommuniziere und im Zweifel positiv überrasche, oder genau weiß, dass es eine triviale Wartung ohne Probleme sein wird. Alles besser, als so zu tun, als gäbe es kein Risiko, nur um dann den Stack niederzureißen.

    Auf diese Art und Weise, und vor allem mit offenbar immer noch Problemen, eine Stunde später, ist das einfach nur unprofessionell.

  • Backbone/Routing Probleme

    Kann ich leider nicht bestätigen, schön wärs.

    Die Performance, speziell wieder mit Telia, hat inzwischen einen neuen Tiefpunkt erreicht.

    Zum vierten Mal dieses Jahr. Für mehrere Tage, Wochen, 2 Monate teilweise.

    Ich kann mir langsam echt nur noch an den Kopf fassen.

    Weiterhin Package Loss, extrem hohe Latenzen, teilweise Leistungseinbruch für Clients die über Telia peeren bis auf 10kb/s.

    Das ist eigentlich nur noch zum Heulen, und wieso das irgendwer akzeptieren sollte, ist mir schlicht ein Rätsel.

  • Backbone/Routing Probleme

    Muss mich leider, wie so oft wenn es darum geht, anschließen.

    Telia Peering Geschwindigkeiten, die eh schon immer nah an einem Witz sind, sind jetzt wieder völlig eingebrochen.

    Ticket ist erstellt, Problembild geschildert.


    Liebes Netcup-Team....es ist leider auffällig, dass Probleme immer häufig nach Sonder-Aktionen auftreten....werden hier Kapazitäten überbucht?

    Ich hoffe, diesmal dauert die Lösung nicht wieder 6-8 Wochen...

  • Backbone / Routing Q&A

    Während ich verstehen kann, dass der Thread nie als Support-Thread gedacht war, wurde er doch vom NOC genutzt, um von den Usern noch spezifische Informationen einzuholen und per Schwarm-Intelligenz weitere Anhaltspunkte zu finden. Insofern bedauere ich die Schließung und insgesamt die fehlende Betreuung doch ziemlich, speziell, wo ich als Paradebeispiel jetzt schon wieder 4 (!) Wochen auf eine Lösung warte, obwohl das Problem längst bestätigt wurde.

    Sorry, aber mit eurer NOC Troubleshooting Kommunikation bekleckert ihr euch absolut nicht mit Ruhm, und ich fänds toll, wenn das mal endlich angegangen würde.

  • Backbone / Routing Q&A

    Vielen Dank für die Rückmeldung, ich denke, auch hier in breiterer Masse mal ein Feedback zu bekommen, ist super wichtig, auch, um einige Gemüter zu kühlen.

    Einen Kritikpunkt, der wirklich nur darauf gerichtet ist, die Situation momentan und auch vorhin zu verbessern, möchte ich allerdings noch anbringen.

    Die sehr sehr unterschiedliche Qualität der Support-Antworten, die auf den letzten Seiten hier geschildert wurde, ist schon....mindestens sehr ernüchternd.

    Dieses Mal hatte ich Glück, aber bei erstem Auftreten des Problems im Frühjahr habe ich mich auch Wochen durch den Sumpf kämpfen müssen, bis das Problem überhaupt ernst genommen oder zumindest sauber analysiert wurde, so wie auch jetzt in diesem Fall direkt (vmtl., weil ich auf den alten Fall verwiesen habe). Dass in leider zu vielen Fällen ohne genauer hinzusehen einfach auf eine andere Host-Node migriert oder ein Neustart empfohlen wird, selbst wenn Kunden genaue Logs und/oder Traces liefern, ist doch recht unbefriedigend, und es wäre vmtl. doch mal angebracht, dass Teile des Supports ein kleines Forensik 1x1 an die Hand bekommen oder schneller das 2nd-Level eingeschaltet wird, Leider wirkt es manchmal so, als würden die Tickets "nur schnell abgerissen", und das ist doch sehr schade, auch da es die wirkliche Analyse, speziell vom NOC, leider oft stark verzögert.

    Vielleicht kann dieses Feedback ja helfen, hier noch einmal anzusetzen, damit wir in Zukunft schneller im Dialog mit euch / dem Support einen Weg in Richtung Lösung gehen, bevor sich im Forum die Gemüter erhitzen.

    Viel Erfolg bei der Analyse.

  • Backbone / Routing Q&A

    In meinem Fall hat der Support heute bestätigt, dass sie das Peering Problem nachstellen können, und hat das Thema an das NOC übergeben. Vielleicht gehts ja jetzt einen Schritt vorwärts.

    Edit: Leider ist allerdings gerade nicht nur die Telia Peering, sondern auch die Verbindung direkt innerhalb Deutschlands eine absolute Frechheit...

  • Backbone / Routing Q&A

    Da die Probleme recht sicher nicht mit dem DE-CIX zusammenhängen, auch, da Anexia ja mit Telia direkt peered, sollte das keine Auswirkungen haben. Ich kann auch leider keine Besserung feststellen. Der Support hat mir allerdings bestätigt, dass sie das Problem nachstellen konnten und jetzt tiefer analysieren.

  • Backbone / Routing Q&A

    Möglich ist das, auch, da an diversen Übergabe-Punkten von Telia der Package Loss immer recht hoch ist.

    Allerdings, und das ist der gewaltige Punkt, der auf mich eher weniger nach Telia Verantwortung klingt:

    Den Package Loss hab ich bei anderen Telia-Peerings nach Deutschland außerhalb Netcup auch, und da ist die Performance deutlich stabiler und höher, trotz PL.

    Der beste Test dafür war damals die Anexia Website und die Netcup Website. Zwei ~3MB Files auf beiden Seiten, Download vom gleichen US Client, Download auf der anexia Website schnell, auf netcup.de/eu immer slow. Und beide peeren via Telia, logischerweise.

    Es ist schon wirklich bizarr...


    Beim letzten Mal war auch auffällig, dass es keine Rolle spielt, wie das Client-Side transit peering läuft. Selbst wenn der Client die Hinroute über NTT, den zweiten großen Transit Carrier nimmt....solange Netcup die Rückroute über Telia gewählt hat, war es immer langsam.

    Rein logisch, und mir ist bewusst, dass es so simpel vermutlich nicht ist, müsste der Dämpfer ja eigentlich am Übergabepunkt bei Anexia liegen, an dem Netcup Netz Packages Richtung Telia geschickt werden. Das scheint ja nicht der gleiche Punkt zu sein, über den Anexia selbst mit Telia peered...

    Klar, alles nur Kaffeesatz lesen....aber solange man uns so alleine lässt, kann ich ja zumindest mal meine Erfahrungen aus dem Frühsommer teilen.

    Betroffen sind übrigens auch weite Teile Skandinaviens und teilweise auch Südeuropa, da auch dort diverse Carrier nach Deutschland über Telia gehen.

  • Backbone / Routing Q&A

    Ich bin in meinem Ticket gefühlt schon etwas weiter, weil das Symptom wieder mal dem vom letzten Mal entspricht hinsichtlich Telia, wo glücklicherweise kein DE-CIX Involvement bestand, und ich direkt um NOC Einschaltung gebeten hab.

    Ich hoffe halt, dass sich auch die Anexia Kollegen hier im Forum bald melden mit einer Wasserstandsmeldung...denn so gehts ja nicht weiter.

  • Backbone / Routing Q&A

    Kann mich leider nur anschließen.

    Nicht nur die Latenzen gehen durch die Decke, sondern auch wieder die Download-Speeds....allerdings im negativen Sinne :(

    Habe auch dem Support das Ganze schon gemeldet, aber beim letzten Mal hat die Lösung über einen Monat gedauert...

    Meine USA User warten teilweise 5 Minuten auf den vollständigen Load des Frameworks...für 3 MB....

  • Backbone / Routing Q&A

    Guten Morgen.

    Leider sind die, vor ein paar Monaten aufgetretenen, Geschwindigkeitsprobleme beim Telia Peering wieder da. Teilweise Verbindungseinbrüche mit Downloadraten runter auf unter 100kb - das Ganze scheint wieder nur zu passieren, wenn von Netcup über Telia gepeered wird, unabhängig davon, wie der Hinweg peert.

    Als Referenz hier nochmal die entscheidene Beiträge aus dem Thema:

    Problembeschreibung (einer von mehreren Posts): https://forum.netcup.de/netcup-intern/…q-a/#post163523

    Problemlösung durch Anexia: https://forum.netcup.de/netcup-intern/…q-a/#post163679

    Hängen die aktuellen Geschwindigkeitseinbrüche daran, dass ihr atm nicht über den DE-CIX läuft?

    Source-IP (Beispiel): 162.212.158.100

    Ziel-IP: 202.61.251.201 (Root-Server bei euch, VPS sind aber auch betroffen)

  • Backbone / Routing Q&A

    Juchei, die Einbrüche beim Telia Peering sind nach einer Woche leider wieder da.

    Einbrüche im Download auf unter 1 Megabit/s, sowohl von unseren VPS als auch von Kunden gemeldet.


    und zurück (Traceroute)

    Wieder lässt sich das Problem eingrenzen auf Peerings mit Telia, allerdings nur Netcup-seitig. Wenn der Kunde den Hinweg über MTT peered, kommt es darauf an, wie die Rückroute peered - bei MTT alles gut, bei Telia alles hinüber.

    Was ist hier letzte Woche unternommen worden, und was könnte jetzt wieder hin sein?

    Langsam bin ich echt am Rande der Kündigung, nach so vielen Jahren :/

  • Backbone / Routing Q&A

    Da ich den Beitrag leider nicht mehr editieren kann:

    Gerade hat sich ein Kunde gemeldet, der das gleiche Problem hat....aber dieser Kunde peered über NTT....das spricht leider nochmal extra dafür, dass das Problem im Anexia Stack zu finden ist.

    Anbei der Traceroute und ein custom TCP Download test mit weiteren Informationen.

    Um das Problem nachzustellen....einfach einen VPS irgendwo in den USA besorgen (so scheint es, selbst AWS hat das Problem ja) und mehrere Downloads starten auf https://www.netcup.de/static/assets/…9_12_NETCUP.svg - perfekte Dateigröße für den Test, und die netcup Seite hat das Problem auch.

    Anexia ist gleichzeitig völlig in Ordnung: https://anexia.com/fileadmin/img/…taatswappen.svg

    Ich muss sagen, mit all den Daten lässt sich ein "liegt nicht an uns", wie ich es zu hören habe, echt nicht mehr rechtfertigen. Und es betrifft wie gesagt nur die Upload-Richtung VON netcup aus ins internationale Peering.

    Beim Test mit dem SVG Netcup File oben werden wenige Downloads okay sein, aber entweder nach kurzer Zeit oder direkt fallen dann die Downloadspeeds rapide ab.

    So long, mehr kann ich echt nicht mehr liefern...

  • Backbone / Routing Q&A

    Muss leider nochmal auf mein Thema mit Verbindungen aus den USA (und Skandinavien) von letzte Woche zurück kommen.

    Leider ist das ganze, nach ein paar Tagen besserer Performance, inzwischen wieder unerträglich.

    Support sagt, es gibt (seit einer nicht näher beschriebenen Reparatur letzte Woche), nix mehr bei Netcup, was es auslöst, aber das kann ich ehrlich gesagt nicht wirklich glauben.

    Kunden melden das bei mir, und ich kann es nachstellen von 2 VPS in Chicago, LA, sowie einer unabhängigen EC2 AWS Instanz.

    Beispiel dafür:

    AWS Instanz:

    MTR im Anhang.

    iperf3, Download von netcup RS (202.61.251.201) (2.5Gbit) durch AWS EC2 (44.234.111.105):

    Und andersherum, Netcup Download vom Server in den USA:

    Ergo: Download top, Upload von Netcup aus ins Telia-Netz absoluter Flop...

    Betrifft leider alle meine Netcup-Server, und die verschiedensten Provider in den USA, und sowohl Endbenutzer als auch Server.

    Zu anderen Servern schafft die oben genannte AWS EC2 übrigens diese Werte im Download...gleiches gilt für einen weiteren Server, der ebenfalls über Telia peered.


    Zusatz: MTR von einem anderen Server an komplett anderem Standort mit dem gleichen Problem und zwei traceroutes von zwei Kunden mit dem gleichen Problem


    Ich brauche langsam echt eine echte Lösung, sonst muss ich Netcup zwangsweise verlassen, auch da mir der Support keine Aussicht auf weitere Maßnahmen gemacht hat.

    Daran sollte ja auch netcup gelegen sein, da es um die Senderichtung geht, und wie wir festgestellt haben, auch EU Kunden (Skandinavien) und sogar vereinzelt DE Kunden betroffen sind (anderer Thread, User aus München)

    LG

  • Backbone / Routing Q&A

    Danke für die Beobachtung und Tests, aber ja, da scheint AWS einfach zu routen, wie sie gerade Spaß dran haben. Der Traceroute sieht da in 4 Versuchen jedes Mal anders aus. Der AWS Server ist auch ein reiner Test-Case, das Problem lässt sich von 2 VPS in zwei Datacenters an zwei verschiedenen Standorten (Chicago / LA) nachstellen und wird mir, wie eingangs erwähnt, vor allem von Kunden unterschiedlichster Provider beschrieben...halt alle die, die übersee per Telia mit Anexia peeren. Das Problem tritt aber halt nur hinter dem Anexia Backbone auf, nicht bei einem Server bei, in meinem Fall, Netcologne - trotz Telia Peering.


    Angesichts der Tatsache, dass der BGP-Peer zu Telia für Netcup und Anexia wohl gleich ist, und der Aussage von Theo (danke!), dass der Link zu Telia sauber scheint und nicht ausgelastet ist, kann der Fehler eigentlich nur in genau einer Strecke liegen:

    Der Weg zwischen dem Telia-Peering-Stack bei Anexia und den Netcup Nodes. Da es auch auf der Netcup Website passiert, ist es auch keine individuelle Node.
    Es ist also entweder das Netcup Gateway (netcup-gw.bbr01.anx84.nue.de.anexia-it.net?), oder das Interface im Anexia Stack, welches den Netcup Traffic weiter routet, weg vom Anexia-Backbone.


    Eine andere Erklärung bietet sich, meiner Meinung nach, gar nicht an.

  • Backbone / Routing Q&A

    Nachdem das Ganze ja hier dankenswerterweise von einem Kollegen mal gepostet wurde, werde ich mich jetzt hier doch auch gerne mal verewigen, vielleicht hat die Swarmintelligenz ja eine Idee.

    Der Support ist zwar schon dran seit 10 Tagen, aber evtl. bringts ja trotzdem was.

    Offenbar gibt es seit einiger Zeit (wie ich hörte seit knapp 3 Monaten), aber seit knapp 2 Wochen massiv, starke Probleme im Peering zwischen Netcup/Anexia und Telia.


    Ich habe auf meinen Servern, neben dem großen Kundenstamm aus der EU, auch ähnliche viele Kunden aus den USA.

    Das Peering zwischen Großteilen da drüben und Netcup läuft über Telia.


    Hier dann das Problem:

    Auf all unseren Servern, RS und VPS, beide sowohl alter Generation als auch latest, gibt es sporadisch massive Einbrüche der Download-Geschwindigkeit, ausschließlich in Richtung Netcup. Und wir reden hier nicht von einer Halbierung, sondern von Downloadeinbrüchen auf bis zu 12 kb/s.

    Das betrifft übrigens, fast schon lustigerweise, sogar die netcup.de/eu Website. Interessanterweise kann man ab und zu mal eine schnelle Verbindung "bruteforcen", in dem man den Download ständig abbricht und neustartet, bis mal eine schnelle Verbindung dabei ist. Die Erfolgsrate liegt da inzwischen aber vielleicht noch bei 10%.

    An den Konfigurationen oder ipv4/ipv6 Themen liegts in der Tat nich.. Auch liegt es nicht partout an Telia, die zwar immer mal wieder etwas Package Loss haben, aber dennoch zu anderen Servern hier in Deutschland großartige Performance über den Teich bringen.

    Nach Rücksprache mit Kunden, die ich, fast schon peinlich, kürzlich erst geworben hatte, tritt das Ganze wohl auch auf verschiedenen Konfigurationen, Nodes, und Betriebsystemen auf, und bei 1G Interfaces wie bei 2,5G.

    Betroffen sind demnach Clients aus den USA, Skandinavien, und teilweise sogar Deutschland (siehe Forenticket oben)

    Offenbar gibts seit gestern einen Server zum Aufzeichnen von Telemetriedaten bei euch, aber wer weiß - womöglich finden wir ja hier die zündende Idee?


    Anbei mal ein beispielhafter Traceroute aus Chicago, und ein MTR von AWS-EC2 US-West:

    Da der Support dran ist, findet sich eventuell auch schon bald eine Lösung, aber zur Not dient das Ganze hier auch schon als Information für andere Kunden mit Problemen.

    LG