Mirror einer Distribution

    Hallo ich würde gerne wissen wie es aussieht, wenn ich einen Mirror betreiben möchte. Laut der Distribution sollte man etwa 50GB plus Reserve 50GB vorhalten. Die Bandbreite ist bei meinem RS nicht das Problem aber wie schaut es mit Traffic aus? Kann man das realistisch abschätzen ob die inkludierten 120 TB da reichen. Macht das jemand von Euch und kann berichten?

    Vorweg: Ich betreibe keinen Mirror.

    Nimmt man 800MBit/sec als Basis, wären 120TB ganze 14,6 Tage 100% Auslastung. Und ich glaube nicht, dass Du die 800MBit dauerhaft zur Verfügung hast, da die Netzwerkverbindung mit allen VMs auf dem Host geteilt wird.

    Ich glaub nicht, dass Du den Traffic auslasten kannst.

    Jedenfalls nicht ohne das da ein großer Player in all seinen Server Deinen Mirror benutzt.

    (das wird peinlich, wenn ich mich verrechnet habe)

    Siehe z.B. hier: https://www.debian.org/mirror/ftpmirror

    Ich denke nicht, dass es sinnvoll ist, hier mit einem einzelnen RS anzufangen. Aus gutem Grund führt die weltweite Liste von Mirrors bei Debian nur Unis/Hochschulen und Firmen auf https://www.debian.org/mirror/list . Die haben die nötige Bandbreite für sowas.

    Du kannst Dir ja durchaus Deinen eigenen privaten Mirror einrichten, wenn Du z.B. in einem Netzwerk ständig Linux Rechner einrichtest und die Files nicht immer übers Internet ziehen willst. Aber "nur weil mans kann" einen öffentlichen Mirror anzubieten? Ne. Muss nicht sein.

    RS 2000 G12 Pro BW25 (8C EPYC 9645, 16GB, 1TB) | RS 500 G12 BW25 (2C EPYC 9645, 4GB, 128GB) | RS Cyber Quack (1C,2GB,40GB)

    Zitat von perryflynn

    (das wird peinlich, wenn ich mich verrechnet habe)

    Ich bin faul, ich lasse rechnen:

    https://www.heise.de/netze/tools/bandbreitenrechner/

    1Gbit/s (schafft man eigentlich nie) bei 100% Dauerauslastung wären 324 TB im Monat.

    D.h. man könnte die 120TB im Monat bei 100% Auslastung in etwas mehr als 11 Tagen ausgeschöpft haben. Deine Annahme von 80% Auslastung ist sicher deutlich sinnvoller.

    Nichtsdestotrotz muss das nicht sein, da man dadurch womöglich auch die Bandbreiten der Nachbarn negativ beeinflusst.

    RS 2000 G12 Pro BW25 (8C EPYC 9645, 16GB, 1TB) | RS 500 G12 BW25 (2C EPYC 9645, 4GB, 128GB) | RS Cyber Quack (1C,2GB,40GB)

    Zitat von Schnuecks

    Hallo ich würde gerne wissen wie es aussieht, wenn ich einen Mirror betreiben möchte. Laut der Distribution sollte man etwa 50GB plus Reserve 50GB vorhalten. Die Bandbreite ist bei meinem RS nicht das Problem aber wie schaut es mit Traffic aus? Kann man das realistisch abschätzen ob die inkludierten 120 TB da reichen. Macht das jemand von Euch und kann berichten?

    1. Von welcher Distribution/Version/Architektur reden wir? Die 50GB werden bspw. in der Literatur generell pro Debian-"flavour“ und -"architecture“ angegeben.
    2. Soll es ein öffentlicher Spiegel werden? Dann entscheidet die Popularität darüber, wie viel Bandbreite „downstream“ (in Richtung der Repository-Nutzer) dazu­kommt; für den reinen Spiegel sind die 120 TB selbst bei Debian Sid problemlos ausreichend – bei älteren Distributionen, welche lediglich noch Updates erhalten, ist das Datenaufkommen deutlich geringer.

    Ich selbst spiegele lediglich einige (Teilmengen von) kleinere(n) Repositories, auf deren Pakete ich angewiesen bin, neben eigenen (derzeit privaten) Repositories für Debian/Ubuntu. Geht es um die (Haupt-)Repositories der Distributionen selbst, welche im Netz auch langfristig verfügbar sind, ist zu überlegen, ob ein eigener Spiegel wirklich Sinn ergibt/Mehrwert bringt. Hier gibt es weltweit bereits zahlreiche nahegelegene Spiegel bei Universitäten/Providern mit Bandbreiten, welche Größen­ord­nungen über dem liegen, was man mit einem gemieteten Server oder Server-Cluster bereitstellen kann.

    Wenn es darum geht, Bandbreiten Dritter für eigene Zwecke zu schonen (etwa beim Betrieb von Build-Servern oder allgemein einem Cluster von Maschinen), macht fast immer die Nutzung von Apt-Cacher NG deutlich mehr Sinn (welchen ich ebenfalls nutze, und welcher wirklich nur benötigte Pakete für die Wieder­ver­wen­dung spiegelt).

    VServer IOPS Comparison Sheet: https://docs.google.com/spreadsheets/d/1w38zM0Bwbd4VdDCQoi1buo2I-zpwg8e0wVzFGSPh3iE

    Einmal editiert, zuletzt von m_ueberall (11. September 2022 um 15:08)

    Falls Dich mein Erfahrungsbericht interessiert: Ich betreibe nebenbei seit 12 Jahren einen kleinen Spiegelserver für Linux Mint :)

    Nur die Pakete von Linux Mint, keine ISO-Dateien von Linux Mint und auch keine Pakete von der Mutter-Distribution Ubuntu.

    Das belegt im Moment lächerliche 36 GiB Platz auf einem Server. Zum Thema Traffic…

    mirror.png

    (Auf diesem Server laufen auch noch andere Dinge, aber 99% des Traffics stammen vom Linux Mint Mirror.)

    Als sich Linux Mint vor einigen Jahren dazu entschieden hat, Pakete wie Firefox plötzlich selbst zu bauen und auszuliefern, gab es teilweise so viele Anfragen, dass ich mit tc gegensteuern musste. Das war allerdings zu einer Zeit, als es in Deutschland leider nur noch einen (!) anderen Mirrorserver gab. Zu dieser Zeit hatte ich für einige Monate sogar zwei Mirrorserver mit DNS-Round-Robin laufen.

    nginx.png

    Mittlerweile gibt es zwar 13 andere Mirrorserver alleine in Deutschland und man sieht, dass die Anfragen pro Sekunde deutlich zurückgegangen sind, dennoch steigt der Traffic seit Monaten immer weiter an. Im Moment bin ich im mittleren einstelligen TiB-Bereich, Tendenz steigend.

    Ich speichere bei diesem vHost schon seit Jahren keine Access-Logs mehr, weil sie absolut unnötig sind und die Platte füllen würden. Mit jnettop sehe ich aktuell aber, dass nach wie vor hauptsächlich DEB-Dateien von Firefox und Chromium heruntergeladen werden. Da hat sich nicht viel verändert…

    Ich habe schon öfters mit dem Gedanken gespielt, den Mirrorserver abzudrehen. Aber im Großen und Ganzen ist er derzeit relativ pflegeleicht, braucht (bis auf Traffic) kaum Ressourcen und ich habe mit diesem Projekt unheimlich viel gelernt. Ich verwende zwar schon seit ca. neun Jahren kein Linux Mint mehr, aber ich unterstütze die Distribution trotzdem gerne.

    "Wer nur noch Enten sieht, hat die Kontrolle über seine Server verloren." (Netzentenfund)

    4 Mal editiert, zuletzt von KB19 (11. September 2022 um 17:53)