Hintergrund Abuse-Meldungen zum 'Betrieb sog. "Mining-Dienste"'

  • Hallo Community,


    wir betreiben schon seit längerer Zeit eine Reihe Server im Cluster-Betrieb (auf CoreOS-Basis) bei Netcup, und sind alles in allem mehr als zufrieden!


    Jetzt haben wir aber seit ein paar Wochen ein wiederkehrendes "Problem" mit einer unserer Maschinen (ein Buildserver, auf dem Atlassian Bamboo mit einer Reihe lokaler Agenten läuft. Die CPU-Auslastung ist hier im Schnitt schon nicht ganz niedrig, aber das ist bewusst). Konkret gibt es für diese alle 7-14 Tage eine Abuse-Meldung die wie folgt lautet:

    Jetzt haben wir diese Abuse-Meldungen, insbesondere die Erste, sehr ernst genommen, da sie im Zweifel bedeutet das unser System kompromittiert ist.

    Sprich: Wir haben geguckt, ob entsprechende Ports / Verbindungen offen sind. Zusätzlich haben wir für alle unsere Maschinen ein Cluster-weites Monitoring, welches sehr genau nachhält wieviel CPU-Zeit wo genau verwendet wird. Coin-Mining wäre hier also sehr auffällig. Wir konnten keinerlei Anzeichen dafür finden, dass hier etwas nicht wie erwartet läuft.


    Da in der Abuse-Meldung von Routineprüfung des Netzwerktraffics gesprochen wird, ist unsere aktuelle Vermutung, dass der Aufbau bestimmter Verbindungen auf bestimmten Ports bereits ausreicht um hier der Trigger für die Abuse-Meldung zu sein. Wir haben daraufhin mal unsere Services (die alle in Docker laufen) daraufhin geprüft, ob wir evtl. zufällig irgendwo den gleichen Port verwenden der an anderer Stelle ein Standardport für einen der Mining-Dienste ist. Auch hier sind wir aber nicht fündig geworden.


    Habt ihr Erfahrungen mit solchen Abuse-Meldungen? Der Netcup-Support kann / will hier nicht weiterhelfen. Wahrscheinlich irgendwo auch sinnvoll, um nicht Dritten Ideen zu geben, wie die Detection evtl. umgangen werden kann.


    Unser Problem ist aktuell, dass wir das Problem gerne lösen würden, aber keine Hinweise darauf haben wonach wir überhaupt suchen. Alle anderen Maschinen (insgesamt 18) laufen mit exakt gleichem Host OS, und sehr ähnlichen Konfigurationen. Auf diesen besteht das Problem nicht. Im Zweifel stellt es sich für uns leider aktuell so dar, als wenn unsere einzige Option ein Wechsel des Dienstleisters ist. Das wäre für uns sehr schade, und auch mit erheblichem Aufwand verbunden.

    Aber das aktuell unser Buildserver alle ~10 Tage für einen halben Tag (undeterministisch) offline geht, bis jemand unsere Abuse-Antwort verarbeitet hat (bisher gab es 3 solche Fälle, in jedem wurde auf unseren Abuse-Response hin der Server sofort wieder freigeschaltet), ist leider für uns nicht akzeptabel.


    Vielleicht fällt ja jemandem etwas dazu ein!?

    Viele Grüße

    julrich

  • An deiner Stelle würde ich mich mit [netcup] Felix P. mal zu einem Telefonat verabreden; eine Beweislastumkehr oder eine schriftliche Versicherung erwirken, dass soetwas verhindert werden kann.


    Bei der Mining Regelung ging es der Geschäftsführung darum, dass die Zufriedenheitsgarantie nicht für kostenfreie Serverpower verwendet wird und Insolvenzen der Kunden möglichst vermieden werden.

    Ich denke, dass bei der Anzahl der Server und bei entsprechend gutem Zahlungsverhalten eine Einigungsbasis besteht.


    Viel Erfolg.

  • Ich will ja im Zweifel auch gar nicht ausschliessen, dass wir ein Problem haben. Ich sehe nur die Wahrscheinlichkeit als sehr gering an (wir haben da über die letzten 3-4 Wochen nicht ganz wenig Zeit reingesteckt... aber vielleicht sind wir auch an der entscheidenden Stelle blind), und fühle mich aktuell nicht in der Lage das vermeintliche Problem weiter / genauer einzugrenzen.


    Danke für Euer Feedback schon mal!

  • wäre es technisch machbar und mit dem Arbeitsaufwand hinnehmbar, den, evtl. kompromittieren, Server komplett vom Netz zu nehmen und testweise durch ein neu aufgesetztes Systsem zu erstezen? Also quasi alles auf 0 und neu konfigurieren mit neuen Passwörter, Keys, etc.?


    Manchmal geht das schneller, als die komplette Infrastruktur zu durchleuchten.


    Viel Erfolg in jedem Fall!

    Meine Produkte: definitiv zu viele, RS, VPS, Domains, Webhosting, ...

  • Hay,


    naja, zuerst würde ich wirklich das Gespräch suchen. Ein Support muss, wenn er ordentlich aufgesetzt ist, entsprechende Escalationsprozeduren für außergewöhnliche Fälle bieten, so dass für diese Fälle Personen mit mehr Handlungs- und Entscheidungsspielraum involviert werden. Wenn der Support es nicht tut, muss man halt eben selbst escalieren, also ab nach oben in der Nahrungskette :)


    Wenn ich allerdings selbst nach versuchter Escalation kein zufriedenstellendes Ergebnis erziele und produktive Server weiterhin regelmäßig und grundsätzlich ohne echten Anlass (sondern nur aufgrund einer Spekulation einer Überwachungssoftware) nicht verfügbar sind bzw. sogar aufgrund nicht-konkreter Hinweise zusätzlich Zeit für Research verschwende, dann gibt es immer noch die Möglichkeit, einen Schadensersatz zu fordern.


    CU, Peter


    Peter Kleemann // https://www.pkleemann.de // +49 621 1806222-0 // Kann Programme, Internet, Netzwerke und Telefon.

  • Wir werden mal versuchen, hier einen entsprechenden Kontakt zu bekommen.

    Am Support sind wir bisher jedes mal vollständig abgeprallt.


    Grundsätzlich könnte man das System schon "einfach" komplett neu provisionieren. Da es aber bisher keinerlei Anzeichen für eine tatsächliche Kompromittierung gibt, ist die Vermutung, dass es dann wieder exakt gleich aussehen wird. Mit den gleichen, vermeintlich false positive, Detections. Die Zeit würden wir aktuell sehr ungern auch noch zusätzlich investieren.


    Schadensersatz werden wir nicht fordern wollen. Uns geht es eher darum zu wissen mit welcher Sicherheit wir Systeme (vor allem auch zukünftig) bei Netcup betreiben können. Die Alternative ist sonst doch ein Wechsel zu einem der etablierten Cloud-Hoster für unsere Zwecke (z.B. GCP). Das kostet natürlich einiges mehr, im Zweifel ist das aber wohl den Trade-Off wert.

  • Guten Tag,



    ich habe Ihren Beitrag zum Anlass genommen, damit sich die zuständigen Techniker nochmal mit Ihnen diesbezüglich in Verbindung setzen. Wenn hier keine zufriedenstellende Lösung für Sie gefunden werden kann, bitten Sie darum Ihr Ticket an mich abzugeben (gerne mit Verweis auf diesen Beitrag). Ich möchte mich schon jetzt für die bereiteten Umstände bei Ihnen entschuldigen. Es ist sehr bedauerlich wenn Abuse-Fälle solche Konsequenzen haben wie Sie es schildern.



    Mit freundlichen Grüßen


    Felix Preuß

  • Hallo Herr Preuß,


    vielen Dank! Und wie gesagt, mit etwas konkreteren Hinweisen gehen wir der Sache natürlich auch gerne weiter nach!

    Nichts ist uns lieber als einen potentiell kompromittierten Server zu deaktivieren!

  • Ich bin genau so überrascht wie viele hier, denn vor einer Stunde erhielt ich exakt diese Nachricht, die nicht nachvollziehbar ist.


    Der beanstandete Server ist erst seit letztem Freitag in Betrieb und enthält eine Webanwendung, die unter anderem minütlich regelmäßige Prozesse (... curl ...) ausführt.


    Die Abuse-Meldung könnte man ernster nehmen, würde die entsprechende Anwendung nicht bereits seit über einem Jahr Vollzeit bei Netcup laufen. Einzig ist am Freitag ein neuer Server hinzugekommen.


    Bin auf eine Rückmeldung zum Ticket sehr gespannt.

  • Bitte behaltet uns hier mal auf dem Laufenden.


    Aktuell arbeite ich an einem Projekt, welches Zahlungen über IOTA (auch eine Kryptowährung) abwickeln soll. Ist der Betrieb eines solchen Servers eigentlich dann noch gestattet?

    Matthias Lohr Project Blog: https://mlohr.com/

    PGP: 0x8FC3060F80C31A0A

  • Auch ich bin sehr daran interessiert, was hier raus kommt.

    Aktuell arbeite ich an einem Projekt, welches Zahlungen über IOTA (auch eine Kryptowährung) abwickeln soll. Ist der Betrieb eines solchen Servers eigentlich dann noch gestattet?

    Per Definition nein, behaupte ich, denn bei IOTA wird kein Mining betrieben, du stellst ein node bereit wie du schon schreibst (für PoW), wie es auch bei Tox oder DHT der Fall wäre (einfach ausgedrückt).

  • Es kam eine Rückmeldung mit dem gleichen Ergebnis, konkrete Logs mit Uhrzeiten, die auch nachvollziehbar wären, bleiben leider aus. Das Ticket wurde geschlossen und der Server wieder freigegeben.


    Bis heute Morgen, da ging das Spiel erneut los. Eine Antwort auf das Ticket gibt seit etwa 10 Uhr nicht, die Abuse-Meldung ist weiterhin offen, der Server allerdings auch erreichbar.


    Durch die Unsicherheit, werde ich wohl in den nächsten Tagen einen Umzug vornehmen und war dann halt die längste Zeit (und das war lange) Kunde.

  • Bis heute Morgen, da ging das Spiel erneut los. Eine Antwort auf das Ticket gibt seit etwa 10 Uhr nicht, die Abuse-Meldung ist weiterhin offen, der Server allerdings auch erreichbar.

    Ich empfehle dir, das Ticket einmal eine Ebene höher oder zum Geschäftsführer [netcup] Felix P. zu eskalieren.

    Evtl. auch einmal den Telefonkontakt mit ihm suchen.