Um sich auf dem (kompromittierten) Server einloggen zu können, würde man (bzw. der Angreifer) den privaten Schlüssel ja lokal bei sich vorhalten und nicht auf dem komprimittierten Server selbst. Dort müsste hingegen der zugehörige öffentliche Schlüssel in der Datei .ssh/authorized_keys eingetragen werden.
Deswegen hatte ich in #14 mal angeregt, den öffentlichen Schlüssel anzuschauen und auch mal die Zeitstempel der beiden Dateien zu betrachten. Vielleicht kommt man ja so drauf, wer wann diese Dateien erzeugt hat. Und auch ein Blick in die Datei .ssh/authorized_keys kann nicht schaden.