Am 14. August gegen Ende des Nachmittags ist ein Vorfall an einer SATA-Speichereinheit aufgetreten. Diese Speichereinheit der zweiten Generation war eigentlich für den Austausch im letzten Quartal 2024 vorgesehen.

In der Zwischenzeit haben wir eine vierte Generation von Speichereinheiten entwickelt, die noch robuster und schneller ist. Auch wenn wir seit der Inbetriebnahme der zweiten Generation einen solchen Vorfall noch nie erlebt haben, bestätigt dies unsere Entscheidung, unsere Speicherarchitektur für die Produktpalette Cloud Storage aufzurüsten. Die Analyse der anderen derzeit im Betrieb befindlichen Speichereinheiten hat keine technische Anomalie ergeben, dennoch werden wir deren Austausch beschleunigen.

Parallel dazu werden wir auch unser Backup-System verbessern. Es hat wie erwartet funktioniert, aber der Wiederherstellungsprozess dauert länger, als wir es wünschen würden. Während die Wiederherstellung der VPS in unseren anderen Produktpaletten sehr schnell erfolgt, ist die Wiederherstellung großer Festplatten nicht leistungsfähig genug. Wir haben uns daher zum Ziel gesetzt, ein schnelleres Wiederherstellungssystem einzuführen. Unsere F&E-Teams arbeiten bereits an diesem Projekt, und der Einsatz des neuen Systems ist bis Mitte September geplant.

Wir entschuldigen uns aufrichtig für diesen Vorfall, der außerhalb unseres Einflussbereichs lag.

Die von diesem Vorfall betroffenen Kunden haben Anspruch auf die im Vertrag vorgesehenen SLA. Das SLA kann auf einfache Anfrage beim Support aktiviert werden.

Die Wiederherstellungsarbeiten laufen weiter. Hier ist ein genauer Stand des Fortschritts des laufenden Vorgangs. Die unten genannten Kennungen finden Sie im Bereich der Hauptinformationen des VPS im Kundenbereich von PulseHeberg, unter dem Betriebssystem.

Zu diesem Zeitpunkt sind 96,77 % der betroffenen VMs nach der Wiederherstellung wieder online. Dieser Wiederherstellungsschritt dauert länger, da er die größten VMs betrifft.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

NCE 03 - 76887

NCE 03 - 78326

NCE 03 - 82176

NCE 05 - 1095

NCE 05 - 1179

NCE 05 - 1251

NCE 05 - 1287

NCE 05 - 1792

NCE 05 - 2459

NCE 05 - 303

NCE 05 - 340

NCE 05 - 71025

NCE 05 - 71062

NCE 05 - 71087

NCE 05 - 733

NCE 05 - 809

NCE 05 - 969

NCE 05 - 100

NCE 05 - 1123

NCE 05 - 1264

NCE 05 - 1539

NCE 06 - 79259

NCE 06 - 79779

NCE 06 - 2051

NCE 06 - 78569

NCE 06 - 80066

NCE 06 - 79507

NCE 06 - 79522

NCE 06 - 79540

NCE 06 - 80894

Wiederherstellungen in Arbeit für die folgenden VMs:

NCE 06 - 71836

Die Wiederherstellungsarbeiten laufen weiter. Hier ein genauer Status des laufenden Vorgangs. Die unten angegebenen Kennungen (ID) finden Sie im Kundencenter von PulseHeberg, im Kasten mit den Hauptinformationen des VPS unterhalb des Betriebssystems.

Zu diesem Zeitpunkt sind 93,54 % der betroffenen VMs nach der Wiederherstellung wieder online. Der laufende Wiederherstellungsschritt dauert länger, da er die größten VMs betrifft.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

NCE 03 - 76887

NCE 03 - 78326

NCE 03 - 82176

NCE 05 - 1095

NCE 05 - 1179

NCE 05 - 1251

NCE 05 - 1287

NCE 05 - 1792

NCE 05 - 2459

NCE 05 - 303

NCE 05 - 340

NCE 05 - 71025

NCE 05 - 71062

NCE 05 - 71087

NCE 05 - 733

NCE 05 - 809

NCE 05 - 969

NCE 05 - 100

NCE 05 - 1123

NCE 05 - 1264

NCE 05 - 1539

NCE 06 - 79259

NCE 06 - 79779

NCE 06 - 2051

NCE 06 - 78569

NCE 06 - 80066

NCE 06 - 79507

NCE 06 - 79522

NCE 06 - 79540

Laufende Wiederherstellungen für die folgenden VMs:

NCE 06 - 71836

NCE 06 - 80894

Die Wiederherstellungsarbeiten laufen weiter. Hier ist eine detaillierte Übersicht des laufenden Vorgangs. Die unten angegebenen IDs sind im Kundencenter von PulseHeberg im Abschnitt mit den Hauptinformationen des VPS unter dem Betriebssystem sichtbar.

Derzeit sind 90,32 % der betroffenen VMs nach der Wiederherstellung online. Die aktuelle Wiederherstellungsphase dauert länger, da sie die größten VMs betrifft.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 05 - 1264

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

Wiederherstellungen laufen für die folgenden VMs:

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Hier ist eine detaillierte Bestandsaufnahme der laufenden Wiederherstellungsarbeiten, VM für VM. Die unten angegebenen IDs sind im Kundebereich von PulseHeberg im Abschnitt der Hauptinformationen des VPS unterhalb des Betriebssystems sichtbar.

Derzeit sind 87,09 % der betroffenen VMs nach der Wiederherstellung wieder online. Die aktuelle Wiederherstellungsphase dauert länger, da sie die größten VMs betrifft.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

Laufende Wiederherstellungen für die folgenden VMs:

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Hier finden Sie eine detaillierte Bestandsaufnahme der laufenden Wiederherstellungsarbeiten, VM für VM. Die unten angegebenen IDs werden im Kundencenter von PulseHeberg im Kasten mit den Hauptinformationen des VPS unter dem Betriebssystem angezeigt.

Derzeit sind 83,87 % der betroffenen VMs nach der Wiederherstellung wieder online. Der aktuelle Wiederherstellungsschritt dauert länger, da er die größten VMs betrifft.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

• NCE 06 - 79522

Laufende Wiederherstellungen für die folgenden VMs:

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

• NCE 06 - 79540

Hier finden Sie eine detaillierte Bestandsaufnahme der aktuell laufenden Wiederherstellungsarbeiten, VM für VM. Die unten angegebenen Kennungen werden im Kundencenter von PulseHeberg angezeigt, im Kasten mit den Hauptinformationen des VPS unter dem Betriebssystem.

Zum jetzigen Zeitpunkt sind 80,64% der betroffenen VMs nach der Wiederherstellung wieder online. Die laufende Wiederherstellungsphase dauert länger, da sie die größten VMs betrifft.

Wiederherstellungen abgeschlossen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

Wiederherstellungen laufen für die folgenden VMs:

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Wiederherstellungen ausstehend für die folgenden VMs:

• NCE 06 - 79522

• NCE 06 - 79540

Hier finden Sie eine detaillierte Bestandsaufnahme der laufenden Wiederherstellungsarbeiten, VM für VM. Die unten angegebenen Kennungen werden im Kundencenter von PulseHeberg im Bereich der wichtigsten Informationen des VPS unter dem Betriebssystem angezeigt.

Zum jetzigen Zeitpunkt sind 77,41% der betroffenen VMs nach der Wiederherstellung wieder online. Der aktuell laufende Wiederherstellungsschritt dauert länger, da es sich um die größten VMs handelt.

Wiederherstellungen abgeschlossen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

Wiederherstellungen laufen für die folgenden VMs:

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Wiederherstellungen ausstehend für die folgenden VMs:

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

Hier finden Sie eine detaillierte Bestandsaufnahme VM für VM der derzeit laufenden Wiederherstellungsarbeiten. Die unten angegebenen IDs werden im Kundencenter von PulseHeberg im Kasten mit den Hauptinformationen des VPS unter dem Betriebssystem angezeigt.

Zum aktuellen Zeitpunkt sind 67,74 % der betroffenen VMs nach der Wiederherstellung wieder online. Derzeit laufende Wiederherstellungsschritt dauert länger, da es sich um die größten VMs handelt.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

Laufende Wiederherstellungen für die folgenden VMs:

• NCE 05 - 1123

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80066

• NCE 06 - 78569

Ausstehende Wiederherstellungen für die folgenden VMs:

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

• NCE 06 - 80894

Hier ist ein detaillierter Status der laufenden Wiederherstellungen, VM für VM. Die unten angegebenen IDs entsprechen denen, die im Kundebereich von PulseHeberg angezeigt werden, im Feld der wichtigsten Informationen des VPS unter dem Betriebssystem.

Abgeschlossene Wiederherstellungen für die folgenden VMs:

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 06 - 79259

• NCE 06 - 79779

Laufende Wiederherstellungen für die folgenden VMs:

• NCE 05 - 100

• NCE 05 - 1123

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 2051

• NCE 06 - 71836

• NCE 06 - 80066

Ausstehende Wiederherstellungen für die folgenden VMs:

• NCE 06 - 78569

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

• NCE 06 - 80894

61,29 % der VPS-Server wurden wiederhergestellt und sind betriebsbereit. Die Wiederherstellungsarbeiten werden fortgesetzt.

Zum jetzigen Zeitpunkt sind 45,16 % der betroffenen VPS-Server aus den Backups wieder online. Die Wiederherstellungsarbeiten werden fortgesetzt.

Die Integritätstests des Dateisystems haben Fehler auf dem Filesystem der betroffenen Speichereinheit offenbart. Dadurch ist es derzeit nicht möglich, diese Einheit neu zu starten.

Da wir den Zugriff auf die Speichereinheit nicht schnell wiederherstellen können, haben wir uns entschieden, die VPS aus unseren Backups wieder in Betrieb zu nehmen.

Wir verfügen über Backups für sämtliche von diesem Vorfall betroffenen VPS, erstellt zwischen dem 13. August um 20:00 Uhr und dem 14. August um 15:00 Uhr\. Da einige VPS besonders groß sind, kann der Wiederherstellungsvorgang einige Zeit in Anspruch nehmen.

Wir werden zunächst die kleineren VPS wiederherstellen und anschließend die größeren Server bearbeiten.

Seit 15h49 haben wir Fehler auf einer SATA-Speichereinheit festgestellt, die 32 VPS-Server in der Region Nizza, Frankreich, betreffen. Der Vorfall begann mit einer teilweisen Störung und minimaler Auswirkung auf unsere Kunden. Die Situation hat sich jedoch zunehmend verschlechtert.

Um 16h19 hat unser technisches Team die Speichereinheit vom Rest der Produktionsumgebung isoliert, um Integritätsprüfungen durchzuführen.