Nous avons rencontré un incident sur une unité de stockage SATA le 14 août en fin d’après-midi. Cette unité de stockage de seconde génération était prévue pour être remplacée au cours du dernier trimestre 2024.

Nous avons depuis développé une 4ème génération d’unités de stockage, encore plus robuste et plus rapide. Bien que nous n’ayons jamais rencontré un tel incident depuis la mise en service de la seconde génération, cela confirme notre décision de procéder à l’upgrade de notre architecture de stockage pour la gamme de serveurs Cloud Storage. L’analyse des autres unités de stockage actuellement en production n’a révélé aucune anomalie technique, mais nous allons néanmoins accélérer leur remplacement.

Parallèlement, nous allons également améliorer notre système de sauvegarde. Celui-ci a fonctionné comme prévu, mais le processus de restauration est plus long que nous le souhaiterions. Bien que la restauration des VPS sur nos autres gammes soit très rapide, la restauration de gros disques durs n’est pas suffisamment performante. Nous avons donc pour objectif de mettre en place un système de restauration plus rapide. Nos équipes R&D travaillent déjà sur ce projet, et il est prévu de déployer le nouveau système d’ici la mi-septembre.

Nous nous excusons sincèrement pour cet incident indépendant de notre volonté.

Les clients concernés par cet incident sont éligibles aux SLA prévus par le contrat. Le SLA peut être activé sur simple demande au support.

Les efforts de restauration se poursuivent. Voici un état précis de l’avancement de l’opération en cours. Les identifiants mentionnés ci-dessous se trouvent dans l’encadré des informations principales du VPS sur l’espace client PulseHeberg, sous le système d’exploitation.

À ce stade, 96,77 % des VM concernées sont en ligne après la restauration. Cette étape de restauration prend plus de temps car elle concerne les VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

NCE 03 - 76887

NCE 03 - 78326

NCE 03 - 82176

NCE 05 - 1095

NCE 05 - 1179

NCE 05 - 1251

NCE 05 - 1287

NCE 05 - 1792

NCE 05 - 2459

NCE 05 - 303

NCE 05 - 340

NCE 05 - 71025

NCE 05 - 71062

NCE 05 - 71087

NCE 05 - 733

NCE 05 - 809

NCE 05 - 969

NCE 05 - 100

NCE 05 - 1123

NCE 05 - 1264

NCE 05 - 1539

NCE 06 - 79259

NCE 06 - 79779

NCE 06 - 2051

NCE 06 - 78569

NCE 06 - 80066

NCE 06 - 79507

NCE 06 - 79522

NCE 06 - 79540

NCE 06 - 80894

Restaurations en cours pour les VM suivantes :

NCE 06 - 71836

Les efforts de restauration se poursuivent, voici un état des lieux précis de l’opération en cours. Les identifiants (ID) indiqués ci-dessous se trouvent dans l’espace client PulseHeberg, dans l’encadré des informations principales du VPS sous le système d’exploitation.

À ce stade, 93,54 % des VM concernées sont en ligne suite à la restauration. L’étape de restauration en cours prend plus de temps car elle concerne les VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

NCE 03 - 76887

NCE 03 - 78326

NCE 03 - 82176

NCE 05 - 1095

NCE 05 - 1179

NCE 05 - 1251

NCE 05 - 1287

NCE 05 - 1792

NCE 05 - 2459

NCE 05 - 303

NCE 05 - 340

NCE 05 - 71025

NCE 05 - 71062

NCE 05 - 71087

NCE 05 - 733

NCE 05 - 809

NCE 05 - 969

NCE 05 - 100

NCE 05 - 1123

NCE 05 - 1264

NCE 05 - 1539

NCE 06 - 79259

NCE 06 - 79779

NCE 06 - 2051

NCE 06 - 78569

NCE 06 - 80066

NCE 06 - 79507

NCE 06 - 79522

NCE 06 - 79540

Restaurations en cours pour les VM suivantes :

NCE 06 - 71836

NCE 06 - 80894

Les efforts de restauration se poursuivent, voici un état des lieux détaillé de l’opération en cours. Les ID indiqués ci-dessous sont visibles sur l’espace client PulseHeberg dans la section des informations principales du VPS sous le système d’exploitation.

À ce stade, 90,32 % des VM concernées sont en ligne après la restauration. La phase actuelle de restauration prend plus de temps car elle concerne les VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 05 - 1264

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

Restaurations en cours pour les VM suivantes :

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Voici un état des lieux détaillé, VM par VM, des opérations de restauration en cours. Les ID indiqués ci-dessous sont visibles sur l’espace client PulseHeberg dans la section des informations principales du VPS sous le système d’exploitation.

À ce stade, 87,09 % des VM concernées sont en ligne suite à la restauration. La phase de restauration actuelle prend plus de temps car elle concerne les VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

Restaurations en cours pour les VM suivantes :

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Voici un état des lieux détaillé, VM par VM, des opérations de restauration actuellement en cours. Les ID indiqués ci-dessous sont affichés sur l’espace client PulseHeberg dans l’encadré des informations principales du VPS sous le système d’exploitation.

À ce stade, 83,87 % des VM concernées sont en ligne suite à la restauration. L’étape de restauration en cours prend plus de temps car elle concerne les VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

• NCE 06 - 79522

Restaurations en cours pour les VM suivantes :

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

• NCE 06 - 79540

Voici un état des lieux détaillé VM par VM des opérations de restauration actuellement en cours. Les identifiants indiqués ci-dessous sont affichés dans l’espace client PulseHeberg, dans l’encadré des informations principales du VPS sous le système d’exploitation.

À ce stade, 80,64% des VM concernées sont en ligne suite à la restauration. La phase de restauration en cours prend plus de temps, car elle concerne les VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

• NCE 06 - 79507

Restaurations en cours pour les VM suivantes :

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Restaurations en attente pour les VM suivantes :

• NCE 06 - 79522

• NCE 06 - 79540

Voici un état des lieux détaillé VM par VM des opérations de restauration actuellement en cours. Les identifiants indiqués ci-dessous sont affichés sur l’espace client PulseHeberg dans l’encadré des informations principales du VPS sous le système d’exploitation.

À ce stade, 77,41% des VM concernées sont en ligne à la suite de la restauration. L’étape de restauration en cours prend plus de temps car il s’agit des VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 05 - 1123

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

• NCE 06 - 78569

• NCE 06 - 80066

Restaurations en cours pour les VM suivantes :

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80894

Restaurations en attente pour les VM suivantes :

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

Voici un état des lieux détaillé VM par VM des opérations de restauration actuellement en cours. Les ID indiqués ci-dessous sont affichés dans l’espace client PulseHeberg dans l’encadré des informations principales du VPS sous le système d’exploitation.

À ce stade, 67,74 % des VM concernées sont en ligne après la restauration. L’étape de restauration en cours prend plus de temps car il s’agit des VM les plus volumineuses.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 05 - 100

• NCE 06 - 79259

• NCE 06 - 79779

• NCE 06 - 2051

Restaurations en cours pour les VM suivantes :

• NCE 05 - 1123

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 71836

• NCE 06 - 80066

• NCE 06 - 78569

Restaurations en attente pour les VM suivantes :

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

• NCE 06 - 80894

Voici un état détaillé des opérations de restauration en cours, VM par VM. Les ID indiqués ci-dessous correspondent à ceux affichés dans l’espace client PulseHeberg, dans l’encadré des informations principales du VPS sous le système d’exploitation.

Restaurations terminées pour les VM suivantes :

• NCE 03 - 76887

• NCE 03 - 78326

• NCE 03 - 82176

• NCE 05 - 1095

• NCE 05 - 1179

• NCE 05 - 1251

• NCE 05 - 1287

• NCE 05 - 1792

• NCE 05 - 2459

• NCE 05 - 303

• NCE 05 - 340

• NCE 05 - 71025

• NCE 05 - 71062

• NCE 05 - 71087

• NCE 05 - 733

• NCE 05 - 809

• NCE 05 - 969

• NCE 06 - 79259

• NCE 06 - 79779

Restaurations en cours pour les VM suivantes :

• NCE 05 - 100

• NCE 05 - 1123

• NCE 05 - 1264

• NCE 05 - 1539

• NCE 06 - 2051

• NCE 06 - 71836

• NCE 06 - 80066

Restaurations en attente pour les VM suivantes :

• NCE 06 - 78569

• NCE 06 - 79507

• NCE 06 - 79522

• NCE 06 - 79540

• NCE 06 - 80894

61,29 % des serveurs VPS ont été restaurés et sont opérationnels. Les opérations de restauration se poursuivent.

À ce stade, 45,16 % des serveurs VPS concernés sont de retour en ligne à partir des sauvegardes. Les opérations de restauration se poursuivent.

Les tests d’intégrité du système de fichiers ont révélé des erreurs sur le filesystem de l’unité de stockage concernée. En conséquence, il est impossible de redémarrer cette unité pour le moment.

Étant donné notre incapacité à restaurer rapidement l’accès à l’unité de stockage, nous avons pris la décision de procéder à la remise en route des VPS à partir de nos sauvegardes.

Nous disposons de sauvegardes pour l’intégralité des VPS concernés par cet incident, effectuées entre le 13 août à 20h00 et le 14 août à 15h00\. Certains VPS étant particulièrement volumineux, l’opération de restauration pourrait prendre un certain temps.

Nous allons dans un premier temps procéder à la restauration des plus petits VPS, avant de traiter les serveurs de plus grande taille.

Depuis 15h49, nous avons détecté des erreurs sur une unité de stockage SATA affectant 32 serveurs VPS dans la région de Nice, France. L’incident a commencé par une perturbation partielle avec un impact minimal sur nos clients. Cependant, la situation s’est progressivement détériorée.

À 16h19, notre équipe technique a isolé l’unité de stockage du reste de l’environnement de production afin de procéder à des vérifications d’intégrité.