Post-mortem de l'incident du 05/11/2023 ayant impacté un nœud de calcul (Compute) sur le datacenter de Paris-Saint Denis :

Notre équipe opérationnelle a détecté ce jour à 00H17 un incident sur un de nos racks au sein du datacenter de Paris-Saint Denis entraînant la perte d'une des deux alimentations électriques.

Cet incident n'a pas impacté notre production à ce stade puisque tous les équipements de notre architecture bénéficient d'une alimentation redondante sur deux voies distinctes.

Vers 00H35, notre équipe a sollicité le mainteneur du datacenter pour examiner la cause de cette perte et réactiver le disjoncteur concerné si nécessaire.

À 01H26, lors de l'intervention du mainteneur, nous avons noté la perte d'un de nos nœuds de calcul (Serveur Compute), et simultanément, le retour de l'alimentation auxiliaire rétablissant l'électricité de manière nominale.

Ce problème nous a immédiatement alertés qu'une manipulation lors de la remise en route du disjoncteur auxiliaire ait pu causer la déconnexion d'un ou de plusieurs câbles électriques dans le rack.

À 01H57, en l'absence d'une résolution rapide, nous avons décidé de basculer les VM hébergées vers d'autres nœuds du cluster pour rétablir le service des clients impactés sans attendre.

À 02H26, la bascule et la remise en service de toutes les VM touchées par cet incident ont été confirmées et nous avons décidé d'envoyer sur place des membres de notre équipe pour diagnostiquer le nœud toujours indisponible.

À 03H01, notre équipe sur place a contrôlé nos équipements et confirmé que plusieurs prises électriques semblaient mal insérées dans les PDU, et a procédé à leur ajustement.

À 03H11, notre équipe système a repris le contrôle sur le nœud affecté par l'incident et l'a réintégré dans le pool de ressources. Nos équipes ont vérifié tout le rack pour s'assurer que les connexions étaient normalisées et qu'il n'y avait pas d'autres problèmes d'alimentation.

Nous confirmons que cet incident est entièrement résolu de notre côté. Nous avons constaté une interruption de service pour certains clients de 01H26 à 01H57 pour la majorité, et une reprise totale pour les derniers clients vers 02H26.

Nous nous excusons pour la gêne occasionnée et restons à votre disposition pour toute question via le support par ticket.

L'ensemble des VM a été basculé sur les nœuds fonctionnels du cluster d'hébergement et est rétabli à présent.

Si votre VPS n'est toujours pas opérationnel malgré cela, nous vous invitons à effectuer un redémarrage depuis l'espace client ou à contacter le support technique.

Parallèlement, nous envoyons un membre de notre équipe sur place pour réaliser un diagnostic plus approfondi du nœud d'hébergement qui reste indisponible malgré la remise en fonction de la voie électrique auxiliaire.

Nous venons de réaliser la bascule de la majorité des VM vers d'autres nœuds de l'architecture afin de rétablir le service pour la majorité des clients.

Quelques VM restent encore indisponibles, et nos équipes travaillent à leur rétablissement.

La prochaine mise à jour sera donnée dans 15 minutes.

Cet incident est survenu à la suite d'un événement sans impact sur l'un de nos racks au datacenter de Paris-Saint Denis, qui a entraîné une perte de voie électrique à 00H17.

Nous avons mobilisé les équipes du datacenter à 00H35 pour rétablir la voie auxiliaire d'alimentation électrique.

À ce stade, nous pensons qu'une erreur humaine pourrait avoir conduit au débranchement du cordon électrique de l'un de nos serveurs de calcul lors des efforts pour rétablir la voie auxiliaire, coupant ainsi la dernière alimentation électrique fonctionnelle de ce serveur.

Nous attendons une mise à jour de l'équipe du datacenter.

La prochaine mise à jour sera fournie dans 15 minutes.

Nous rencontrons actuellement un incident sur un nœud de calcul au datacenter de Paris-Saint Denis, nos équipes sont en train d'investiguer.

Certaines VM sont actuellement injoignables.

Prochaine mise à jour dans 15 minutes.