1h50 les alimentations \u00e9lectriques des datacenters sont coup\u00e9s, on commence \u00e0 avoir quelques informations sur un d\u00e9part de feu sur site sur Twitter. 2h15 quand nous voyons passer les premi\u00e8res photos de l’intervention des pompiers de Strasbourg dans les premi\u00e8res images de presse ou des pompiers nous comprenons qu’avec l’intervention \u00e0 coup de lance \u00e0 incendie le site ne red\u00e9marrera pas dans les prochains jours m\u00eame si l’incendie est petit et ma\u00eetris\u00e9, car l’eau doit \u00eatre enti\u00e8rement purg\u00e9e pour pouvoir rallumer les alimentations \u00e9lectriques.<\/p>\n\n\n\n
Plan de Reprise d’Activit\u00e9 d\u00e9clench\u00e9 en condition r\u00e9elle<\/h2>\n\n\n\n
2h20 nous prenons la d\u00e9cision de d\u00e9clencher notre Plan de Reprise d’Activit\u00e9 pour nos clients impact\u00e9s. Cette fois-ci ce n’est plus un exercice, on s’entra\u00eene mensuellement et on maintient tout le n\u00e9cessaire pour ce genre de situation dramatique, c’est le moment de prouver que tout fonctionne.<\/p>\n\n\n\n
Comme nous testons mensuellement la r\u00e9installation compl\u00e8te de chaque serveur de nos clients et de nos infrastructures, nous savons dans la liste des serveurs impact\u00e9s, le temps n\u00e9cessaire \u00e0 la restauration compl\u00e8te de ces syst\u00e8mes mesur\u00e9 le mois pr\u00e9c\u00e9dent.<\/p>\n\n\n\n
Nous commen\u00e7ons donc par les serveurs les plus long \u00e0 restaurer afin de ne pas d\u00e9passer la Garantie de Temps de R\u00e9tablissement (GTR) souscrite par nos clients. Comme cette proc\u00e9dure est en tr\u00e8s grande partie automatis\u00e9e et peaufin\u00e9 tous les mois, nous pouvons lancer une restauration et passer rapidement \u00e0 un autre serveur en parall\u00e8le. C’est ainsi qu’en quelques dizaines de minutes, l’ensemble des serveurs devant \u00eatre restaur\u00e9 ont leurs proc\u00e9dures lanc\u00e9s.<\/p>\n\n\n\n Lorsque Octave Klaba le fondateur d’OVH annonce \u00e0 3h42 qu’il recommande aux clients de d\u00e9clencher leurs \u00ab\u00a0Disaster Recovery Plan\u00a0\u00bb, nous avons d\u00e9j\u00e0 fini de restaurer plusieurs serveurs.<\/p>\n\n\n\n 6h40 tout est restaur\u00e9 et fonctionnel, voil\u00e0 en moins de 4h40 tout est \u00e0 nouveau fonctionnel.<\/p>\n\n\n\n Avant m\u00eame que nos clients ne se rendent compte du grave probl\u00e8me survenu cette nuit, nous avons fini de restaurer l’ensemble des serveurs de nos clients sur d’autres h\u00e9bergements en propre sur notre infrastructure ou sur d’autres h\u00e9bergeurs europ\u00e9ens en fonction des pr\u00e9requis des diff\u00e9rentes infrastructures.<\/p>\n\n\n\n Malgr\u00e9 la perte d’un de nos serveurs de sauvegarde sur ce site, nous avons pu assurer la restauration compl\u00e8te et sans perte des infrastructures de nos clients. Tout ce travail depuis des ann\u00e9es pour r\u00e9p\u00e9ter mensuellement les proc\u00e9dures pour faire repartir de z\u00e9ro une infrastructure client a servi en condition r\u00e9elle.<\/p>\n\n\n\n Quels sont les impacts mesur\u00e9s?<\/p>\n\n\n\n Quels ont \u00e9t\u00e9 les mesures appliqu\u00e9es?<\/p>\n\n\n\n Les client ont \u00e9t\u00e9 tenu inform\u00e9 du fait qu’ils \u00e9taient impact\u00e9s et sur quels services, que nous les avions restaur\u00e9 ailleurs et qu’au moment de leur d\u00e9but de journ\u00e9e de travail tous leurs services \u00e9taient de nouveau fonctionnels.<\/p>\n\n\n\n Nous regrettons la perte des donn\u00e9es du seul client qui n’a pas souhait\u00e9 souscrire \u00e0 notre service de sauvegarde, cela nous conforte dans l’id\u00e9e qu’une sauvegarde doit \u00eatre test\u00e9e pour \u00eatre consid\u00e9r\u00e9e comme valide. Une sauvegarde en copiant les fichiers et une base de donn\u00e9e de temps en temps n’est pas une sauvegarde fonctionnelle et ne peut pas garantir un red\u00e9marrage rapide.<\/p>\n\n\n\n![\"Discussion](\"https:\/\/www.digdeo.fr\/articles\/wp-content\/uploads\/2021\/07\/incendie-OVH-Strasbourg-Plan-Reprise-Activite-option.png\" "\\"Un")
Fin d’intervention restauration PRA<\/h2>\n\n\n\n
Bilan de la gestion de l’incendie OVH<\/h2>\n\n\n\n
\n
\n