Dans la nuit du 9 au 10 mars 2020, un incendie s’est déclaré sur le campus d’OVHCloud à Strasbourg. Plusieurs datacenters ont été détruits et l’infrastructure d’ORTIF, hébergé chez OVH et NEHS DIGITAL, a été perdu dans le sinistre.
M. Pierre BLONDE, Adjoint au Directeur des Systèmes d’Information à l’AP-HP partage son retour d’expérience de la gestion de la crise.
Comment l’AP-HP a-t-elle été impactée par la crise d’OVH en mars dernier ?
Les services de téléconsultations et de télé-expertises de l’AP-HP ont été subitement interrompus. Ces deux pratiques font partie des besoins de l’AP-HP depuis plusieurs années. Elles ont gagné en importance avec la crise sanitaire. Nous avons fait un gros effort en interne pour donner les moyens à nos médecins de pratiquer des téléconsultations. Le contexte actuel a poussé les professionnels de santé les moins favorables à développer cette pratique. Au plus fort de la période de crise, le nombre de téléconsultation a été très important avec près de 16 000 visioconférences par semaine. Toute cette organisation a été bien bousculée par l’incendie d’OVH.
L’AP-HP avait-elle déjà subi une crise de cette ampleur auparavant ?
Non, nous avions déjà connu des pannes sur le système d’information d’un service mais elles ne duraient que quelques heures au pire des cas. Ce qui peut déjà être beaucoup dans certains cas de figures ! En revanche jamais un service important, comme celui d’ORTIF, n’avait été à l’arrêt pendant autant de temps, même si des solutions de secours avaient été mises en œuvre très rapidement, notamment pour l’activité d’urgence neuro-vasculaire pour la prise en charge des Accidents Vasculaires Cérébraux.
Comment s’est passée la communication entre les équipes de l’AP-HP et celles de SESAN, le GRADeS IDF ?
SESAN a été très réactif. Nous avons été prévenus directement par le SESAN avant même d’avoir les premiers retours de nos utilisateurs. Ce qui est plutôt une bonne chose. Il y a eu plusieurs appels entre les DSI pour prévenir de l’indisponibilité du service d’ORTIF. Nous avions peu de visibilité sur l’impact et la durée du sinistre au moment où le service a été interrompu le 11 mars.
Le jour-même une réunion de crise a été organisée. Les principaux interlocuteurs entre NEHS DIGITAL et SESAN, qui ont participé à la montée en charge des outils de téléconsultation à l’AP-HP, ont été intégrés directement dans la gestion de cette crise. Des points de suivis réguliers ont été mis en place pour identifier l’ampleur des dégâts et les impacts sur nos services hospitaliers.
Comment l’AP-HP a-t-elle concilié le maintien de la téléconsultation et la gestion de la crise ?
Les premiers jours nous nous sommes passés d’outils de télé expertises. Puis au bout de deux trois jours, vers le 13 mars, Sesan nous a informés de la mise en œuvre d’un mode dégradé autour de la télé expertise, notamment dans le champ des prises en charge en urgence. Cela a permis de relancer l’activité progressivement et de rassurer les médecins. Pour contextualiser, l’AP-HP réalise près de 1 000 téléconsultations avec ORTIF en temps normal.
La crise n’est d’ailleurs pas complètement terminée car certaines informations sur ORTIF n’ont pas été récupérées à ce stade. Les comptes rendus et les données déposées par nos patients sont à notre disposition mais nous ne pouvons toujours pas les transférer automatiquement dans les télé-dossiers affiliés. Nous avons encore un gros travail à traiter avec le support NEHS pour clôturer ce sujet.
Comment ont réagi les professionnels de santé de l’AP-HP lorsque ORTIF n’était plus accessible ?
Pour beaucoup c’était une catastrophe car au début nous pensions que toute la liste des rendez-vous programmés pour les semaines ou les mois à venir avait été perdue. Au final, ces listes nous ont été transmises par Sesan, ce qui a grandement facilité la gestion des annulations de rendez-vous, et la reprogrammation de ces derniers.
Cet événement vous a-t-il permis de mettre en lumière des bonnes pratiques à reproduire dans le cadre d’une gestion de crise ?
L’un des points mis en évidence avant même la gestion de crise est le fait de connaître les origines d’une solution packagée. L’AP-HP a acheté un service clé en main auprès de NEHS Digital. Pour autant nous ne savions pas précisément où était hébergé ORTIF. La première leçon à tirer de cette expérience est d’être désormais plus exigeant sur la garantie de la continuité de services et l’accessibilité des données de nos services.
Pour ce qui est de la gestion de la crise en elle-même, nous avons été prévenus très rapidement tout en étant invité à partager les informations connues avec les utilisateurs d’ORTIF. Les réunions avec les éditeurs et SESAN nous ont tenus informés du redémarrage progressif de la solution. Nous avons pu rapidement conserver le service de grande garde de neurochirurgie par exemple, ce qui est un point positif car ce service était extrêmement critique. Nous avons eu deux jours sous tension et progressivement nos pratiques ont pu être en partie retrouvées. Je pense que la gestion de crise a été structurée correctement.
Le plan de reprise d’activité SESAN
Pendant que NEHS reconstruisait ORTIF brique par brique, les équipes de SESAN ont été mobilisés sur l’aspect communication du Plan de Reprise d’Activité. Trois cellules de crises étaient planifiées chaque jour, avec 17 personnes impliquées. Sur les deux semaines qui ont suivi l’incendie d’OVH, les adhérents d’ORTIF étaient contactés par mail et 3 webinaires ont été organisés pour les accompagner. Ces échanges réguliers avec les professionnels de santé ont permis d’entretenir une communication fluide avec les professionnels de santé. Toutes les fonctionnalités métier d’ORTIF ont pu être rétablie en quelques semaines
