Is Whaller Down?

# Post-mortem — Indisponibilité de la plateforme après un déploiement ## Résumé Le 10 novembre 2026, un déploiement a rendu l’ensemble des environnements SaaS mutualisés inaccessibles pendant quatre minutes. Le service a ensuite repris en mode dégradé avant de retrouver son fonctionnement normal. ## Chronologie des événements Les horaires du 10 novembre 2026 sont exprimés en heure de Paris \(CET, UTC\+1\), après conversion des horaires UTC du journal. * À **17 h 53**, les équipes techniques constatent l’interruption après le déploiement et identifient un problème de configuration de l’environnement de production. * À **17 h 57**, le service reprend en mode dégradé. * À **18 h 02**, un avis signalant la perturbation est publié sur la page de statut. * À **18 h 18**, l’incident est clôturé sur la page de statut après le retour à la normale. L’heure exacte du rétablissement complet reste à confirmer. ## Difficultés rencontrées Les équipes techniques ont dû déterminer à quelle étape de la mise en production la configuration attendue cessait d’être appliquée. ## Cause de l’incident Une modification du processus de construction de l’application a cassé l’étape finale du déploiement qui utilisait encore le mécanisme précédent, ce qui a rendu la plateforme inaccessible. ## Perte de données Pas de perte de données. ## Mesures de remédiation Les équipes techniques ont préparé un déploiement correctif après la reprise partielle et ont déroulé un nouveau déploiement sans encombre. # Postmortem — Platform outage following a deployment ## Summary On 10 November 2026, a deployment made all shared SaaS environments inaccessible for four minutes. The service then resumed in a degraded state before returning to normal operation. ## Timeline of events Times for 10 November 2026 have been converted from UTC, as recorded in the incident log, to Paris time \(CET, UTC\+1\). * At **17:53**, the technical teams observed the outage after the deployment and identified a configuration issue in the production environment. * At **17:57**, the service resumed in a degraded state. * At **18:02**, a notice reporting the disruption was published on the status page. * At **18:18**, the incident was closed on the status page after the service returned to normal. The exact time of full restoration remains to be confirmed. ## Challenges encountered The technical teams had to determine at which stage of the production deployment the expected configuration stopped being applied. ## Cause of the incident A change to the application build process disrupted the final stage of deployment, which was still using the previous mechanism, rendering the platform inaccessible. ## Data loss No data loss. ## Remedial measures The technical teams prepared a corrective deployment following the partial recovery and carried out a new deployment without incident. --- [2026-11-10T17:18:16.332+01:00] (resolved) L'ensemble des services a été rétabli et la plateforme fonctionne désormais normalement. Nos équipes techniques ont confirmé la résolution de l'incident et continuent de surveiller la stabilité du système. Un rapport post-mortem sera publié ultérieurement afin de présenter les causes de l'incident et les mesures mises en œuvre pour éviter qu'il ne se reproduise. --- All services have been fully restored, and the platform is now operating normally. Our technical teams have confirmed the resolution of the incident and continue to monitor system stability. A post-mortem report will be published at a later date to explain the root causes of the incident and the measures implemented to prevent similar occurrences. --- [2026-11-10T17:01:36.364+01:00] (identified) Le service a été interrompu pendant quelques minutes à la suite d'un incident technique. Il est désormais rétabli en mode dégradé, certaines fonctionnalités pouvant rester temporairement indisponibles ou perturbées. Nos équipes techniques sont pleinement mobilisées pour restaurer l'intégralité du service dans les meilleurs délais. --- The service was interrupted for a few minutes following a technical incident. It has now been partially restored and is operating in degraded mode, with some features potentially remaining temporarily unavailable or disrupted. Our technical teams are fully mobilized to restore complete service functionality as quickly as possible.

# Post-mortem — Ralentissements et dégradation des performances de la plateforme | Platform Slowdowns and Performance Degradation **Date de l'incident :** 9 novembre 2026 **Niveau de criticité :** P0 — Critique **Statut :** Résolu et clôturé ## Résumé Le 9 novembre 2026, la plateforme de production mutualisée a subi une dégradation de ses performances, entraînant des ralentissements et des erreurs HTTP 503 \(service temporairement indisponible\) pour une partie des utilisateurs. L'incident a été causé par une saturation des processus de traitement des requêtes PHP sur l'un des serveurs frontaux de la plateforme. Les équipes techniques sont intervenues pour identifier l'origine du dysfonctionnement et rétablir le service. Un redémarrage du serveur concerné, accompagné d'une réinitialisation du cache PHP, a permis de restaurer le fonctionnement normal. Le rétablissement du service a été confirmé à 09h03 CET et l'incident a été définitivement clôturé à 09h10, après vérification de la stabilité de la plateforme. ## Chronologie des événements **9 novembre 2026** * **~07h15 CET :** Début réel de l’incident sur la plateforme * **08h08 :** Premiers constats documentés de ralentissements et d'erreurs HTTP 503 sur la plateforme mutualisée. * **08h20 :** Publication d'un avis d'incident sur la page de statut afin d'informer les utilisateurs. * **08h42 :** Les équipes techniques identifient une dégradation des performances localisée sur un serveur frontal. * **08h45 :** Mise à jour des paquets système et redémarrage du serveur concerné. * **08h50 :** Les investigations confirment la saturation de l'ensemble des processus PHP-FPM disponibles sur ce serveur. Le redémarrage et la réinitialisation du cache PHP permettent de rétablir leur fonctionnement. * **09h03 :** Confirmation du retour à un fonctionnement normal. La page de statut est actualisée et une surveillance renforcée est maintenue. * **09h06 :** Mise à jour du composant serveur web. * **09h10 :** Clôture définitive de l'incident après vérification de la stabilité du service. ## Difficultés rencontrées L'identification de l'origine du problème a nécessité plusieurs vérifications techniques. La dégradation était localisée sur un seul des serveurs frontaux, ce qui rendait le dysfonctionnement moins immédiatement identifiable à l'échelle de l'ensemble de la plateforme. Les premiers outils de supervision ont permis d'identifier le serveur affecté, mais l'analyse plus approfondie des indicateurs système a été nécessaire pour mettre en évidence la saturation des processus PHP-FPM. ## Cause de l'incident L'incident a été provoqué par la saturation de l'ensemble des processus PHP-FPM disponibles sur l'un des serveurs frontaux de la plateforme. Ces processus assurent le traitement des requêtes applicatives. Lorsqu'ils sont tous occupés, le serveur ne peut plus traiter normalement certaines nouvelles requêtes, ce qui entraîne des ralentissements et des réponses HTTP 503. Le redémarrage du serveur et la réinitialisation du cache PHP ont permis de libérer les processus et de rétablir le fonctionnement du service. ## Perte de données Aucune perte de données n'a été signalée dans le cadre de cet incident. Les dysfonctionnements constatés ont concerné principalement la disponibilité du service et les performances de traitement des requêtes. ## Mesures de remédiation **Actions correctives réalisées :** * Redémarrage du serveur frontal affecté afin de rétablir la disponibilité des processus de traitement. * Réinitialisation du cache PHP pour restaurer le fonctionnement normal des services applicatifs. * Mise à jour des paquets système et du composant serveur web. * Vérification du rétablissement des performances et surveillance renforcée après résolution. Les équipes techniques restent mobilisées pour assurer la stabilité et la disponibilité de la plateforme. --- **Incident Date:** November 9, 2026 **Severity Level:** P0 — Critical **Status:** Resolved and Closed ## Summary On November 9, 2026, the shared production platform experienced a degradation in performance, resulting in slowdowns and HTTP 503 errors \(service temporarily unavailable\) for some users. The incident was caused by the saturation of PHP request-processing processes on one of the platform's frontend servers. The technical teams investigated the issue and worked to restore service. Restarting the affected server and resetting the PHP cache successfully restored normal operations. Service restoration was confirmed at 09:03 CET, and the incident was officially closed at 09:10, following verification of the platform's stability. ## Timeline of Events **November 9, 2026** * **~07:15 CET:** Actual start of the incident on the platform. * **08:08:** First documented observations of slowdowns and HTTP 503 errors on the shared production platform. * **08:20:** An incident notification was published on the status page to inform users. * **08:42:** The technical teams identified a performance degradation affecting one frontend server. * **08:45:** System packages were updated, and the affected server was restarted. * **08:50:** Further investigations confirmed that all available PHP-FPM processes on the server had reached saturation. Restarting the server and resetting the PHP cache restored their normal operation. * **09:03:** Normal service operation was confirmed. The status page was updated, and enhanced monitoring remained in place. * **09:06:** The web server component was updated. * **09:10:** The incident was officially closed after confirming service stability. ## Challenges Encountered Identifying the root cause of the issue required several technical investigations. The performance degradation was isolated to a single frontend server, making the issue less immediately apparent when monitoring the platform as a whole. Initial monitoring tools helped identify the affected server, but a more detailed analysis of system metrics was required to reveal the saturation of PHP-FPM processes. ## Cause of the Incident The incident was caused by the saturation of all available PHP-FPM processes on one of the platform's frontend servers. These processes are responsible for handling application requests. When all processes are occupied, the server can no longer properly handle certain incoming requests, resulting in slowdowns and HTTP 503 responses. Restarting the server and resetting the PHP cache freed up the processes and restored normal service operation. ## Data Loss No data loss was reported in connection with this incident. The observed issues primarily affected service availability and request-processing performance. ## Remediation Measures **Corrective actions completed:** * Restarted the affected frontend server to restore the availability of request-processing processes. * Reset the PHP cache to restore normal application service operation. * Updated system packages and the web server component. * Verified that performance had returned to normal and maintained enhanced monitoring following resolution. The technical teams remain fully committed to ensuring the platform's stability and availability. --- [2026-11-09T09:09:57.570+01:00] (resolved) L'incident est désormais définitivement clôturé. Le fonctionnement normal de la plateforme est pleinement rétabli et les vérifications effectuées confirment la stabilité du service. Nous remercions nos utilisateurs pour leur patience et leur compréhension. Un rapport post-mortem sera publié prochainement afin de présenter les causes de l'incident et les mesures prises pour prévenir sa réapparition. --- The incident is now officially closed. Normal platform operations have been fully restored, and our checks confirm that the service is stable. We thank our users for their patience and understanding. A post-mortem report will be published shortly, outlining the root causes of the incident and the measures taken to prevent its recurrence. --- [2026-11-09T09:05:51.018+01:00] (monitoring) L'incident est désormais résolu et le fonctionnement normal de la plateforme a été rétabli. Nos équipes maintiennent une surveillance renforcée afin de s'assurer de la stabilité du service. Une analyse approfondie de l'incident sera réalisée et un rapport post-mortem sera publié très prochainement. --- The incident has now been resolved, and normal platform operations have been restored. Our teams are maintaining enhanced monitoring to ensure service stability. A thorough incident analysis will be conducted, and a post-mortem report will be published shortly. --- [2026-11-09T08:19:51.756+01:00] (investigating) Nous constatons depuis **7h15 ce matin (heure de Paris)** des ralentissements anormaux sur notre environnement de production, susceptibles d'affecter les performances de la plateforme et de dégrader l'expérience utilisateur. Nos équipes techniques sont mobilisées pour analyser la situation, identifier l'origine de ces perturbations et mettre en œuvre les actions correctives nécessaires afin de rétablir un fonctionnement nominal dans les meilleurs délais. Nous suivons activement l'évolution de cet incident et communiquerons de nouvelles informations dès que possible. --- Since **7:15 AM this morning (Paris time)**, we have been experiencing abnormal slowdowns in our production environment, potentially affecting platform performance and degrading the user experience. Our technical teams are actively investigating the situation to identify the root cause of these disruptions and implement the necessary corrective actions to restore normal service as quickly as possible. We are closely monitoring the incident and will provide further updates as soon as more information becomes available.

We are currently investigating this issue.