Interrupción temporal del servicio en MAD3B Miércoles 26th junio 2024 12:50:00


Se ha identificado una incidencia con impacto en el servicio en nuestro centro de datos MAD3B

Resumen:

Viernes 28 de junio 2024, 17:00h: damos por cerrada la incidencia del 26 de junio, todos los sistemas están en funcionamiento y estables.

Queremos agradecerte sinceramente tu paciencia durante este proceso y lamentamos cualquier inconveniente que haya causado. Si desde ahora detectas cualquier dificultad con tus clientes queremos recordarte que estamos a tu disposición a través de nuestro equipo de Customer Support por sus canales habituales.

Viernes 28 de junio 2024, 01:00h: la incidencia del 26 de junio ha sido parcialmente resuelta y estamos restaurando todos los sistemas.

Jueves 27 de junio 2024, 19:30h: la incidencia ya está bajo control y el número de servidores afectados se ha reducido drásticamente. Estamos trabajando para reactivar los servidores que aún quedan pendientes y continuaremos interviniendo hasta que todas las máquinas y casos reportados estén completamente resueltos.

Jueves 27 de junio 2024, 15:00h: Continuamos trabajando en el restablecimiento total, hemos reducido el impacto, pero seguimos experimentando problemas con algunos servicios.

Jueves 27 de junio 2024, Aprox. 10:00 comenzamos a mover capacidad hacia la nueva zona de disponibilidad en Madrid para liberar uno de los clústeres.

Jueves 27 de junio 2024, Aprox. 07:00 comenzamos a retomar la estabilidad del servicio

Jueves 27 de junio 2024, Aprox. 03:00h: el orquestador del cloud vuelve a interpretar que los nodos están fuera de línea y volvemos a la casilla de salida.

Miércoles 26 de junio 2024, Aprox. 22:00h: hemos estabilizado la situación y procedemos a levantar todas las MV de partner que estén paradas.

Miércoles 26 de junio 2024, Aprox. 18:00h: el orquestador marca como fuera de servicio algunos nodos de su clúster, aunque estén trabajando bien, porque responde con lentitud.

Miércoles 26 de junio 2024, Aprox. 17:00h: el orquestador del cloud tiene problemas de saturación y se aumentan los recursos para desbloquear su backlog de tareas.

Miércoles 26 de junio 2024, Aprox. 16:00h: la intervención en el circuito de potencia termina

Miércoles 26 de junio 2024, 13:30h: los sistemas vuelven a entrar en sus clúster y empieza el movimiento de MV que habían quedado detenidas.

Miércoles 26 de junio 2024, 13:20h: se han cambiado ya todas las tomas de potencia a una línea funcional

Miércoles 26 de junio 2024, 12:50h: se produce la caída de potencia