Se ha identificado una incidencia con impacto en el servicio en nuestro centro de datos MAD3B
Resumen:
Ayer una intervención no programada sobre uno de los circuitos de potencia en uno de nuestros CPD provocó que una parte de la infraestructura se detuviera, obligando al sistema a entrar en modo recuperación.
Este evento provocó una sucesión de acciones correctivas por parte del sistema para asegurar su estabilidad. Estas acciones, al ser tan extensas, abundantes y automatizadas, dieron la impresión de una sobrecarga en el sistema, llevándolo a ejecutar protocolos de mitigación adicionales.
En estos momentos, en JOTELULU está dedicando el 100% de nuestras operaciones a gestionar esta situación para mantener y restablecer la estabilidad del sistema. Este proceso implica la activación cuidadosa de áreas y grupos de recursos de manera procedimental, lo cual demanda un tiempo.
Agradecemos profundamente su colaboración y comprensión. Seguimos comprometidos a mejorar y expandir nuestra plataforma para el beneficio de todos nuestros partners y sus clientes Os mantendremos informados de nuevas actualizaciones. Gracias por vuestra paciencia y apoyo continuo.
Viernes 28 de junio 2024, 17:00h: damos por cerrada la incidencia del 26 de junio, todos los sistemas están en funcionamiento y estables.
Queremos agradecerte sinceramente tu paciencia durante este proceso y lamentamos cualquier inconveniente que haya causado. Si desde ahora detectas cualquier dificultad con tus clientes queremos recordarte que estamos a tu disposición a través de nuestro equipo de Customer Support por sus canales habituales.
Viernes 28 de junio 2024, 01:00h: la incidencia del 26 de junio ha sido parcialmente resuelta y estamos restaurando todos los sistemas.
Jueves 27 de junio 2024, 19:30h: la incidencia ya está bajo control y el número de servidores afectados se ha reducido drásticamente. Estamos trabajando para reactivar los servidores que aún quedan pendientes y continuaremos interviniendo hasta que todas las máquinas y casos reportados estén completamente resueltos.
Jueves 27 de junio 2024, 15:00h: Continuamos trabajando en el restablecimiento total, hemos reducido el impacto, pero seguimos experimentando problemas con algunos servicios.
Jueves 27 de junio 2024, Aprox. 10:00 comenzamos a mover capacidad hacia la nueva zona de disponibilidad en Madrid para liberar uno de los clústeres.
Jueves 27 de junio 2024, Aprox. 07:00 comenzamos a retomar la estabilidad del servicio
Jueves 27 de junio 2024, Aprox. 03:00h: el orquestador del cloud vuelve a interpretar que los nodos están fuera de línea y volvemos a la casilla de salida.
Miércoles 26 de junio 2024, Aprox. 22:00h: hemos estabilizado la situación y procedemos a levantar todas las MV de partner que estén paradas.
Miércoles 26 de junio 2024, Aprox. 18:00h: el orquestador marca como fuera de servicio algunos nodos de su clúster, aunque estén trabajando bien, porque responde con lentitud.
Miércoles 26 de junio 2024, Aprox. 17:00h: el orquestador del cloud tiene problemas de saturación y se aumentan los recursos para desbloquear su backlog de tareas.
Miércoles 26 de junio 2024, Aprox. 16:00h: la intervención en el circuito de potencia termina
Miércoles 26 de junio 2024, 13:30h: los sistemas vuelven a entrar en sus clúster y empieza el movimiento de MV que habían quedado detenidas.
Miércoles 26 de junio 2024, 13:20h: se han cambiado ya todas las tomas de potencia a una línea funcional
Miércoles 26 de junio 2024, 12:50h: se produce la caída de potencia
Ningún incidente reportado
Ningún incidente reportado
Ningún incidente reportado
Ningún incidente reportado
Ningún incidente reportado
Ningún incidente reportado
Ningún incidente reportado