How do you prioritize tasks when multiple critical systems fail simultaneously?

Nesse contexto é fundamental ter documentado um planejamento de contingência, pois teoricamente nesse documento terão cenários de riscos e prioridades em caso de falhas. Com isso como balizador, deverá de forma rápida se avaliar o cenário, o que parou de funcionar, os impactos no negócio e os riscos dessa situação, devendo atuar para minimizar riscos e minimizar o impacto no negócio, para que seu cliente não sinta falta de confiança no seu negócio. No mundo tecnológico que vivemos na atualidade, um sistema depende do outro muitas vezes e vão ocorrer situações emergenciais, a agilidade da atuação também fará diferença na percepção do cliente sobre seu negócio.

In this scenario proper planning will help to recover the operation quickly. Firstly, We need to categories all failed systems according to their criticality and impact on the business. We can't recover everything at one go, so first start with restoration process for essential devices which will keep the business running. Once critical systems are restored then focus on other devices. Perform root cause analysis to identify and improve the process after the recovery is completed.

First step should be identifying the reason for disruption. If it is simply a hardware failure, go on and have a look at the desaster recovery plan which should name the sequence and priority for system recovery. But if the failure is due to criminal activities e.g. a cyber attack forensics should be made before trying to recover. Especially if management decides to goto court to get compensation from attacker.

1. Dont panic 2. Analyze the situation 3. Check the impact 4. Identify all critical 5. Start from the most important to less important

As a leader you need to stay calm in the face of a storm. It is only then you will be equipped for the next steps, assessing the impact will only guide us to organise and rebuild.

If you need external ressources don't forget to bound them by contract especially reagarding GDPR. You are very good prepared if you already have a CSIRT or forensic partner contract for desaster recovery.

Need of the hour is to do impact analysis and break it down into quadrants, understand what is high & low in criticality and high & low in availability of stock. This will help in making a firm decision.

After assessing the impact of each system's failure, the next step is to take stock of your available resources. This includes personnel, hardware, and software tools. If you have a limited number of experts for specific issues, assign them to the highest-priority tasks. Sometimes, you may need to make tough decisions, like reallocating resources from less critical tasks or bringing in additional support if necessary. Effective resource allocation is crucial for managing multiple system failures efficiently. Prioritize wisely to ensure the most critical issues are addressed promptly.

Além de avaliar os recursos disponíveis, é importante considerar o tempo necessário para alocar esses recursos de maneira eficaz. Identifique quais membros da equipe têm a flexibilidade para assumir novas responsabilidades e quais ferramentas de software podem ser automatizadas para liberar recursos humanos. Priorize a capacitação contínua da equipe para aumentar a versatilidade e a resiliência do time diante de situações críticas. Essa preparação não só otimiza o uso dos recursos, mas também assegura uma resposta mais rápida e eficaz a múltiplas falhas de sistema, minimizando o impacto negativo nas operações do negócio.

Asigna recursos: Considera la disponibilidad de recursos (personal, hardware, software) para abordar los problemas. Asigna recursos a los sistemas más críticos primero.

Além de considerar os riscos financeiros e de integridade dos negócios, é crucial avaliar o impacto sobre a conformidade regulatória e a reputação da empresa. Uma falha em sistemas que gerenciam dados pessoais ou financeiros pode resultar em penalidades legais e comprometer a confiança do cliente. Analisar as possíveis consequências legais e a perda de credibilidade pública ajuda a entender o panorama completo dos riscos. Esse entendimento é vital para uma gestão de crise eficaz, garantindo que as decisões de priorização sejam bem-informadas e alinhadas com os objetivos estratégicos da organização.

Risk analysis and mitigation control to ensure the minimum impact is attained, this requires very detailed observation and bold decision making.

Evaluating the risks associated with each failure is crucial. Consider both the immediate and long-term consequences of not addressing a system's issue. For example, a system that directly affects revenue generation, like an e-commerce platform, poses a significant financial risk if left unattended. On the other hand, a system failure leading to data loss could have long-lasting implications for business integrity and customer trust. Balancing these risks helps prioritize tasks effectively, ensuring that the most critical issues are tackled first to minimize overall impact on the business.

Identifica dependencias: Comprende las relaciones entre los sistemas. Algunos sistemas pueden depender de otros. Prioriza aquellos que afectan a múltiples sistemas o que son precursores de otros fallos.

Durante uma crise, além de manter todos informados, é crucial ser direto e específico sobre os passos em andamento. Informações claras sobre o progresso e o tempo estimado de resolução ajudam a manter a calma e a confiança. Uma comunicação eficaz inclui atualizações regulares e acessíveis, garantindo que todos estejam alinhados e possam tomar decisões baseadas nas informações mais recentes.

Clear communication with a concise plan of action goes a long way in such dire situation. This helps manage expectation and the audience to organise and plan their deliverables better.

Don't forget notification requirements against law enforcement like GDPR, in germany KRITIS against BSI, if there is an attack LKA/BKA and the upcoming NIS2 requirements.

Comunica: Informa a todas las partes interesadas sobre la situación. Esto incluye a los equipos técnicos, la alta dirección y los usuarios finales. La comunicación transparente es esencial.

Robust plan of action with clear mapping of items to owners is very important to steer through the adverse impact and recover swiftly.

Ao desenvolver o plano, garanta clareza nas instruções e alocação de recursos. Cada membro da equipe deve saber exatamente o que fazer e ter acesso às ferramentas necessárias. A flexibilidade do plano é essencial para ajustes rápidos, garantindo uma resposta eficaz a imprevistos. A coordenação e a prontidão são chave para uma recuperação eficiente.

Implementa soluciones temporales: Si es necesario, aplica soluciones temporales para mantener la operación. Por ejemplo, redirige el tráfico a servidores alternativos o utiliza sistemas de respaldo. Resuelve la causa raíz: Investiga las causas subyacentes de los fallos. Prioriza la resolución de la causa raíz para evitar futuros problemas.

Para assegurar uma recuperação eficaz, é crucial monitorar o progresso continuamente. Utilize ferramentas de monitoramento em tempo real para visualizar o status de cada sistema e ajustar as prioridades conforme necessário. Isso permite uma resposta ágil a novas informações ou mudanças de condições, garantindo que as tarefas sejam executadas eficientemente e proporcionando insights valiosos para aprimorar processos futuros.

Documenta y aprende: Registra todo lo ocurrido y documenta las acciones tomadas. Aprende de la experiencia para mejorar la preparación y la respuesta en el futuro.

Use the incident to get better prepared next time. Create desaster recovery plans if you do not had them, improve existing plans.

There should be well defined Contingency Plan. Highest Priority is given to those systems which are in direct service to customers or people, then revenue generating systems.

Recuerda que la priorización puede variar según la situación específica y la naturaleza de los sistemas afectados. Adaptar estas recomendaciones a tu contexto es esencial.