Os pequenos detalhes - II

Pensam que a saga acabou? Continuou…

O Servidor estava um pouco estranho, várias mensagens do kernel sobre XFS, continuo realocando partições e dados. Alguns horas trabalhando, reinicio a máquina porque precisa atualizar a tabela de partições e sumiu os dados. Procuro um pouco, mais pouco, mãos para alto e um estalo na mente: “Backup!!!”. Checo o backup, está inteiro, ligo para o DBA - “As tablespace de sistema sumiram” - ele perdeu parte de seu domingão família com essa notícia benevolente. De volta aos trabalhos, já está muito tarde para refazer as partições com LVM, partições normais, kernel novo (2.6.15), Storage funcionando. Aviso o DBA para começar o trabalho dele que era restaurar backup e refazer as tablespace de sistema. O trabalho prossegue, aparentemente tudo bem, por volta das 21 horas percebo que a importação está demorando, meu email profissional não responde. Caiu o DNS, mais um pouco e o email também, checo o resto dos servidores, todos fora do ar. Ligo e descubro que teve um pico de energia, desarmou os dijuntores, nobreak aguento umas duas horas e depois…

Vamos para o trabalho, religamos todos os dijuntores, sistemas no ar mas ainda falta um rack que não liga. Cansado, tento descobrir onde está o problema e um colega de trampo olha para o quadro elétrico e liga o dijuntor que esqueci de ligar.

Segunda, ajustando detalhes e pronto para ir embora, avisam-me que um prédio estava fora do ar. Mais duas horas e resolvemos o problema, malditos estagiários que ligam as duas pontas do cabo de rede no switch.

Pequenos detalhes, grandes catástrofes. =P