Awaria OVH

[pzygmunt]

Małe podsumowanie awarii.
Awaria rozpoczęła się o 7:14 i od razu zostaliśmy zasypani sms-ami i mailami ze stacji monitorujących (site24x7.com i Zabbix).
Awaria dotknęła 15% serwerów Supli. Dzięki temu, że infrastruktura jest rozproszona, awaria dwóch serwerowni (SBG-1,RBX) nie położyła całej infrastruktury. Niedziałające maszyny przenieśliśmy do innych lokalizacji. Jedynie www.supla.org i forum.supla.org pozostały dłużej nieczynne z uwagi na to, że nie są to usługi krytyczne i postanowiliśmy zaczekać na podniesienie się serwerów w OVH.

Kilka słów o bezpieczeństwie.
Wszystkie serwery są monitorowane przez site24x7.com i Zabbix-a, który monitoruje kilkadziesiąt parametrów każdej z maszyn (użycie procesora, dysku, ruch sieciowy, zasoby systemowe, logi, błędy i masę innych).
Jeżeli tylko coś jest nie tak to natychmiast jesteśmy powiadamiani. Nawet jak backup się nie zrobi to od razu idzie monit.
Wszystkie serwery mają ustawiony backup – pełny co 24h i dump baz co godzinę. Wszystkie kopie są szyfrowane i przesyłane do 3 fizycznie oddalonych od siebie lokalizacji. Mamy też kilka zapasowych VPS-ów, które umożliwiają przejęcie funkcji tej części infrastruktury, która padła (to dzisiaj zostało przetestowane w praktyce). Migracja padniętej maszyny (z kopii) na zapasowy VPS trwała <15 min od momentu naciśnięcia przycisku start.
Procedurę przeniesienia mogliśmy wykonać trochę wcześniej jednakże łudziliśmy się, że wszystko zaraz wstanie po pierwszych zapewnieniach OVH. Tak czy owak pierwszy poważny PAD mamy za sobą.

[michael]

Wszystko działa i to jest bardzo dobra wiadomość

Ale muszę przyznać, że wczoraj to był mój pierwszy dzień w tygodniu, w którym nie siedziałem na forum Supla i nie wiedziałem co mam ze sobą zrobić
Na tym forum siedzę więcej niż na jakimkolwiek innym serwisie

[Espablo]

Muszę przyznać, że też się uzależniłem od tego forum i brakowało mi Was.
Uspokoiłem się dopiero jak przeczytałem w necie a potem usłyszałem w RMFie o awarii OVH.
Ważne, że teraz już wszystko działa.

[Zybi]

Już chyba wszyscy mamy uzależnienie od supli.

[byniom]

Mnie ciśnienie poszło rano bo jak zwykle przy kawie FB i forum a tutaj się nie otwiera . Potem informacja o OVH i już się domyślałem że to jest przyczyną

[Lucas]

Już chyba wszyscy mamy uzależnienie od supli.

Miałem wczoraj to samo Jak co rano klikam w skrót do forum Supli, a tu nic... Kolejny raz, że niby ten Internet taki nieposłuszny, i znowu nic... No to net na komórce i tak samo...
Dzień bez forum Supli dniem straconym

[michael]

No to teraz jak już tak wszyscy się lubimy i nie możemy bez siebie żyć to może w przyszłym roku jak już będzie ciepło zorganizujemy się na jakieś spotkanie w jakimś pensjonacie lub domkach. Wychylimy hektolitry napojów wyskokowych, zrobimy jakieś ognicho i myślę, że będzie jeszcze fajniej

[wojtas567]

Tak, macie rację dzień był ciężki a pogoda za oknem jeszcze dobijała i co tu robić

[fracz]

Awarię można było przewidzieć. Temat "Awaria OVH" był tysięcznym tematem na forum, można było się domyślić że to będzie coś specjalnego

1000.jpg

[pzygmunt]

No to teraz jak już tak wszyscy się lubimy i nie możemy bez siebie żyć to może w przyszłym roku jak już będzie ciepło zorganizujemy się na jakieś spotkanie w jakimś pensjonacie lub domkach. Wychylimy hektolitry napojów wyskokowych, zrobimy jakieś ognicho i myślę, że będzie jeszcze fajniej

Kto wie... Moze w przyszłym roku zorganizujemy jakąś oficjalną impezę