VM.center

Днем 23/06/2019 сдохла нода3 из GRA2 узлов.
Оказалось сотрудник ОВХ хотел что-то обновить в CPU дырках intel

Stable kernel, hz1000 — 64bit (includes up-to-date intel microcodes)

Но убил ОС
И сбросил ее типо ОС должна быть исправлена заказчиком.


Пришлось восстанавливать



Пришлось переустанавливать ОС с нуля и накатывать из бекапа.
Копирование данных. 21-23 00-40, т.е почти 3 часа выкачивали



Пол часа переустановка ОС, настройка узла.
И восстановление. 02-33, 03-39, копирование оказалось быстрее.



Итого на все про все ушло. 8 часов :) Закладывали 10.

CentOS и VMmanager — постоянно зависают от любого косяка. Даже просто от обновления Vmmanager падает и не запускается.
Debian же всегда поднимается, но разработчик ISPsystem не умеет поддерживать Debian для VMmanager. Такие вот дела.

А на рынке альтернативы нет.
Хотя будущее за панелью, которая будет поддерживаться уже непосредственно разработчиком панели. Либо дата-центром и его штатом админов и программистов.
Когда панель, облачная, станет именно не просто софтом каким-то, а целым сервисом/биллингом по подписке. Куда все будут добавлять свои мощности и резать VPS.

Тот кто сделает это быстрее всех — заберет себе весь рынок бюджетных VPS.

Итак, как мы знаем — была авария с электричеством в SBG дата-центрах OVH.
И конечно же все серверы с Debian — поднялись без проблем.
А вот CentOS — сдохла.


Написали в этот в поддержку ISPsystem — на что получили ответ.


Было решено — восстанавливать как обычно, самим. Можно было еще вчера начать, но думали может просто косяк и серверы еще не подняли. Но потом когда ОВХ сбросило их в режимы восстановления, стало понятно, что ОС пришел пиздец.
21:18 — старт копирования.



Интересно то, что 4 ноды сдохли.
А вот 5-ая почему-то нет :) Возможно потому-что она была самая свежая и версия centos была чуть другая например, ведь шаблоны ОС тоже постоянно меняются? А может быть потому что она была полу-пустая. Трудно сказать короче — почему.

Но факт есть факт. CentOS с VMmanager KVM — само умерло и не запустилось. Просто из-за того, что сервер отключился аварийно. А все серверы Debian 7, 8, 9 на 100% — поднялись и не заметили даже косяков. Серверы с VMmanager правда были в меньшинстве, остальные были просто Дебианы с ISPmanager или играми какими-ниб, но даже меньшинство серверов vmmanager поднялось без единого косяка.

Трудно сказать короче что лучше, что хуже.
В нашем деле — нужно уметь готовить продукты из различных говен и выпускать в продакшен. Не привыкать :) Сколько себя знаю — всегда только из говна и делал. И делал удачно, что специалистам которые считают что они работают с идеальными технологиями — всегда припекало и они горели, что кто-то из говна лепит более удачно, чем они.

Итак понеслось.