Публичные отчеты и различная статистка по нашим нодам, что мы насоздавали от балды.
  • Дата создания
    7 ноября 2017
  • Топиков
    45
  • Ограничение на постинг
    1.000
  • Категория:
    VM.Center

Сгорел БП на ноде

В ОВХ каждая услуга под бесплатным мониторингом от ДЦ.
А кому он не нужен — в ПУ просто его отключают и тогда сотрудники ДЦ не трогают сервер вообще (который кстати меньше сотни обычно, а не по 500 человек как в РФ инженеров)

Так вот, когда в ОВХ сгорает что-то — 15 минут и готово — уже чинят, может быть пол часа, может быть час — все само, все автоматически потом сервер оживет.

А в Хетзнер — ты можешь даже и не знать о том, что сервер сдох.
В 10 утра сервер сдох. Если бы у меня не было своего мониторинга — вероятно я бы и не узнал.


Но буду честен — утром я не придал значения этому. И как-то похуй было даже на уведомление )
И вот мне пишет чел — не работает.
Уже в обед.

И я решил проверить — и правда не работает.
Пошел ребутнул.
Не ребутается.
Ну думаю опять процессор перегрелся и сервак завис.
Отправляю на ручную перезагрузку сотрудником.
А через 15 минут сервер поднимается. И там пишут что сгорел Блок Питания


Неужели Хетзнеру трудно сделать так же как в ОВХ?
Это же конкурентное преимущество!

Сгорел архивный сервер с NVME

Обычно все привыкли к тому, что ну сгорел и сгорел.
Но тут такое дело получилось. Вот мы уже 5 лет делаем ноды. И конечно же не актуальные конфиги постепенно умирали, но на них всегда оставалось 1-2 похуиста которые упорно продляли — и эти ноды становились убытками уже из-за пустых долей. Так вот похуистов мы вручную переносили на архивный мощный Райзен с NVME дисками и где можно было 256 IP держать, а не 16.

И вдруг такая подстава. Горит диск не на боевом сервере каком-ниб где все знают. А горит новый NVME диск, которому даже 2х лет не было. Но там сидят одни похуисты — а они сука не делают бекапов.

Притом всякие 8 летние диски SSD — до сих пор не один не сломался. А тут вдруг NVME ломается. Ну чисто бывает.

Короче больше суток простоя и утеря данных.
Кто-то делал, но кто-то написал что не делал.

Перенес все виртуалки на новую ВМ-6 панель
И понял что у этого говна даже нельзя при создании ВМ выбрать определенный IP
Это просто пиздец.
hosting.show/alice2k-hosting/vmmanager-6-do-sih-por-ne-umeet-sozdavat-vm-s-opredelennym-ip-adresom-.html
hosting.show/alice2k-hosting/eto-prosto-zhest-realno.html
hosting.show/alice2k-hosting/vot-eto-nuzhno-raskidat-po-15-vds.html

Само восстановление — лично мной — заняло около 3х часов.
Соблюсти все IP
Притом еще методом подбора, т.к. нельзя было назначить нужные.
Нада было создавать мусорные услуги чтобы истратить IP, а потом когда подходила очередь нужного — уже добавлять его на клиента ))
Ну короче за 3 часа справился.
Вот так, каждую ВМ чекал

И добавлял в ВМ-6




Начислил или бонусные продления, либо отсыпал дополнительных сеток — все равно без дела валяются, ну тем кто держал там ВМ из-за дох IP за 500р.


[VMmanager 5] - бекапы панели делаются не полностью

Когда настраиваешь бекапы средством бекапа от VMmanager 5 — оно копирует базу данных только.
Но не копирует файлы конфига.

Поэтому не стоит полагаться на бекап от панели.
Нужно самому просто настраивать СОБСТВЕННЫЕ бекапы.
Например в облаке если панель — делать копирую средствами облака.
Например если на дедике, то самому настроить. А не через бекап от панели, который тупо не делает качественно бекап.


Мне проще закрыть панель и заставить людей мигрировать на новые ВМ, чем дрочить с ключами что-то.
Увы — публичный отчет — сгорел диск и панель тоже сдохла.
Как и писал — РАБОТАЕТ ПОКА НЕ СГОРИТ )))

Тоже самое в VM-6 там вообще на FTP оно просто не копирует.
vm.center/2021/06/vmmanager/vmmanager-6-ne-umeet-delat-bekapy-po-ftp-.html
А техподдержка даже не поверила мне ) Хотя на десятках панелей — ОДНО И ТОЖЕ )))


Вывод ?
Мы все это итак знали, гуглить умеем же.
Поддержка — рак отрасли.
Не нужна.
Это бесполезные люди которые просто отнимают деньги у компаний.

опять брачок попался (i9-9900k)

купили вчера ноду
fsn1.i9-9900k [noda8] [hetzner] [all-core]

продал только 1 ВДС на 32 озу
и сегодня уже сдохло все
особо не торопился, ибо чел даже не успел еще зайти на ВМ

10 часов простоя.

18-30 — создался тикет на ручную перезагрузку
19-19 — подняли


ps
в Hetzner нет авто мониторинга как в OVH

Отчет про "среднее кол-во" виртуалок на нодах [№2]

осень 2017
весной 2019 мы делали один из отчетов
весной 2021 — пора повторить.
ВМ-5 — ничего не менялось, будет совпадать как в 2019 году.
ибо такие тарифы как там были заложены историей и никто не менял там ничего

а вот с 2020 мы уже делаем ДРУГИЕ тарифы и поэтому новый отчет — будет другой.

кто забыл у нас еще есть SMART отчеты
vm.center/tag/SSD/ — 3 штуки пока что.
на новых нодах уже только NVME и там я не разу ничего не записывал к сожалению SMART не выдает никакой информации по NVME почему-то, либо я не умею. поэтому похуй короче. один лишь факт — мы делаем в raid0 специально — продолжаем проверять сгорит или не сгорит. пока не один NVME не сгорел, не один raid не развалился, как развались у хостеров в 2011-2013 годах, когда я покупал и читал форумы где они писали как raid разваливается и синхронизируется ибо замена диска.

Итак отчет по кол-ву VM на нодах весна 2021
взял первые 6 панелей, так то у нас их дохуя, но вот например мои 6 штук






Читать дальше

Как мы настраиваем ноды

Просто как роботы. Когда-то я даже 1000 серверов как робот целые сутки сидел и обрабатывал. С апреля по ноябрь шла выдача в ДЦ. Постоянно каждый день складировал по таблицам по 10-15-20 серверов. (были заметки раз, два)

Итак, делаем заказ на новые серверы.
Их потом выдают пачкой. Через 10 минут.


Каждый запускаем и записываем пароли и IP и характеристики в таблицы.

Например ОВХ красиво смотрится, у хетзнера таблицы попроще.


И накатываем ОС сразу разом на все.

Читать дальше

Снова самая первая нода Райзена

Опять зависла.
Опять т.к. Hetzner не имеет внутреннего мониторинга — ДЦ не перезагрузил.
Опять когда мы проснулись — не одна кнопка перезагрузки не работала.
Опять пришлось писать тикет, чтобы сотрудник вручную перезагрузил.


Снова самая первая нода Райзена



в 6 вечера она упала похоже
в полночь я включил комп и увидел это, отправил в ребут — не сработало конечно же
отправил на ручную перезагрузку сотруднику
и через пол часа он перезагрузил

новые ноды Райзена-9 уже заказаны, но их выдают не быстро


поэтому ждем.
как только появятся пустые места — вероятно заставлю всех переехать на новый сервер, а от этого брака откажемся.

Резюме:
дата-центру Hetzner не хватает мониторинга как в дата-центре OVH
когда если сервер зависает, срабатывает мониторинг и сотрудник ДЦ сам его автоматом перезагружает.
пример




Итого:

дата-центр OVH — гораздо удобнее для постройки инфраструктуры виртуальных машин

Снова самая первая нода Райзена - 6 часов падение

Короче нода опять зависла.


Но почему-то вместо того чтобы пойти вручную перезагрузить сервер — сотрудник написал ваш сервер заблокирован.
Но мы не получали никаких жалоб.

Как я понял — он увидел пометки о блокировках в аккаунте, столетние.
Еще летом 2020 которые.
Ну типо мы не успели вовремя ответить, там дается 3 часа на ответ. И IP был забанен.
Все эти VM были удалены еще летом 2020. Просто блокировку IP мы так и не снимали. В OVH DC например можно автоматически снять через панель. А в Hetzner нужно писать тикет для этого. Поэтому нам было просто лень.

Но окей, раз просят — значит нужно разбаниться.


И разбанили.



Потом наконец спустя 2 тикета подробных — будто дауну пишешь, будто ребенку на пальцах объясняешь.

Вот текст тикетов.
hello on Ticket # 2021040203006279
we are told that the server is blocked for alleged complaints
but we did not receive any complaints
the server just freezes the second day
and reboot doesn't help

but since we are asked to unblock the IP
then — here — I am writing to unblock the IP

these 2020 complaints
all VDS were removed back in 2020
and clients are blocked
remove the blocking marks for these IPs

thanks
and restart the server

/// и я продублировал тот тикет — который писал для разблокировки IP

Hello
this server is used for VDS
these are old IP blocking
these VDS have long been deleted and clients are blocked
screen1

but now the problem is that the server hangs spontaneously
and does not reboot

yesterday was
vm.center/2021/04/public-nodes-vm-center/teper-vash-server-dostupen-posle-holodnoy-perezagruzki.html

a year ago there was a problem with RAM
and recently repaired again
vm.center/2021/03/public-nodes-vm-center/ryzen-9-samaya-pervaya-noda-novinka-2020-goda-kotoraya.html
and today the monitoring worked again
it is the server itself that is frozen
screen2
Solution: we always block all complaints and delete
is always
привет по билету №2021040203006279
нам сказали, что сервер заблокирован по заявленным жалобам
но мы не получали никаких жалоб
сервер просто зависает на второй день
и перезагрузка не помогает

но поскольку нас просят разблокировать IP
потом — сюда — пишу для разблокировки айпи

эти жалобы 2020 года
все VDS были удалены еще в 2020 году
и клиенты заблокированы
удалить метки блокировки для этих IP-адресов

Благодарность
и перезапустите сервер

/// и я продублировал тот тикет — который писал для разблокировки IP

Привет
этот сервер используется для VDS
это старая блокировка IP
эти VDS уже давно удалены и клиенты заблокированы
экран1

но теперь проблема в том, что сервер самопроизвольно зависает
и не перезагружается

вчера было
vm.center/2021/04/public-nodes-vm-center/teper-vash-server-dostupen-posle-holodnoy-perezagruzki.html

год назад возникла проблема с оперативной памятью
и недавно снова отремонтировали
vm.center/2021/03/public-nodes-vm-center/ryzen-9-samaya-pervaya-noda-novinka-2020-goda-kotoraya.html
и сегодня мониторинг снова заработал
заморожен сам сервер
экран2
Решение: мы всегда блокируем все жалобы и удаляем
всегда
И заодно создал новый тикет где снова объяснил на пальцах суть проблемы. Что дело вовсе не в блокированных IP от 2020 года, а дело просто в том, что сервер — взял и завис :))
Hello
your employee in the manual reboot ticket says that the server is blocked

BUT we have not received any complaints

all the complaints that were — this is 2020 summer.
and all IPs that are listed on the account are blocked — this is the summer of 2020
and January 2021 — these virtual machines have long been deleted, and clients are
blocked. we just did not have time to unsubscribe to the complaint and therefore the
IP was blocked

these locks have nothing to do with today's incident that the server just froze and
does not respond to reboots

Yesterday, for example, it was the same — the server was hanging, the restart button
did not work. only a manual reboot on a ticket helped.

a year ago this server was sold to us with 64 frames instead of 128 frames.
and a week ago we wrote a ticket because the panel again began to define the server as
64 frames and we were repaired.

the server is just defective and freezes from loads

what kind of blocking are we talking about?

so be it — we have created a ticket for all additional addresses that have been from
the summer of 2020

but the point is simply that your server is dependent on the load, and the employee
does not want to restart it

then replace the server, drag the disks into the new one
Привет
ваш сотрудник в заявке на ручную перезагрузку говорит, что сервер заблокирован

НО претензий к нам не поступало

все жалобы, которые были — это лето 2020 года.
и все IP, которые указаны в аккаунте, заблокированы — это лето 2020 года.
и январь 2021 года — эти виртуальные машины давно удалены, а клиенты
заблокирован. просто не успели отписаться от жалобы и поэтому
IP был заблокирован

эти блокировки не имеют ничего общего с сегодняшним инцидентом, когда сервер просто завис и
не реагирует на перезагрузки

Вчера например было так же — завис сервер, кнопка перезагрузки
не работало. помогла только ручная перезагрузка по тикету.

год назад этот сервер нам продавали с 64 кадрами вместо 128 кадров.
а неделю назад мы написали тикет, потому что панель снова начала определять сервер как
64 кадра и мы отремонтировали.

сервер просто неисправен и зависает от нагрузок

о какой блокировке идет речь?

пусть будет так — мы создали тикет для всех дополнительных адресов, которые были с
лето 2020

но дело просто в том, что ваш сервер зависит от нагрузки, а сотрудник
не хочет перезапускать его

затем замените сервер, перетащите диски на новый
Наконец они перезагрузили сервер.




как и говорил, если брак на стадии покупки виден, то нада 100% отказываться, не отказался сразу — теперь страдай


Добавили VM-6 ноды в мониторинг (VM-5 не добавляли они архивны)