Байки из дежурного склепа +75



Предварительное уведомление: пост этот сугубо пятничный, и больше развлекательный, чем технический. Вас ждут весёлые истории об инженерных факапах, байки с тёмной стороны работы сотового оператора и прочий легкомысленный шорох. Если я где-то что-то приукрашу — то только для пользы жанра, а если навру — так всё это дела дней настолько минувших, что никому от того вреда не будет. Но если цепанёте глазом техническую или ещё какую лажу — поправляйте меня нещадно, я всегда был на стороне справедливости.

Внимание, начинаю без разгона!

Backdoor во двор


В нашей дежурке на первом этаже были большие такие окна, от цоколя и чуть ли не до потолка. Выходили они на служебную парковку, откуда по утрам разъезжались всякие измерители и прочие полевые сотрудники. Парковка же находилась в достаточном удалении от парадного и всех служебных входов, да ещё за двумя шлагбаумами.

Как-то утром к зданию подъезжают тогда ещё милицейские машинки, на всех проходных встают милиционеры и проводят досмотр всех уходящих. В служебную рассылку прилетает алерт: внезапно (действительно внезапно, не как обычно) нагрянула проверка на лицензионность софта, будут досматривать рабочие станции. У кого что на компах есть пиратского — надо сносить вотпрямща!

Безусловно, всё, что касается операционных систем, офисного и служебного софта — то большей частью было лицензированное. Но не всё, не всегда и не везде; а уж что себе сотрудники наставили на служебные ноутбуки — история совсем тёмная. Я ринулся проверять машины в своей зоне ответственности на пиратщину, что-то по быстрому снося…

… А в это время в дежурку торопливым и нервным шагом начинают входить инженеры, с ноутами и системниками в объятьях. Входят они через дверь, а выходят, похихикивая от абсурдности ситуации, через окно: все проходные перекрыли, а вот о таком бекдоре демоны правопорядка не додумались. Так, пока шла проверка бухгалтерии (где всё было образцово-показательно), сотрудники и вытащили всё палево.

Прошлое — там


Если вы заинтересовались и не закрыли вкладку — вот вам некоторая экспозиция происходящего во времени, пространстве и лицах. Я — прекрасно юный, зелёный, как лист щавеля, выпускник-айтишник, устроившийся работать в инженерную дежурку самарского «Мегафона» (который тогда был ещё и вовсе «МСС Поволжье»). Для меня это было первое настоящее соприкосновение с Техникой с большой буквы и Технарями с ещё более большой: будучи самым младшим чертёнком в этой адской кухне, я с восторгом наблюдал за работой многоопытных чертей инженеров, безуспешно пытаясь постичь их мудрость. Пока та мудрость не всочилась в мозговые поры, я мог только пыриться в кучу разномастных мониторингов, волнуясь каждый раз, когда там появлялось «красненькое».



Если кто-то из упомянутых тут персонажей себя вдруг узнает — привет вам!

Работает — не трогай (но трогай, если не работает)


Одним из упомянутых выше сверхтехнарей был Миша Басов. За годы работы в «Меге» я о нём слышал много хорошего и интересного в том духе, что он стоял чуть ли не у истоков и запустил кучу процессов. Мне с ним пообщаться как следует не удалось: познакомились буквально в отделе кадров, когда я принёс документы, а он забирал.

Одна из систем мониторинга, с которой мы работали, была написана Мишей. Я уже не очень помню, что там мониторилось, но знаю, что Миша написал временное решение, которое быстро стало постоянным. Да и хорошо: многое из того, что истинные технари делают для собственных нужд на скорую руку, получается просто прекрасно. Тот мониторинг тоже всех устраивал, работая без всякой поддержки и обслуживания, правда, никто не знал, как.

Через пару лет после Мишиного увольнения мониторинг стал показывать пустую страницу.
Я сразу забил в набат. Старший смены забил в набат. Начальник сектора забил в набат.

Начальник отдела забил в набат. Начальник службы забил в набат. Начальник департамента звякнул бубенцами. Звон услышал IT-директор всея Поволжья, тут же собрав совещание. Туда он позвал начальника департамента. Тот рявкнул на начальника службы. Тот, не понимая сути проблемы, позвал начальника отдела. Этот, не врубаясь в произошедшее, позвал начальника сектора, который вызвал начальника смены. Ну, а тот перевёл стрелку на меня.

Как-то подменившись с дежурства, я отправился на это совещание. Сказано было много слов, был призван ответственный за мониторинги (ничего внятного мы не услышали), было вспомнено, что мониторинг писал Басов, что мониторинг очень важный, но что никто не понимает и не знает, как он работает… Всё свелось к тому, что нерабочую и непонятную систему надо убирать, а вместо этого внедрять проверенное решение от проверенного вендора.
Пока это всё говорилось, я выпросил у кого-то ноутбук и ssh-доступ на тот сервер. Мне было интересно посмотреть, что же за суперкрутую систему написал легендарный Басов.

Захожу, первым делом по привычке набираю:

df -h

Команда отвечает мне что-то вроде:

Filesystem      Size  Used Avail Use% Mounted on
/var            10G   10G  0G    100% /

Чищу переполнившийся за годы /var/log, обновляю мониторинг — всё работает. Починил!
Совещание останавливается, комкается, все расходятся. По пути начальник отдела радуется и обещает мне премию!..

… Вместо премии я получил потом ментальный втык за то, что нечаянно обломил откат на заказ системы мониторинга от проверенного вендора.

Где домики живут


Одной из обязанностей дежурных инженеров был контроль электронных ключей доступа в машинные залы. Сами залы меня тогда очень впечатляли: ряды стоек, забитых серверным и коммутационным оборудованием, линии оптоволокна и кросс-кабелей (где-то — идеально уложенные, где-то — превратившиеся в невероятный комок спагетти), постоянный гул кондиционеров и фальш-полы, под которыми было так удобно охлаждать напитки… Входы в залы закупоривались тяжеленными гермодверями, призванными обеспечить автоматическую блокировку при пожаре. Вход и выход строго протоколировался под роспись, чтобы было известно, кто и зачем сейчас внутри.

Больше всего в этих залах мне нравились, конечно, серверные шкафы «супердомиков» — два HP SuperDome 9000, обеспечивавших работу биллинга. Две идентичных ноды, одна всегда была боевой, а вторая — синхронным горячим резервом. Различие меж ними было только в IP-адресах, один был x.x.x.45, другой — x.x.x.46. Оба этих айпишника знали все инженеры, потому что если что-то на биллинге случилось — первым делом смотришь, видны ли супердомики. Невидность супердомиков — ахтунг.

Как-то утром подобный ахтунг случается. В течение двух секунд на обоих серверах исчезают все службы, биллинг схлопывается в ничто. Быстро проверяем сервера — пингуются, но на них реально ничего нет!

Не успеваем мы даже начать положенный комплекс мероприятий, как слышим громогласный ор "УБЬЮ, СТУДЕНТ!"; в дежурку вбегает архиадмин всея серваков, срывает с полки электронный ключ от машзала и бежит туда.

Очень быстро после этого мониторинг приходит в норму.

Случилось вот что: новый сотрудник подрядной организации, конфигурировавший пачку новых виртуалок, ручками прописал им последовательные статические айпишники, от x.x.x.1 до x.x.x.100. «Студент» не знал о священных неприкасаемых адресах, а старожилам и в голову не приходило, что кто-то мог на них так покуситься.

Услуга «Антиспам»


Ух, ночные дежурства! Любил их и ненавидел, потому что это было 50/50: либо плановые работы на оборудовании, где ты принимаешь активное участие, сонными мозгами и дрожащими руками помогая инженеру, либо тишина со спокойствием. Абоненты спят, оборудование работает, ничего не ломается, дежурный расслаблен.


Дежурство идёт по плану.

Как-то раз такое полночное спокойствие нарушает звонок на служебный телефон: здравствуйте, это из Сбербанка беспокоят, у нас перестала работать ваша симка, с которой оповещения наши рассылаются.

Дело ведь давно было, ещё до внедрения IP-подключений к СМС-шлюзу. Поэтому, чтобы Сбер мог отослать смску со своего знаменитого номера 900, они брали предоставленную симку (скорее всего — даже не одну), втыкали в GSM-модем, да так и работали.

Окей, проблему принял и начал копать. Первым делом проверяю состояние симки в биллинге, та заблокирована. Что за чёрт — рядом красная надпись «НЕ БЛОКИРОВАТЬ» и ссылка на приказ генерального архидемона. Ух, прямо интересно.

Проверяю причину блокировки, делаю брови домиком и путешествую в соседний кабинет, где пялится в мониторчик девочка из фрод-отдела.

«Леночка, — говорю я ей, — ты зачем Сбербанк заблокировала?»

Та в непонятках: мол пришла жалоба, что с номера 900 идёт спам. Ну я и заблочила, утром бы разобрались.

А вы говорите — абонентские жалобы игнорируются!

Симку обратно включили, конечно.

Очень страшная история


Когда я только устроился на работу, мне и другим новичкам провели что-то вроде ознакомительной экскурсии. Показали оборудование: сервера, кондеи, инверторы, пожаротушение. Показали базовую станцию, стоявшую в одном из машзалов для опытов, пояснив, что хотя передатчики включаются на минимальной мощности, лучше за экранированную дверь в это время не входить. Пояснили за устройство мобильной сети, про питание основное и резервное, про отказоустойчивость и про то, что сеть спроектирована так, чтобы работать даже после атомной бомбардировки. Не знаю, для красного словца это было сказано, или правда, но в голове это отложилось.

И действительно: какой бы ахтунг иногда не творился локально, поволжская голосовая сеть работала всегда беспрерывно. Я не связист, но в курсе, что оборудование (и базовые станции, и клиентские терминалы) рассчитано на максимальную выживаемость «голоса». Отключилось питание на БС? Она снизит мощность, перейдёт на ДГУ/аккумуляторы, отключит передачу пакетного трафика, но голос будет идти. Порезали кабель? База перейдёт на радиоканал, которого для голоса хватит. Телефон потерял БС? Он увеличит мощность и будет щупать эфир, пока не зацепится за вышку (или пока не высадит батарею). И т.д., и т.п.

Но однажды в офисе мигнул свет, а на улице затарахтели дизель-генераторы. Все ринулись перепроверять свои железки: по IT-части ничего критичного не случилось, а вот с мониторинга БС раздалось озадаченное «опаньке». И потом: «парни, у нас ВСЕ базы легли, проверьте связь».
Достаём мобильники — нет сигнала.

Пробуем IP-телефонию — на мобильную связь выхода нет.

Сети нет. Вообще. Нигде.

Вспомнив слова про атомную бомбардировку, я подсознательно несколько секунд ждал, пока до нас докатится ударная волна — другой причины пропадания сети почему-то в голову не пришло. Было страшно и любопытно одновременно: я как-то понимал, что сделать один хрен ничего не успею. Остальные ребята тоже оторопели, никто ничего понять не мог.

Взрывной волны не было. После пятисекундного шока рванулись к имеющемуся на такой вот случай телефону проводной городской сети, принявшись обзванивать региональные офисы. Городская сеть, к счастью, работала, но в регионах подтверждали: вся Самара «мёртвая», ни железки не пингуются, ни дозвон не идёт.

Через пять минут кто-то из энергетиков принёс новость: бахнуло где-то на электростанции, обесточило минимум всю Самару, возможно — и область. Выдохнули; а когда произошло переключение на резервные мощности — то даже и вдохнули.

Ещё одна страшная (но немного глупая) история


Самый большой факап на моей памяти произошёл во время очередной прямой линии с ныне обнулённым. Тогда как раз вводили фишку с отправкой вопросов смсками, поэтому к всплеску нагрузки на сеть подготовились заранее: всё перепроверили и подготовили, и за целую неделю до дня X запретили любые работы, кроме аварийных. Подобный протокол задействуется в любых случаях, когда ожидается повышенная нагрузка, например — в праздники. И для дежурных инженеров оно всё равно, что выходной, потому что когда оборудование не трогают, с ним ничего произойти не может, а если даже произойдёт — все спецы на всякий случай заранее сидят в офисе.

В общем, сидим, слушаем национального лидера, ни о чём не беспокоимся.

Со стороны коммутаторщиков доносится негромкое «Е***ть».

Смотрю к себе — действительно «е***ь»: отвалилась кампусная сеть.

Через секунду умирает вообще всё (тогда ещё не было мемасика про Наташу и котов, а он бы пригодился). Пропадает пользовательский сегмент сети, пропадает технологический. С возрастающим ужасом пытаемся проверить, что осталось в рабочем состоянии, а проверив, тянемся к шкафчику за спрятанной бутылкой лечебного коньяка: остались только голосовые вызовы (я ж говорил, они живучи!), всё остальное — сдохло. Нет интернета — ни абонентского GPRS, ни на оптике, которая отводится нескольким субпровайдерам. Не отправляются СМС. Жопа! Обзваниваем регионы — у них сеть есть, но Самару они не видят.

В течение получаса конец света стал почти материально ощутимым. Десять миллионов человек, у которых внезапно всё сломалось и которые не могут дозвониться в колл-центр, потому что в колл-центре голосовые терминалы работают через VOIP.

И это во время выступления всетемнейшего правителя! Очередная победа госдепа и Обамы лично!

Дежурившие технари подорвались с низкого старта и отработали очень чётко: в течении часа сеть ожила.

Такой залёт — это не областной, и даже не региональный уровень, о таком положено рапортовать в Москву со всеми подробностями и выдачей виновных. Поэтому тем, кто принимал участие в расследовании, запретили рассказывать правду под страхом увольнения, а для ГО сочинили отчёт, полный воды и тумана, по нему как-то получалось, что «оно само, никто не виноват».

Что было на самом деле: у одного из начальников ехали сроки внедрений и обламывались премии за них. И начальнику начальника обламывались, и так далее; поэтому надавили на одного из новых инженеров, велев ему провести требуемые сетевые включения «пока всё тихо». Инженер не осмелился возражать, или хотя бы потребовать письменный приказ: это была его первая ошибка. Вторая — он ошибся при удалённой конфигурации циски, достигнув рекордных результатов по факапу в кратчайшие сроки.

Насколько известно мне — наказали никого.

Праздник к нам приходит


Праздники, как я уже упоминал, были для нас всегда особенными днями. В такие дни резко растёт нагрузка на сеть, количество поздравительных звонков и СМС зашкаливает. Не знаю, как сейчас, с развитием интернет-общения, а тогда в один только Новый год опсосы снимали очень существенную пенку на поздравительных звонках.

Поэтому в новогоднюю ночь в офисе обязательно дежурили инженеры всех подразделений (а вне офиса — бригады, готовые щемиться сквозь сугробы на устранение аварии на базовой станции в деревне малые дрищи). Биллингисты, админы железячные, сантехники по софту, сетевики, коммутёры, сервисники, саппорт подрядчиков — каждой твари по твари. И если позволяли условия, то они тусовались у нас же в дежурке, наблюдая на наших устройствах мониторинга за всплесками трафика, идущего вслед за часовыми поясами по всему Поволжью.

Три или четыре раза за ночь мы встречали Новый год, правда, в этом было не столько праздничности, сколько нервного ожидания: выдержит ли оборудование сверхнагрузку, не порвётся ли какое-то звено сложной технической цепочки…



Особенно нервничал Саша, отвечавший за биллинг. Он, в принципе, всегда выглядел так, будто вся его жизнь проходит на оголённом нерве, ведь ему приходилось разгребать всё добро, творящееся с биллингом, отвечать за все косяки, его чаще других будили по ночам; в общем, я не представляю, как и почему он работал там, где работал. Может, ему денег много платили, или семью держали в заложниках. Но в ту ночь у меня вообще было ощущение, что если по Саше щёлкнуть ногтем, то от скопившегося в нём внутреннего напряжения он рассыпется в пыль. На такой неприятный случай у нас есть веник, а пока же — работаем работу, облизываясь на ждущий своей очереди коньяк.

Час за часом прошли все всплески нагрузки, все принялись перепроверять свои системы. Коммутёр бледнеет: на одном из региональных коммутаторов пропал весь биллинговый трафик. А это — данные о всех вызовах, прошедших через коммутатор; они пишутся в файлик, который чанками по FTP (кондово, но надёжно) выкачивается на BRT для тарификации.

Коммутёр, представив, какого объёма скипидарную клизму ему поставят за потерю части новогодней выручки по целому региону, аж задрожал. Повернувшись к Саше, он обратился к сиятельному господину биллингисту полным волнительной надежды голосом: «Саша, посмотри пожалуйста, может BRT успел выкачать тарификацию? А, ну посмотри, пожалуйста!».

Саша пригубил коньяку, закусил его икорным бутербродом, не спеша прожевал и, закатывая глаза от удовольствия, обусловленного тем, что косяк не у него, ответствовал: «Я уже проверил, файлов нету...».

(Мой чудесный корректор спросила о том, что же потом стало с бедным коммутёром. О, судьба его была ужасна: его приговорили к неделе дежурств на первой линии поддержки колл-центра, запретив материться. Бр-р-р!)

Киньте камень, кто безгрешен


По этим историям может сложиться впечатление, что ни я лично, ни другие дежурные не факапили. Ничего подобного, факапили, но как-то без интересного эпика и последствий. Работа считалась подходящей вчерашним студентам без мозгов и опыта, взять с такого сотрудника нечего, выгнать за косяк — так новый не факт, что умнее будет. А вот сваливание на «дежурку» своих косяков было у инженеров отдельной спортивной дисциплиной: проморгали, не разобрались, не вовремя уведомили, вот их и наказывайте. «Дежурка» же в совершенстве освоила науку отмазываться, получалось далеко не всегда, но все всё понимали. Поэтому прилетало — но, как правило, без серьёзных последствий.


Разбираем очередной «залёт» на пересменке.

За несколько лет работы там я могу вспомнить три случая, когда из отдела кого-то увольняли.
Однажды инженер в ночную смену решил жахнуть пивка, а тут в дежурку возьми и зайди технический директор. Он иногда мог вот так зайти по-простому поздороваться (вроде как сам с дежурных начинал). Спалил парня с банкой пива, щёлк на телефон, увольнение. Больше пива по ночам не пили.

Другой раз дежурный коммутаторщик какую-то сильно страшную аварию проморгал. Подробностей уже не помню.

И третий раз — уже под конец моей работы там. Условия труда очень сильно просели, была дикая текучка и страшные переработки. Люди работали иногда сутки, потом шли поспать 12 часов и снова выходили на суточное дежурство. Я и сам так работал, пока позволяло здоровье и это оплачивалось; потом переработки оплачивать фактически перестали (стандартно обещали компенсацию отгулами, когда будет возможность — но все понимали, что никто никогда гулять не пойдёт), а на дежурства выгоняли чуть ли не угрозами. У одного инженера не выдержала кукушечка, он посреди смены встал с рабочего места и ушёл домой навсегда, по пути заглянув в кабинет начальника службы, и послав того на три буквы. Помню рассылку почтовую, в которой этого инженера постфактум клеймили фашистом и предателем, в каждой строчке читалось, как у начальства пригорело от такого поступка.

Касаемо моих персональных факапов — один случай своей необычностью запомнился. Опять же, ночное дежурство, всё тихо, ничего не происходит. На пересменке проверяем мониторинг: упс, ночью упала обработка данных с коммутаторов, хорошо так и давно горит красная лампочка. Я всю ночь смотрел на этот сигнал — и не воспринимал его что ли. При всём том, что это был один из самых очевидных и наглядных мониторингов, я до сих пор не понимаю, почему не видел.
Тут никаких отмазок было не налепить, косяк чистый и стопроцентный, авария пятой категории и вполне вероятное увольнение. Меня после двенадцати часов ночного дежурства до обеда мурыжили, заставляя писать объяснительные. Поскольку в правду никто бы не поверил, пришлось придумать какой-то лепет, что я из-за травмы пережрал обезболивающего и уснул. Начальник службы орал на меня в своём кабинете, в общем, всё шло к увольнению — но вылилось в выговор с депремированием. Премий к тем временам в Меге не видели уже несколько лет, так что ущерба никакого я не понёс.

Вспоминая эпизод с приходом техдира: однажды как-то ночью в дежурку забился какой-то жлоб и начал орать, что мы сидим незапертые (дежурка не должна быть заперта в принципе), что мы тут олени, и что к утру от всех нас он ждёт объяснительные про все наши косяки. Этим жлобом был начальник службы безопасности, и от него РАЗИЛО. Прооравшись, начбез свалил во тьму, а утром мы спросили своего начальника — мол, что делать-то? «Да н***й его шлите» — ответил тот, и на этом инцидент был исчерпан.

Как я сломал отдел


В те дни башорг (тогда ещё bash.org.ru, а не то, что там сейчас где) был ресурсом культовым. Цитаты там появлялись чуть ли не по паре в месяц, и иметь СВОЮ! ЦИТАТУ!!! НА БАШЕ!!! было столь же круто, как, скажем, свой домен второго уровня году в двухтысячном. Тот башорг был как-то больше айтишно-анимешный, хотя смешным он был для всех.

Каждое рабочее утро самого младшего инженеришки (то есть моё) начиналось с чтения башорга — тридцать секунд смеха перед двенадцатью часами страдания.

Однажды коллега спросил меня, над чем это я хихикаю. Я показал ему, над чем. Он разослал ссылку по отделу.

Работа встала на пару дней: к моему удивлению никто из коллег про баш до того момента не знал. В дежурке стоял хохот: «Ах-хаха-хаха, пропатчить KDE, ахаха-хаха!». «Игого-го-го, топить ломы в ртути, бгегегег!». Рабочий день был потерян, с другой стороны — жизнь тогда продлили себе знатно.

Бонус для дочитавших


Помните, в бородатые времена был такой популярный анекдот «Вижу в Нортоне два диска C, думаю — зачем мне два? Ну и стёр один!». Он очень напоминает одну из моих любимых историй, которую рассказываю не я, но мне. И каждый раз смешно, как в первый:

18+, но из песни слов не выкинешь

Постскриптум


Эти истории — обработанная компиляция некоторых постов моего ТГ-канала. Иногда там проскакивает подобная дичь; я ни на что не намекаю, но ссылочку всё же оставлю.

Всем хорошей бесфакапной пятницы!




Комментарии (42):

  1. /#21908734

    Полбазы дропнула Кукушкина. Не благодарите.

    • vvzvlad
      /#21911920

      А, вот причем тут Вера. Как-то совсем непонятно было

    • Japet
      /#21922410

      Другой Веры, способной на такое, не было

  2. arozhankov
    /#21908804

    А вот Леночку за блок Сбербанка — ей что было? Просто интересно как поступили с человеком, который принял решение и что-то сделал несмотря на явное сообщение этого не делать.

    • Antikiller
      /#21909042

      Насколько я помню (но за давностью лет ручаться уже не могу) — ничего не было, сработал принцип «быстро поднятое упавшим не считается». Опять же, дежурные службы на то и созданы, чтобы с таким быстро разбираться.

      • arozhankov
        /#21909062

        Спасибо за ответ.
        Считаю, что зря ничего не сделали, т.к. такое бездействие «воспитывает» в подобных Леночках безответственность, могущую создать ситуацию с большими последствиями.
        Очень часто такое встречается в бухгалтериях «ой я не виновато, оно само».

        • Kriminalist
          /#21909232

          Леночка поступила по служебной инструкции, и по сути была права — Сбербанк-то фактически спамил. А то, что это спам, кого надо спам, это вопрос отдельный :).

          • arozhankov
            /#21909330

            Я лишь про то, что в голове у человека, когда он видит надпись «НЕЛЬЗЯ», но все равно делает противоположно…

            • /#21909426 / -1

              В инструкции про эти пометки ничего не было.

              • arozhankov
                /#21909438

                О! Т.е. действие по инструкции важнее, чем опасность.
                Робот. Сказано идти туда — идет.

                • /#21909634 / -1

                  Так человек не видит опасности в надписи «НЕ БЛОКИРОВАТЬ НОМЕР 900» (мало ли, кто ее написал и почему).

                • Newbilius
                  /#21910070

                  В опасной ситуации в случае действия инструкции виноватым ты не будешь. А если отошёл от инструкции — вся ответственность на тебе. Человек недостаточно квалифицированный в вопросе просто не имеет возможности правильно оценить, лучше ли будет если будет действовать не по инструкции, или наборот, хуже. А брать ответственность за действия, результат которых ты не понимаешь и не можешь прогнозировать… ну такое себе.

                  • Tr_1986
                    /#21911688

                    Ближе к реальности. Вряд ли в инструкции было бы написано, блокировать всё что угодно, кроме номера 900. Так что все БОЛЬШИЕ КРАСНЫЕ БУКВЫ — это как раз про то, что нельзя вписать в инструкцию в явном виде.

          • Murimonai
            /#21912506

            Леночка могла поступить еще лучше: спросить других дежурных на тему «кто в курсе что за номер такой и почему сказано не блокировать? А то спамит тут...» — и если бы даже тут никто ей не подсказал, то что уж тогда. А так, все же Леночкина недоработка. Пусть и небольшая.
            Все же, как работающий в саппорте, я скажу так: техподдержка — это прежде всего тимворк. Один в поле там не воин ни разу.

    • drWhy
      /#21909364 / +2

      А вот Леночку за блок Сбербанка — ей что было?
      Леночка, банк, что ей было… Навеяло, в общем. Леночка ли — не упомню, секретарь. Сидит, тихонько кнопает. Вдруг с высокого потолка начинает лить (не капать) вода, постепенно крепнущим могучим потоком. Хрупкая барышня, ни разу не растерявшись, хватает нелёгенький CRT-монитор, включённый в розетку, и с ним пятится к стенке, поджимаемая Ниагарским водопадом. Ещё чуть, и в монитор, в котором 27 кВ анодного напряжения, налилась бы вода, и ладно с ним, с монитором — барышня могла не уцелеть. Но тут поток стал иссякать, а героиня и героически спасаемая техника уцелели.
      Что ей было — история умалчивает, а вот кондиционерщикам, по вине которых несколько вёдер конденсата из чиллера скопились там, где их никто не ждал, полагаю что-то было.

      Физкульт-привет и поздравления всем дежурным по склепам!

      • Antikiller
        /#21909398 / +1

        Напомнили: после переезда в новёхонький дата-центр, мы засели в огромном и очень кайфовом помещении, фотка в посте с предновогодним отсчётом как раз оттуда. С айтишной точки зрения всё было сделано очень по уму, а вот строительные косяки правили ещё долго. Одним из них были быстро забивающиеся водосливы с крыши: после каждого ливня нам на головы и на оборудование начинала натурально течь вода. Приходилось ставить ведёрки под струи; через некоторое время все уже знали места протечек, и технику там не ставили.

      • Panzer_Ex
        /#21910170 / +1

        Я так серверную клиента спасал.

        Летом клиент делал ремонт фасада и плоской крыши, мастеровой люд оказался ленивым, и весь пластик от обеденной колы/фанты спускал в водосточные желоба. Зима в нашем регионе обычно теплая, но тут в феврале случился снегопад на пару дней. А потом потеплело на входных.
        Прихожу я утром в понедельник на объект, по привычке первым делом заглядываю в серверную. А там воды уже сантиметров пять на полу, и с потолка хлещет прям на обе работающие серверные стойки. Перекрестился и ломанулся по воде к электрощиту автоматы отрубать. Как не шандарахнуло — до сих пор удивляюсь.

        Тот потоп не пережили два древних сервака Compaq, один ИБП и завхоз…

      • dimas
        /#21923090

        Навеяло…

        У нас был офис на первом этаже жилого дома в начале нулевых, приличный ремонт, в одном углу вокруг колонны стояли сервера… Прямо на полу, т.к. стол был занят…

        И вот в один прекрасный день почему-то я и начальник оказались в офисе в воскресенье… Уже даже не помню, что-то срочно доделывали или просто в инете посидеть заехали… Факт что оба оказались случайно…

        У вот вдруг слышим что откуда-то раздается журчание… И оказывается что журчит прямо из колонны, и это не просто колонна, а задекорированный канализационный стояк, и из него течет… И прям на пол к серверам… Тут же нашли свободное место на столе, все подняли…

        Воскресенье, вечер… Аварийка приехала только часа в четыре ночи… Хорошо хоть стояк был кухонный, а не туалетный…

        Но думать чем бы все закончилось, если бы случайно не оказались в офисе, не хотелось… Так как бэкапы на ленточках были там же рядом, в тумбочке, в нижнем ящике…

  3. FuzzyWorm
    /#21909048

    Про страшную, но глупую историю — а понятия "режим технологической тишины" у опсосов нет?

    • Antikiller
      /#21909066

      Есть, а история о том, что бывает, если его игнорировать.

      • FuzzyWorm
        /#21909082

        Если он реально вводился на период описываемых событий, то действительно виноват конечный исполнитель, проигнорировавший приказ или распоряжение, изданные топовыми руководителями, на основе устной команды мелкого начальника.

        • Antikiller
          /#21909138

          Да, и защищать его (тем более — постфактум, много лет спустя) не собираюсь.
          Но более глобально «виновата» погоня за исполнением планов любой ценой, являющаяся, в том числе, недоработкой тех самых топов (должны были учесть сдвиг сроков на время введения режима).

        • /#21911004

          на основе устной команды мелкого начальника.
          если исполнитель в армии служил, то объясняет. За неисполнение приказа непосредственного командира, растрел на месте.

  4. kisaa
    /#21909058

    А почему в страшной истории с аварией на электростанции всё упало? Локальное питание же, бесперебойники, дизеля?

    • Antikiller
      /#21909118

      Я не могу дать точный ответ, поскольку в своё время, увы, его не выяснил. Теории у меня есть, но в силу слабого профильного знания, они вряд ли верны.

  5. ogost
    /#21909978

    Переполненный за годы службы /var/log — очень знакомо.
    Конфликт айпишников из-за новичка тоже, только не биллинг, а фтп, куда станции скидывали свои CDR.
    Ещё один глобальный факап, вообще самый северный песец — смена биллинга. Старый биллинг еле дышит: на NAS от Fujitsu подыхают диски один за другим, работает только за счёт хот свапов. Диски были ULTRA SCSI с какой-то прошивкой редкой, запасы кончились, в продаже не находились, последние брали вообще на барахолках. Новый биллинг ещё не допилили под наше древнее железо (а железо действительное древнее, некоторые станции в провинциях 96 года рождения). Сообщаю начальству, мол нужно купить диски, либо старый биллинг умрёт. Начальство передаёт наверх, но сверху отказывают — новый на подходе, зачем лишние траты на поддержку старой.
    Выворачиваюсь как могу — из закромов родины достаю сервер, пичкаю разношёрстными дисками, делаю бэкапы базы туда, но места не хватает, данных всего около 10ТБ, у меня набирается всего 6 (это сейчас терабайты в каждом втором ПК, тогда самые большие серверные HDD доступные на рынке были максимум 500гб). Пришлось делать выборочный бэкап. Ухожу в отпуск, коллеге всё показываю что где лежит. Уезжаю в РФ. В моё отсутствие, вполне закономерно, подыхает NAS — сетевые диски больше недоступны, биллинг падает. Коллега в панике, решает ресетнуть NAS, авось заведётся. РЕСЕТНУТЬ, КАРЛ, ВЫДЕРНУВ ШНУР ПИТАНИЯ!!! Не ожидая такого подвоха старенький NAS окончательно обиделся и отказался дальше работать. А такого подвоха не ожидало высшее начальство. Меня выдернули из отпуска, но толку-то? Разворачивать из бэкапа некуда, сторадж не купили же. После бурных взаимных обвинений в поисках виновных, высшее начальство решает срочно вводить в эксплуатацию недопиленную биллинговую систему. Вводили в эксплупатацию полтора месяца, в течении которого вообще все звонки внутри сети были бесплатны, а в другие сети были доступны только абонентам с постоплатой (их CDR и так хранится на фтп сервере и обрабатывается в конце месяца). С разворачиванием данных из бэкапа тоже не всё гладко — я делал только выборочные бэкапы из-за нехватки места. Хорошо, что у меня и у моего начальника на руках была бумажка с отказом от закупки дисков и стораджа, иначе всех собак повесили бы на нас. После этого случая я уволился нахрен оттуда.

    • drWhy
      /#21910208

      Конфликт айпишников из-за новичка
      В мануале к shdsl модему встречал предупреждение перед включением dhcp проверить корректность настроек, иначе можно стать очень непопулярным среди своих администраторов.

  6. SignallerK
    /#21910532

    Чищу переполнившийся за годы /var/log, обновляю мониторинг — всё работает. Починил!


    ЕМНИП у нас по аналогичной причине регулярно вис комп с мониторингом Cisco DWDM, толи сама система логами память забивала, толи касперский. А ведь что одна, что другая софтина была писана профи и стоила много денег.

    • Gutt
      /#21910602

      Да, извечный вопрос — кто будет мониторить мониторинг?

      • SignallerK
        /#21910682

        Ну, тот кто в кресле перед монитором. Кстати, тоже смешная история вспомнилась.
        Как-то начало начальство стало требовать (хз зачем) не просто рапортовать некоторые аварии, а тупо делать скрин монитора. Ну типа увидил аварии, сделал скриншот и отправил его на почту.
        Один раз товарищь на ночной смене, сделал все по инструкции, скрин отослал, только окно с ним забыть свернул. Так до утра скрин и мониторил :)))

  7. RaFaeL-NN
    /#21911744

    Про bash.org.ru жизненно, тоже в тот день всем отделом не работали )

  8. Vengant
    /#21912030

    Эх, провайдинг, молодость…

    Помнится, я как-то при настройке квартальной циски случайно погасил оба магистральных порта. Аварийщики, ездившие туда после этого с ноутом и консольным кабелем, долго и матерно меня вспоминали.

    В другой день аварийщики чем-то разозлили техдиректора, и он бегал за ними по всему офису с огромными кусачками по металлу.

    Бригада монтажников однажды умудрилась при работах в подвале здания, где были офис и серверная, обрезать целый жгут «лишних» кабелей: чужую оптику, коаксиал кого-то из сотовых операторов, и до кучи видеонаблюдение. Местный начальник АХО прискакал к нам и орал ультразвуком.

    На респешн однажды пришли солидные клиенты в костюмах и выкатили претензию: они-де подключились к дорогому тарифу для бизнеса, купили дорогущий роутер, потом поехали в Москву на переговоры, взяли роутер с собой, а он, падла, интернета-то и не раздает! На дворе был 2009 год…

    В числе прочих абонентов, у нас была подключена общага военного института. Однажды оттуда позвонил какой-то дядя и стал изобретательно крыть 1 линию матом за разведенный по этажам срач из витухи, 5-портовых свитчей и прочих «надежных инженерных решений». Поскольку фамилия этого дяди среди контактов руководства общаги не значилась, его незатейливо послали в пешее эротическое путешествие, посмеявшись над угрозой показать нам кузькину мать. А спустя 15 минут начал отваливаться этаж за этажом… В общем, дядя оказался свеженазначенным завхозом и слов на ветер не бросал: взял кусачки и просто порезал всю витуху, до которой дотянулся.

    А один парень из техподдержки в последний день перед увольнением позвонил паре-тройке самых «душных» абонентов, соединил их всех вместе интеркомом, от души обматерил и повесил трубку, оставив их ругаться между собой :)

    • drWhy
      /#21912576

      Бригада монтажников однажды умудрилась при работах в подвале здания, где были офис и серверная, обрезать целый жгут «лишних» кабелей: чужую оптику, коаксиал кого-то из сотовых операторов, и до кучи видеонаблюдение.
      В очень старую канализацию добавляли кабель, а он не добавлялся — мешала муфта на кабеле, который согласно документации был отключён. Кабель выдернули. Трактором. Вместе с остальными и с куском трубы. Дело было недалечко от узла междугородней связи. Приехали все, включая вежливых неулыбчивых молодых людей в штатском.

      • Vengant
        /#21912874

        О, кабельная канализация… :) В мои времена владельцы канализаций с теми, кто разводил там срач и не маркировал свои кабели, поступали достаточно незатейливо — кабели резались, а потом ждали, кто приедет. Приехавшая контора получала атомных люлей. После пары-тройки случаев даже самые раздолбайские провайдеры научились аккуратности.

        • drWhy
          /#21913252

          Маркировать да, нужно. Но некоторые кабели лучше всё же не трогать, там ведь и спецсвязь, и ГО.

      • sandroDan
        /#21922900

        АААААААА!!!… было и у нас такое!
        У нас так кабель выдернули, да так умело: 10 Киловольт, местная телефонная связь, межгород на весь куст и даже какой-то «не помеченный», на который слетелось аж три УАЗика немного взволнованных парней в штатском: а как не приехать, когда «закрытой» связи нет, городской нет, межгорода тоже нет = аларм всем войскам! :)

  9. ADSoft
    /#21912308 / +1

    Помню, работал я в одном банке. Внедрили корпоративный антивирус, McAffe. Все как положен — сервер обновлений, клиентские тачки с него обновляются, а он в свою очередь с головного офиса. Дело было давно, и платили мы за внутри корпоративный трафик нехило…
    И вот, наступает конец месяца, от провайдера счёт приходит — раз так в 5 больше обычного. Директор филиала в шоке — меня на ковер. Куда дели трафик, чего качали?
    Начали разбираться — а это сервер обновленияи McAffe скачивал обнову, не проверяя наличие свободного места на диски… Которого по стечению обстоятельств было маловато. Скачивал — проверял — обновление не применялось, он начинал все заново…
    Как то отказались, обвинив буржуинов с их гадкой программой. Потом на Касперского кстати перешли быстро

  10. jerky
    /#21912310 / +1

    История от вендора.
    На исходе 2011 года заканчивали строительство дата-центра. Я руководил (со стороны вендора) установкой и запуском в эксплуатацию систему мониторинга физической инфраструктуры — кондиционеры, ИБП, вот это все.
    Дата-центр примерно на 100 стоек, электрической мощностью 1.5 МВт с каждой стороны, то есть 15 КВт на стойку. Вообще объект был спроектирован по лучшим методикам. Полное дублирование по электричеству, огнеупорные стены машзала, изолированные холодные коридоры и система кондиционирования с чиллерами и водяным (этиленгликолевая смесь, на самом деле) теплоносителем, которая подает холод из-под фальшпола.
    Но строители это такие специальные люди, которые любой проект могут испортить. Конкретно у меня внезапно отменился отъезд домой, когда на пробном запуске кондиционеры, все как один показали хрень по температуре и давлению входящего-выходящего теплоносителя. Довольно быстро разобрались, что выход горячей воды из машзала подсоединен ко входу холодной воды от чиллеров и, соответственно, наоборот. Ок, воду слили, трубы переварили. Запустились. Подписали акты. Новый год, шампанское, премия (на самом деле нет).

    Месяца через три работаю на другом объекте. Ночью (привет разница в 7 часов между Мск и Хабаровском) звонит наш аккаунт менеджер, бьется в истерике, грозит страшными карами (он мне не начальник, конечно, но жизнь может испортить знатно). Через десять минут гвалта (там в кабинете оказались еще мой начальник, координатор и бог знает кто еще) выясняется, что у конечного заказчика случилась знатная протечка теплоносителя, ну то есть до такой степени что вот буквально вся жидкость вытекла, кондеи выключились и все упало по перегреву. На самом деле труба текла несильно, но долго, как потом выяснилось как раз на этом злополучном стыке, который переваривали, а фэйл случился когда при запуске нового оборудования, резко увеличилась нагрузка.

    Ок, а я тут с какой стороны? А ты, говорят, не настроил алярм на ленточные датчики протечки, установленные на конечный пол, поэтому будешь самым крайним из всех виноватых.
    Не дождетесь, говорю, у меня все ходы записаны. И вообще, прекратите истерику и не мешайте спать, ваши задницы вне опасности.
    Датчики протечки не были установлены, о чем я не поленился сделать запись в рабочей документации и акте и даже ухитрился получить подпись представителя заказчика.
    Конечный пол должны были очистить от строительного мусора и помыть до сдачи, но не успевали в срок, поэтому отложили на после Нового года (не видно же), а датчики мыть нельзя, они практически одноразовые, поэтому их забухтили и аккуратно так повесили под фальшполом. По уму не нужно было их вообще подключать, но тогда бы в системе была бы ошибка.

    Так и получилась мойка полов этиленгликолевым теплоносителем.

    • drWhy
      /#21912614 / +1

      Невыметенная и неотмытая пыль со времени строительно-монтажных и отделочных работ, поверх которой бодро устанавливается оборудование — это видимо стандарт. Наблюдал подрядчиков с пылесосом «Буран» но без страховки, резво пылесосящих балки на двенадцатиметровой высоте в ночь перед запуском объекта — при пробном запуске дымоудаления по всему огромному залу пошёл асбестовый снег от пожарной обработки металлоконструкций.

      Над серверной с оптическим ядром сети, на гипсокартонном потолке — кусок кирпичной стены, вываленный и не подобранный вентиляционщиками при прокладке вентканалов, и тут же проходит линия отопления на батарею в холодном тамбуре.
      Во второй серверной идёт ливень из-за недоделанной по предыдущему проекту вертикальной вентшахты.

      Но местный электрик, болгарящий какую-то важную на его взгляд вещь, используя в качестве верстака шкаф гарантированного электропитания (а у него верстака же нету. а здесь удобно), размещённый в его владениях — электрощитовой — это апогей апофеоза.

  11. sandroDan
    /#21922860 / +1

    Тот башорг был как-то больше айтишно-анимешный,

    аж слеза потекла
    Именно ТОТ БАШОРГ! Какие дикие восторги от каждой новой техно-шутки! Какие эмоции при появлении новых баек…

    "… Не люблю Виндовс: мышами пахнет..."

  12. dimas
    /#21923112

    На тему «Леночки» и Сбербанка вспомнилось как в одной маленькой телеком компании умудрились продать телефонный номер одного из топов клиенту…

    Одной «Леночке» сказали «убрать номера топов из биллинга» — она убрала, а о стандартных процессах никто не подумал… Поэтому потому другая «Леночка» — убрала номера в отстойник, а третья — через три или шесть месяцев отправила их в продажу (операции кажется были полуручные)… А в офисе продаж никому номер не показался знакомым, еще возможно и за «красивость» срубили. А топ просыпается — у него телефон не работает… Чудом головы не полетели, а вот «счастливому» клиенту ништяков отсыпалось на несколько лет бесплатной телефонии и еще чего-то…