Представьте крупную оптовую компанию, где каждый день происходят сотни операций: приём заказов, обработка, отгрузка товара со склада. Всё это завязано на единую ИТ-систему. Любой сбой, любая задержка — и компания теряет время, деньги и лояльность клиентов. Сегодня мы поговорим о том, как буквально спасали предприятие от «цифрового коллапса», путем создания новой ИТ-инфраструктуры, оптимизации IT процессов и внедрения эффективных решений.
Из публикации вы узнаете:
- 1Почему критически важно регулярное проведение ИТ-аудитов;
- 2Чем опасна зависимость от отдельных штатных системных администраторов;
- 3Как перенести огромную 1С базу в 800 Гб и не уронить сервер.
Данный кейс будет полезен ИТ-директорам и CIO, системным администраторам и DevOps-инженерам, ИТ-консультантам и интеграторам, финансовым деректорам и владельцам бизнеса, которые хотят оптимизировать затраты на IT.
Исходные данные
С клиентом мы знакомы уже более двух лет, именно два года назад мы реализовали для компании ИТ-аудит, после которого предложили серьезный проект по реконфигурации инфраструктуры. На тот момент заказчик отказался от наших услуг и решил попробовать стабилизировать ситуацию своими силами, расширив технический отдел до двух человек.
Прошло два года. Старший ИТ-инженер уходит с предприятия. В этот момент компания вновь обращается к нам с запросом аудита и дальнейшего обслуживания.
Наш первый шаг — исследование ИТ-ландшафта, подробнее о нём мы рассказали в публикации: «ИТ-аудит инфраструктуры после реорганизации компании».
Результаты оказались предсказуемо катастрофическими и классическими для многих компаний: система работает со сбоями, мощностей не хватает, документации нет.
Три сервера натужно тянули виртуальные машины под управлением VMware, а четвёртый пытался делать резервные копии. Ключевое слово именно "пытался" — система резервного копирования работала неоптимально и неправильно: некоторые бэкапы создавались раз в неделю; некоторые вовсе выполнялись частично, сохраняя только системные разделы виртуальных машин.
Многие корпоративные данные в случае серьезного сбоя или поломки оборудования были бы утеряны без возможности восстановления.
На кластере царил полный беспорядок: нагромождение виртуальных машин, реплик и тестов, общим объемом в десятки террабайт.
"Изюминкой" инфраструктуры была база 1С размером в 800ГБ – настоящий монстр, созданный ещё в 2015 году. Она оказалась самой тяжелой базой, с которой нам доводилось работать. Обмен или оптимизация могли легко "уложить" сервер, а резервное копирование базы периодически выпадало на рабочее время, и вся компания начинала работать в режиме "замедленной съёмки".
ИТ-инфраструктура клиента была в одном шаге от краха.
В этот раз нам удалось убедить заказчика, что масштабный проект по реконфигурации ИТ-системы неизбежен.
Задача: создать новую, мощную ИТ-инфраструктуру и реализовать миграцию сервисов, не прерывая работу компании
Реализация
Перед нами стояла сложная задача: реанимировать ИТ-инфраструктуру и дать бизнесу новый импульс. Мы разработали многоэтапный план, включающий миграцию на современную платформу виртуализации Proxmox, реконфигурацию серверного оборудования, оптимизацию базы данных 1С и внедрение надежной системы резервного копирования.
Один из серверов был полностью обновлён: замена дисков и оперативной памяти позволили достичь восьмиканального режима работы, значительно увеличив производительность. Миграция на Proxmox проводилась "хирургически" точно, виртуальные машины переносились с Vmware поэтапно, что позволило исключить простои предприятия.
Перенос сервисов был сложным не только из-за объема данных и некорректных предыдущих настроек, но и из-за отсутствия технической документации и четкой структуры на серверах. Абсолютная неразбериха — реплики, копии виртуальных машин, тесты, сторонние файлы. Огромное количество времени потребовалось на то, чтобы «распутать этот клубок», структурировать, задокументировать все сервисы и реализовать их миграцию.
Ни минуты простоя бизнеса! Для обеспечения бесперебойной работы предприятия и минимизации времени простоя, был тщательно оптимизирован процесс переноса данных. Миграция осуществлялась поэтапно, в вечернее и ночное время.
Сначала на платформу Proxmox были перемещены виртуальные диски. Затем, после остановки машины вечером, диски конвертировались в требуемый формат непосредственно на сервере Proxmox. Такой подход позволил максимально эффективно использовать ночные часы для переноса данных, минимизируя воздействие на производственный процесс.
Сервисы, развёрнутые с нуля на новом кластере Proxmox:
- Терминальный сервер;
- Сервер 1С с СУБД PostgreSQL на Linux;
- Тестовый 1С сервер 1С с СУБД PostgreSQL на Linux;
- Сервер телефонии на FreePBX (переход с АТС OKTELL);
- Сервер бекапов виртуальных машин Proxmox Backup Server (позволяет делать разностные бекапы каждый день и экономить дисковое пространство);
- Сервер Microsoft SQL для основной базы 1с (800 ГБ).
Сервисы, которые были перенесены и оптимизированы:
- 3 сервера SQL для различных баз 1с (БУХ, ЗУП, УТ и пр.);
- 2 сервера 1C;
- Сервер антивируса;
- Сервер мониторинга;
- 2 Сервера контроллера домена + файловый сервер;
- Сервер аналитики посещений сайтов;
- Сервер PowerBI;
- Сервер СКУД;
- Терминальный сервер для разработчиков 1С.
Особую сложность представляла работа с огромной базой данных 1С. Инженерам потребовалось перенастроить гипервизор, перенести диски с сетевого на локальное хранилище и оптимизировать распределение ресурсов между нодами кластера. Результат превзошел ожидания: ночные операции стали проходить без сбоев, а производительность 1С значительно возросла.
В процессе выполнения проекта не обошлось без "подводных камней" — личных аккаунтов предыдущего администратора, используемых для регистрации различных сервисов. Чтобы обновить некоторые доступы, нам приходилось писать официальные письма компаниям-владельцам сервисов.
Мы встречаемся с данной практикой довольно часто, и хотим заметить для всех, кто нас читает, что подобная ситуация неприемлема. Это выходит за рамки стандартов безопасности и ставит под удар корпоративные данные. К тому же не во всех случаях ушедший системный администратор готов сотрудничать и соблюдать профессиональную этику.
Результаты реконфигурации ИТ-инфраструктуры и итоговые замеры производительности
Три месяца тяжелого марафона, и нам удалось вывести ИТ-инфраструктуру клиента на новый уровень. Тестирование средствами Гилёва показало трехкратный прирост производительности 1С, что было с восторгом отмечено сотрудниками компании.
Было:
Стало:
Бизнес был спасен, а мы в очередной раз подтвердили свою экспертизу в области ИТ-инжиниринга. Этот кейс демонстрирует, насколько важно уделять внимание профессиональному обслуживанию ИТ-инфраструктуры и не допускать наслоения проблем, которые могут привести к серьезным последствиям.
