Выявление и ликвидация уязвимостей в ИТ-инфраструктуре

Исходная ситуация

В данном проекте мы рассказываем о проведении ИТ-аудита для крупной компании, в ходе которого удалось провести анализ уязвимостей информационной системы и предупредить дальнейшие сбои в работе серверов и угрозы безопасности всей инфраструктуры заказчика.

До обращения к нам, обслуживанием серверов и всей ИТ-инфраструктуры в целом занимался штатный администратор со стороны клиента, но должного внимания обновлению различных систем, поддержанию актуальности серверной архитектуры (некоторым серверам клиента больше 10 лет, а какие-то из них и вовсе заброшены и всеми забыты) не уделялось. Вследствие чего несколько важнейших для компании серверов начали некорректно функционировать, что в конечном итоге стало негативно сказываться на работоспособности практически всех сотрудников.

Задачи проекта по устранению уязвимостей:

• 1Проведение масштабного аудита ИТ-инфраструктуры, составление подробного отчёта по выявлению «больных» мест в ИТ-инфраструктуре клиента и предоставление развёрнутой рекомендации по их устранению;
• 2Подбор и настройка наиболее подходящего оборудования взамен программного интернет-шлюза;
• 3Перенос существующих серверов в арендованные мощности;
• 4Проведение работ по настройке корректной работы резервного копирования данных.

Реализация:

После того, как анализ уязвимостей системы был осуществлён, рабочей группой проекта был выявлен ряд критических проблем, серьёзно сказывающихся на:

• 1Затратах по восстановлению системы при различных сбоях;
• 2Управлении инфраструктурой;
• 3Надёжности, производительности и безопасности системы в целом.

Наши специалисты провели подробное исследование нескольких важных составляющих всей инфраструктуры, а именно:

• 1Физических, виртуальных серверов (включая сетевое хранилище и систему хранения данных);
• 2Платформы виртуализации;
• 3Различных сервисов;
• 4Резервного копирования данных;
• 5Сетевого оборудования.

После проведения масштабного аудита мы перешли к практической части. Проект был разделён на несколько этапов.

1 этап: настройка сетевого оборудования

Архитектура сети нашего клиента была размещена на отдельной виртуальной машине, через которую проходил весь сетевой трафик, что значительно замедляло работу и было абсолютно неудобно в обслуживании. Поэтому по нашей рекомендации клиентом было принято решение отказаться от программного шлюза в пользу физического оборудования.

Инженеры проверили работы по замене сетевого оборудования с подключённым L2-каналом и весь функционал сервера, отвечающего за интернет-соединение (VPN, локальные сети), был успешно перенесён на управляемый маршрутизатор Mikrotik RB3011UiAS-RM с последующей базовой настройкой, включающей в себя:

• 1Перенос правил и IP адресации;
• 2Установку маршрутизатора в стойку и его переключения.

2 этап: выявление уязвимостей и реконфигурация серверной инфраструктуры

Серверная часть ИТ-инфраструктуры заказчика состоит из физических и виртуальных серверов серверного исполнения и сетевого оборудования, расположенного на нескольких площадках.

На момент проведения аудита были выявлены критичные проблемы в области работы терминального сервера и базы данных 1С, а именно:

• 1Низкая скорость работы 1С;
• 2Проблемы с резервным копированием данных;
• 3Проблемы в работе СУБД (системы управления базами данных);
• 4Ряд системных ошибок.

Для улучшения производительности, отказоустойчивости и сохранности данных несколько критичных для бизнеса информационных систем и ресурсов были успешно перенесены в арендованное облако.

Результаты однопоточного синтетического теста до миграции в арендованное облако:

Результаты однопоточного синтетического теста после миграции в арендованное облако:

Также в ходе выполнения проекта была осуществлена переустановка нескольких виртуальных машин, а именно:

• 1Файлового сервера;
• 2Архивного сервера;
• 3Сервера печати;
• 4Антивируса.

Несколько устаревших виртуальных машин были перенесены на новый кластер.

3 этап: настройка резервного копирования данных

На момент обращения к нам в компании у большинства серверов полностью отсутствовала настройка бэкапа данных (большинства операционных систем и всех данных в целом).

Но даже настроенное резервное копирование не всегда выполнялось корректно. В некоторых случаях наблюдалась рекордно низкая скорость и многочисленные ошибки в логах.

Хранение бэкапов осуществлялось на локальных дисках или ленточном хранилище, что является критической отметкой в области безопасности данных.

По итогам анализа резервного копирования в компании клиента был принят и реализован ряд следующих решений:

• 1Перевести ИТ-инфраструктуру клиента на современную гибридную схему резервного копирования (бэкап виртуальных машин + бэкап бизнес-данных на разные хранилища, не связанные между собой и с контентом физически);
• 2Провести физическое разделение хранилища резервных копий и гипервизоров с важным для клиента контентом;
• 3Внедрить систему мониторинга для своевременного оповещения об ошибках (отслеживание ошибок при бэкапе, отслеживание проблем производительности систем);
• 4Разработать регламенты резервного копирования важных бизнес-данных и регламенты действия при сбоях).

4 этап: настройка серверной системы

На момент обращения к нам у клиента был организован собственный кластер. У гипервизоров полностью отсутствовал графический интерфейс и какой-либо мониторинг.

Оценить нагрузку гипервизоров в силу особенностей конфигурации было трудно, но тем не менее, исходя из проведённого аудита серверов по отдельности, инженеры выявили несколько критических недочётов в производительности инфраструктуры.

Выявленные проблемы:

• 1Низкая частота памяти;
• 2Устаревшее оборудование, процессоры, диски, система хранения данных;
• 3На одном из серверов один из трёх RAID-1 массивов находился в состоянии «degraded» так как 1 физический диск находился в состоянии «failed»;
• 4Было необходимо осуществить перевод массива RAID-5 на массив RAID-6, так как при пересборке массива и в случае замены диск даёт огромную нагрузку на оставшиеся диски. Если в процессе пересборки еще один диск откажет, то все данные будут уничтожены. RAID-6 допускает выход из строя сразу двух дисков и при пересборке массива не даёт сильной нагрузки.

Перед обращением к нашей компании на кластере заказчика было установлено около десяти «ненужных» серверов, обслуживанием которых долгое время никто не занимался и неиспользуемые сервера занимали большое количество места на дисковом хранилище и в разы замедляли скорость его работы.

В связи с этим нашей рабочей командой было принято решение об установке нового кластера, но на уже имеющемся оборудовании клиента.

Также мы отключили неиспользуемые по назначению сервера, тем самым нагрузка на весь кластер была снижена в 2 раза.

Также мы заменили систему аппаратной визуализации Hyper-V на более продвинутую систему с открытым исходным кодом Proxmox Virtual Environment. В связи с этим было необходимо переместить все виртуальные машины с одной системы на другую.

После перехода на Proxmox клиент получил современный отказоустойчивый кластер. Среди прочих преимуществ заказчик получил:

• 1Удобную и отказоустойчивую миграцию системы без её остановки (как всего севера, так и отдельно виртуальных дисков);
• 2Бесперебойную систему бэкапов виртуальных машин (до этого бэкап виртуальны машин не осуществлялся вообще).

За счёт освобождения ресурсов от лишних серверов в случае отказа одного из трех Node - кластера — остальные возьмут на себя его роль, так как ресурсов теперь с запасом.

Так как распределение дисков на массивах клиента отличалось, все существующие сервера были размещены на двух массивах хранилища:

• 1На более мощном хранилище было размещено 2 почтовых сервера и диски для операционных систем;
• 2На втором хранилище теперь расположен файловый сервер.

Итоги проекта:

• 1Весь функционал сервера, отвечающего за сетевое соединение, был успешно переведён на оборудование MikroTik;
• 2Функционал резервного копирования был успешно настроен и переведён на современную гибридную схему;
• 3За счёт переноса двух критически важных серверов в арендованное облако их скорость работы в разы увеличилась, впоследствии был устранён ряд системных ошибок;
• 4Заказчик получил отказоустойчивую систему миграции и бесперебойную работу бэкапов виртуальных машин.