Brocade SAN Часть 6: Администрирование и обновление прошивок

Вообще в курсе данная глава посвящена как Web Tools, так и консоли, но в предыдущих главах мы уже немало с ними поработали и я думаю они понятны всем. Поэтому в данной части я уделю больше внимание другому продукту управления и мониторинга коммутаторов Brocade — Brocade Network Advisor.

Но начнём мы с ещё одного протокола управления сетевым оборудованием — snmp. Пожалуй наиболее интересное во всём этом, это SNMP трапы — сообщения, которые коммутатор самостоятельно отправляет на сервер мониторинга.

SNMP настраивается как через Web Tools в разделе Switch Administration на вкладке SNMP, так и через CLI при помощи команды snmpconfig.

При настройке вы так же можете указать уровень отправляемых сообщений от Debug (когда вам будет приходить максимальное количество сообщений) и до Critical, когда вы будете получать только сообщения о критических ошибках. Но так же можете и полностью отключить отправку трапов (хотя крайне не рекомендуется с точки зрения здравого смысла).

SNMP трапы касаются непосредственной работы коммутатора — повышение температуры, отказ вентиляторов или ошибка на портах.

В добавок к SNMP крайне рекомендую настроить и банальную проверку по ICMP (ping) вашим сервером мониторинга, т.к. при падении сетевого доступа в большинстве случаев SNMP трап не успеет отправится и вы не узнаете о потере управления коммутатором.

Дополнительной возможностью является передача логов коммутатора на удалённым сервер syslog. Анализ логов является неотъемлемой частью работы любого инженера для превентивного устранения возможных проблем с оборудованием. В сообщениях syslog так же есть информация и по ошибкам в SAN-сети, что так же поможет при диагностике возникших проблем.

Теперь вернёмся к BNA. Хочу сразу отметить, т.к. в портфеле решений компании Brocade есть оборудование не только для FC, но и FCoE, IP и MPLS, BNA позволяет работать со всеми этими типами сетей. Но ввиду того, что IP оборудование компании не получило широкого распространения, и то, что IP подразделение было продано после того, как Brocade купила компания Broadcom, вряд ли вы столкнётесь с необходимостью конфигурировать IP сети при помощи BNA.
BNA поставляется в 2 видах: платной лицензируемой редакции и бесплатной версии. Несмотря на то, что на курсах говорят о том, что функционально эти версии одинаковы и в бесплатной версии действует лишь ограничение на количество портов (до 300 портов в 2 фабриках), тем не менее — они отличаются и функциональностью. К примеру, плагин для VMware vCente или Microsoft SCOM требует лицензии Professional Plus или Enterprise. Так же из отличий — только версия Enterprise может работать с Brocade DCX 8510-8. Из минусов — она так же как и Web Tools написана на Java. И если Web Tools — небольшое приложение и работает достаточно шустро, то с BNA дело обстоит совсем иначе. Работы с ним требует определённой доли терпения и на отзывчивость интерфейса можно и не надеяться. Да и процессор (по крайней мере на маке) кушает очень и очень хорошо.

Пожалуй, если вы располагаете больше чем просто парой коммутаторов, то BNA станет для вас основным инструментом работы. BNA так же может работать и с HBA, правда только производства Brocade. Помимо управления SAN-сетью, наиболее интересным в нём являются возможности мониторинга — мониторинг производительности в реальном времени, хранение истории производительности SAN.
Доступ к коммутаторам осуществляется по IP сети. При первом запуске вам необходимо будет добавить в BNA свои коммутаторы и логины/пароли от них. После чего BNA самостоятельно нарисует схему вашей сети (правая часть на скриншоте).
Наиболее интересным на мой взгляд в нём является возможность мониторинга в реальном времени нагрузки на SAN-сеть. Это крайне полезная информация при дальнейшем расширении сети, при поиске возможных неисправностей и будущих проблем и устранении бутылочных горлышек вашей сети.

Честно сказать — к BNA нужно очень долго привыкать. Интерфейс крайне не читабельный и неудобный. Да и отсутствие исторических данных в бесплатной версии тоже не очень приятно. Поэтому я бы крайне рекомендовал изучить бесплатное ПО под название STOR2RRD, которое прекрасно умеет мониторить не только FC коммутаторы, но и СХД (я уже рекомендовал его использования для мониторинга СХД в статье Lenovo Storage (ex-Storwize) V3700 V2 XP для чайников, т.к. они обычно так же имеют крайне скромные возможности для мониторинга и не хранят исторических данных).

Я бы сказал, что будет более продуктивно использовать оба эти продукта в большой SAN-сети, BNA — для управления, stor2rrd — для мониторинга. Но в любом случае — выбрать вы сможете, только попробовав оба продукта.

Обновление прошивки.
Прошивку можно обновлять двумя способами — из GUI (как самого коммутатора, так и через BNA) и из консоли. Я лично, предпочитаю второй вариант, на мой взгляд он удобнее. Но вообще я изначально приучал себя к работе с коммутаторами из консоли, поэтому кому-то возможно будет удобнее делать это и из Web Tools или BNA. Тут могу лишь предложить попробовать все 3 варианта и выбрать для себя наиболее удобный. Удобство BNA заключается в возможности прошить сразу все коммутаторы в фабрике.
И так, сам процесс обновления прошивки крайне прост, но важно понимать, что происходит с коммутатором в этот момент. Данная процедура отличается для классических коммутаторов с одним управляющим процессором и для директоров, где их два.
У каждого управляющего процессора есть 2 партиции, где располагаются файлы ОС. При запуске команды firmwareDownload прошивка загружается на вторичную партицию, после чего происходит high-availability перезагрузка (при который FC трафик не прерывается, если вы соблюдаете рекомендации по переходу от версии к версии) и формальная вторая партиция, становится основной, после чего файлы прошивки копируются с основной партиции на вторичную. В случае же с директором, картина похожа, с той лишь разницей, что у него 2 сервис процессора. Перед запуском обновления, необходимо проверить, что они синхронизированы и работают корректно.
switch:admin> hashow
Local CP (Slot 5, CP0): Active, Warm Recovered
Remote CP (Slot 6, CP1): Standby, Healthy
HA enabled, Heartbeat Up, HA State synchronized

И так, сначала прошивку скачивает вторичный сервис процессор, на нём она так же разворачивается на обеих партициях новая прошивка, после чего он перезагружается. Сервис процессоры синхроинизруют своё состояние друг с другом, после чего основной сервисный процессор делает failover и перезагружается, становясь вторичным. Затем они снова синхронизируются и уже после этого, новый вторичный сервисный процессор скачивает прошивку и обновляется. После чего так же перезагружается и снова происходит синхронизация.

За ходом обновления, в обоих случаях, можно следить при помощи команды firmwareDownloadStatus.

И так, пройдём весь процесс по шагам. Перед тем, как обновлять прошивку, необходимо выполнить пару подготовительных действий:
switch:admin> configUpload -all -p sftp
Ключ -all позволяет сохранить конфиг самого шасси и коммутатора (или всех виртуальных коммутаторов). Можно делать это и по отдельности.

Можно запустить configupload без параметров и выполнить эту процедуру в интеркативном режиме.
switch:admin> configupload
Protocol (scp, ftp, sftp, local) [ftp]: sftp
Server Name or IP Address [host]: 10.1.2.3
User Name [user]: UserFoo
Path/Filename [/config.txt]: switchConfig_10.1.2.3.txt
Section (all|chassis|FID# [all]): all
username@10.1.2.3’s password:
Password:
configUpload complete

switch:admin> supportsave
Пригодится в случае, если во время перепрошивки возникнут проблемы и придётся заводить кейс у вендора — данная информация поможет в решении возникших проблем.

После этого, можно приступать к процедуре прошивки
switch:admin> firmwaredownload
Server Name or IP Address: 10.1.1.1
User Name: admin
File Name: /brocade/fw/v8.0.2c/
Network Protocol(1-auto-select, 2-FTP, 3-SCP, 4-SFTP) [1]: 4
Do you want to input SFTP options (Y/N) [N]:
Verifying if the public key authentication is available.Please wait …
The public key authentication is not available.
Password:
Do you want to continue with CRA (Y/N)[N]:
Server IP: 10.1.1.1, Protocol IPv4
Checking system settings for firmwaredownload…
System settings check passed.
You can run firmwaredownloadstatus to get the status
of this command.
This command will cause a warm/non-disruptive boot but will
require that existing telnet, secure telnet or SSH sessions
be restarted.
Do you want to continue (Y/N) [Y]: Y

После чего начнётся процесс загрузки прошивки, а процесс мало чем отличается от аналогичного обновления Linux системы.

Во время high-availability перезагрузки у вас разорвётся ssh соединение (только FC трафик не прерывается), а переподключившись к коммутатору, продолжить следить за процессом при помощи команды firmwaredownloadstatus
switch:admin> firmwaredownloadstatus
[1]: Wed Oct 11 16:41:46 2017
Firmware is being downloaded to the switch. This step may take up to 30 minutes.
[2]: Wed Oct 11 16:48:31 2017
Firmware has been downloaded to the secondary partition of the switch.
[3]: Wed Oct 11 16:50:52 2017
The firmware commit operation has started. This may take up to 10 minutes.

А firmwareshow подскажет какие версии находятся на партициях в данный момент
switch:admin> firmwareshow
Appl Primary/Secondary Versions
——————————————
FOS v8.0.2c
v7.4.2
WARNING: Firmwaredownload is in progress.

Полное обновление коммутатора занимает около 20 минут, а директора, соответственно, примерно в 2 раза дольше.

switch:admin> downloadstatus
[1]: Wed Oct 11 16:41:46 2017
Firmware is being downloaded to the switch. This step may take up to 30 minutes.
[2]: Wed Oct 11 16:48:31 2017
Firmware has been downloaded to the secondary partition of the switch.
[3]: Wed Oct 11 16:50:52 2017
The firmware commit operation has started. This may take up to 10 minutes.
[4]: Wed Oct 11 16:55:54 2017
The commit operation has completed successfully.
[5]: Wed Oct 11 16:55:54 2017
Firmwaredownload command has completed successfully. Use firmwareshow to verify the firmware versions.

После завершения процесса рекомендую посмотреть наличие ошибок в процессе обновления
switch:admin> errdump -a
Fabric OS: v8.0.2c
2017/10/11-16:38:47, [LOG-1003], 1, CHASSIS, INFO, Brocade6510, The log has been cleared.
2017/10/11-16:41:46, [SULB-1001], 2, CHASSIS, WARNING, Brocade6510, Firmwaredownload command has started. (From v7.4.2 To v8.0.2c).
2017/10/11-16:48:31, [SULB-1044], 3, CHASSIS, INFO, Brocade6510, Firmwaredownload to secondary partition has completed successfully.
2017/10/11-16:48:46, [FSSM-1002], 4, CHASSIS, INFO, Brocade6510, HA State is in sync.
2017/10/11-16:48:53, [FSSM-1003], 5, CHASSIS, WARNING, Brocade6510, HA State out of sync.
2017/10/11-16:49:52, [HAM-1004], 6, CHASSIS, INFO, Brocade6510, Processor rebooted — FirmwareDownload.
2017/10/11-16:50:01, [FV-1001], 7, CHASSIS, INFO, switch-01, Flow Vision daemon initialized.
2017/10/11-16:50:41, [FSSM-1002], 8, CHASSIS, INFO, Brocade6510, HA State is in sync.
2017/10/11-16:50:47, [FV-1002], 9, FID 128, INFO, switch-01, Flow Vision Config Replay Completed Successfully.
2017/10/11-16:50:50, [MAPS-1201], 10, FID 128, INFO, switch-01, MAPS has started monitoring with dflt_base_policy policy.
2017/10/11-16:50:51, [FSSM-1003], 11, CHASSIS, WARNING, Brocade6510, HA State out of sync.
2017/10/11-16:50:52, [SULB-1003], 12, CHASSIS, INFO, Brocade6510, Firmwarecommit has started.
2017/10/11-16:55:54, [SULB-1004], 14, CHASSIS, INFO, Brocade6510, Firmwarecommit has completed.
2017/10/11-16:55:54, [SULB-1036], 15, CHASSIS, INFO, Brocade6510, The new Version: Fabric OS v8.0.2c.
2017/10/11-16:55:54, [SULB-1002], 16, CHASSIS, INFO, Brocade6510, Firmwaredownload command has completed successfully.

После чего, стоит проверить, что настройки коммутатора в порядке и все порты работают и на них нет ошибок. Всё это делается при помощи стандартного набора команд, о которых я рассказывал в Часть 2: Инсталляция и конфигурирование

switch:admin> psshow
switch:admin> fanshow
switch:admin> tempshow
switch:admin> sensorshow
switch:admin> switchshow
Так же добавим сюда команду отображения ошибок на портах коммутатора, о которой подробнее мы будем говорить в следующей части Часть 7: Базовое решение проблем
switch:admin> porterrshow

Если никаких проблем не выявлено, процесс обновления можно считать успешно завершённым.

Реокмендация: порой бывает так, что коммутатор в процессе обновления может зависнуть, при этом, хосты не смогут корректно определить недоступность хранилища и переключение на вторую фабрику не произойдёт. Что бы этого избежать, лучше всего перед обновлением прошивки самостоятельно выключать порты на обновляемом коммутаторе, а после завершения процедуры — включать. Для этого стоит использовать команды:
portcfgpersistentdisab
portcfgpersistentenable
т.к. команда portdisable выключает порт до первой перезагрузки коммутатора

Процесс отката прост — вы делает при помощи firmwaredownload «обновление» до предыдущей версии. На этом сегодняшняя часть завершена, продолжение обязательно будет.