Brocade SAN Часть 10: FC-FC роутинг

FC-FC роутинг или FCR — это возможность передачи трафика между несколькими разными SAN сетями, без объединения их между собой (в логическом плане). Это позволяет избежать различных воздействий фабрик друг на друга, облегчает администрирование и повышает отказоустойчивость. Логическое соединение фабрик называют — Meta-SAN.

Очень часто даётся рекомендация использоваться роутинг между фабриками при организации растянутой сети между несколькими площадками. Я не совсем согласен с этим утверждением. От чего взялась эта рекомендация? При пропадании линка между площадками, у вас будет происходить перестроение фабрики, т.к. изменится количество коммутаторов в SAN сети. Но обычно, если вы строите отказоустойчивую сеть на базе двух площадок, у вас имеется как минимум 2 независимых канала между площадками. Если использовать оба канала в обеих фабриках сразу (не объединяя их в транк, как я описывал нашу конфигурацию в Часть 4: Соединение на длинных дистанциях), то при пропадании одного из линков, у вас не будет фабрика разваливаться на 2 части, соответственно и перестроение фабрики с последующей деградацией не произойдёт.
Так для чего же можно и стоит использовать FCR?
Представим, что у вас есть 2 площадки, независимых друг от друга — большая SAN сеть в офисе и в приватном облаке на площадке провайдера. На площадке провайдера у вас размещается большая ленточная библиотека и вы хотите организовать долговременное хранение резервных копий офисных данных на данной библиотеке. Соответственно вам необходимо организовать доступ вашего сервера резервного копирования в офисе к ленточной библиотеке в облаке, но при этом — каждое из устройств находится в своей SAN сети и объединять их в одну не имеет никакого практического смысла. При этом, у вас могут быть совершенно разные модели коммутаторов (в облаке — 16Gb/s, а в офисе — 4Gb/s), с разными версиями FOS и настройками зонинга, которые могут быть в принципе не совместимы друг с другом для объединения в одну фабрику. В данном случае — организация роутинга между двумя сетями — является наилучшим способом соединения.

При чём, соединение фабрик может быть организовано как по FC, так и по FCIP.

Когда устройства в разных фабриках связываются между собой посредством FCR, то данное соединение называют — логическим SAN (LSAN).

При создании LSAN зон необходимо учитывать 2 фактора:

1. Они должны начинаться с префикса «lsan_», чтобы маршрутизаторы узнали их
2. Они должны содержать только порт WWN или псевдонимы устройств

Это связано с тем, что идентификаторы портов Fibre Channel (PID) не являются уникальными идентификаторами в Meta SAN. Один и тот же PID может существовать в нескольких фабриках, поэтому маршрутизатор не знал бы, что администратор хотел бы сделать, если PID были использованы для создания зон LSAN. Однако это ограничение не исключает возможности использования зонирования на основе PID в самих фабриках для обычных зон. Эти зоны продолжают работать, как обычно.
Зоны создаются привычными командами: zonecreate, zoneadd.

FCR представляем нам новую сущность — FC роутеры, с запущенными соответствующими сервисами. Так же появляются EX_Port и VEX_Port, которые функционируют аналогично E_Port и VE_port.

Также появляется 2 типа фабрик:

1. Backbone fabric — представляет собой промежуточную сеть, которая соединяет одну или несколько edge фабрик. Backbone фабрика может состоять из единственного коммутатора, но содержать при этом несколько Edge фабрик, требующих соединения между собой.
2. Edge fabric — классическая фабрика, с инициаторами и таргетами, которая подключается к Backbone fabric.

Теперь нужно понять — как же это работает. Когда вы подключаете FC роутер к Edge фабрике, создаётся Translate домен (xd), который соответствует удалённой Edge фабрике с указанными LSAN. При этом, в ваших физических фабриках появляются виртуальные устройства, зонинг которых определён в LSAN. Приведу пример. Есть 2 фабрики со своим оборудованием и зонингом. У нас появилась необходимость хосту в одной фабрике дать доступ к СХД в другой фабрике. Мы соединяем их при помощи роутеров, создаём LSAN зону, в которой предоставляем доступ хосту к СХД. В итоге в фабрике с СХД у нас появляется виртуальное устройство — наш сервер, аналогично в фабрике с хостом — у нас появляется виртуальная СХД. Такие устройства называются импортированными и экспортированными:
Экспортированные — устройство, презентованное из одной Edge в другую или несколько других фабрик
Импортированные — логическое устройство, презентованное другому устройству в Edge фабрике посредством LSAN.
Устройства, которые соединяются между фабриками называются Прокси устройствами.

В современных SAN сетях, построенных на новых коммутаторах Brocade, необязательно для этого использовать отдельные устройства. 8Gb/s коммутаторы и выше, почти все (кроме самых младших моделей) могут переводить порты в режим EX_Port, которые используются для роутинга. Эта возможность требует отдельного лицензирования — Brocade Integrated Routing license. При этом версия FOS на коммутаторах должна быть не ниже чем 7.3.

EX_Port’ы поддерживают транкинг, для обеспечения надёжного и быстрого соединения между фабриками. Конфигурирование транкинга проходит точно так же, как и для E_Port’ов, которое я описывал в Часть 3: FCP роутинг.

Перед включением функционала роутинга на коммутаторах, вам необходимо удостовериться, что у ваших фабрик, которые вы планируете соединить, используются разные FID.
Включение FCR:
switch:admin> fosconfig —enable fcr
Выключение
switch:admin> fosconfig —disable fcr

Данная операция не требует перезагрузки роутера.
Для каждого EX порта на роутере, вы указываете FID фабрики в которую данный порт смотрит
switch:admin> portcfgexport port_num -a 1 -f FID

Дополнение от @chumscrabber: На самом деле можно любой FID задавать на EX порту. И это реально полезно, когда нужно две дефолтные фабрики объединить с помощью FC-FC Routing. Т.к. на таких фабриках FIDы будут одинаковые, то если проставить на EX портах, смотрящих в эти фабрики их FIDы, ожидаемо, ничего работать не будет.

Диагностику подключения можно провести при помощи следующих команд:
switch:admin> lsanzoneshow
switch:admin> fcrfabricshow
switch:admin> fcrphydevshow
switch:admin> fcrproxydevshow
switch:admin> fcrrouteshow
switch:admin> fcrxlateconfig
switch:admin> fcrresourceshow

Но, как я думаю вы уже догадываетесь, роутинг можно настраивать не только из консоли, но и из Network Advisor. К сожалению, я в своей практике в принципе никогда не сталкивался с FCR, поэтому не могу и привести примеров. В ситуациях, когда требовалось одно устройство подключить к нескольким фабрикам, это делалось в пределах одного машзала ЦОДа и по трудовым и финансовым затратам было проще и дешевле подключить его физически в 2 фабрики, благо портов для этого было достаточно на самом устройстве. Вопрос о FCR встаёт в том случае, когда у вас нет возможности подключения устройства физически. Например, у вас есть некая инфраструктура в регионе и ленточная библиотека в центральном офисе. Вы хотите переносить архивные резервные копии на ленты в центральном офисе. В данном случае вам действительно может потребоваться FCR.
Надеюсь данная статья оказалась не слишком запутанной. Сказать честно, с FCR я сам довольно сильно на «вы» по причине отсутствия практики в этом вопросе.