8.3. Резервирование промышленных сетей

В состав промышленной сети входят линии связи, коммутаторы, сетевые мосты, маршрутизаторы, сетевые контролеры, преобразователи интерфейсов и источники питания. Однако чаще всего резервируются только линии связи, как наименее надежные элементы.

Основной характеристикой метода резервирования промышленных сетей является длительность перехода на резерв.

8.3.1. Сети Profibus, Modbus, CAN

Резервирование промышленных сетей выполняется обычно одновременно с резервированием контроллеров (см. раздел "Процессорные модули"). Для этого в каждом ПЛК используют два (реже - три) сетевых порта, к одному из них подключают основную промышленную сеть, к другому - резервную [Bertocco]. Каждый контроллер имеет средства контроля работоспособности сети и в случае ее отказа переключает свой порт на резервную сеть. В системах с голосованием резервирование выполняется проще: исходящий поток сообщений посылается во все сети одновременно, а входящие потоки из всех сетей проходят через схему голосования (см. раздел "Общие принципы резервирования").

Для контроллеров, имеющих один сетевой порт и не предназначенных для работы в резервированных сетях, выпускаются специальные модули резервирования (см. www.abb.com), которые имеют один разъем ( на рис. 8.17) для подключения к порту оконечного устройства, например, ПЛК, и два разъема ( и ) для подключения к основной и резервной сети (рис. 8.17). Модули могут работать в многомастерных сетях как с ведущими, так и с ведомыми устройствами. Ведомых устройств, подключаемых к одному модулю резервирования, может быть несколько ( на рис. 8.17). Модуль работает как коммутируемый повторитель интерфейса, одновременно контролируя исправность сети. Отказ обнаруживается по первому символу в передаваемом сообщении и при его появлении модуль переключается на резервный порт.

Основной проблемой резервирования сетей методом замещения является обнаружение отказа. Поскольку после отказа (например, обрыва) сети на некотором участке доставка сообщений к отсоединенной части сети невозможна, обнаружение отказа должно выполняться каждым участником сети автономно. Но это возможно только в многомастерных сетях или в сетях, имеющих специальные аппаратные средства контроля.

Протоколы резервирования промышленных сетей являются узкоспециализированными закрытыми разработками фирм-производителей контроллеров и в общедоступной литературе не описаны.

8.3.2. Сети Ethernet

Резервированию в промышленных сетях Ethernet с коммутаторами посвящена серия стандартов IEEE [IEEE, IEEE]. Однако первоначально они были предназначены только для исключения замкнутых контуров в сетях, поэтому требования к быстродействию алгоритмов учтены не были. В связи с резким ростом спроса на промышленный Ethernet (рост около 50% в год c 2004 г. [Prytz]) возросли требования ко времени переключения на резерв. Поэтому в 2005 г. началась работа над новым стандартом IEC 62439 “ High Availability Automation Networks” ("Сети промышленной автоматизации с высокой готовностью"), которая была инициирована комитетом IEC по цифровой коммуникации TC65C.

Основной проблемой при резервировании сетей Ethernet с коммутаторами является устранение замкнутых логических контуров (петель, циклов). Логические петли не допускаются потому, что при их наличии коммуникационные пакеты могли бы вечно путешествовать по сети, ограничивая ее пропускную способность. При возрастании трафика был бы возможен также отказ в обслуживании из-за превышения пропускной способности сети. Кроме того, в таблице MAC-адресов коммутаторов появились бы одни и те же адреса для разных портов.

Для исключения логических петель служит стандартизованный алгоритм STP [IEEE], который выполняет блокировку портов коммутатора, через которые петли замыкаются. После появления промышленного Ethernet оказалось, что алгоритм STP позволяет искусственно вводить в сеть резервные ветви, которые, однако, не создают логических петель благодаря STP-алгоритму. При отказе некоторых ветвей протокол STP выбирает новые сетевые маршруты, в которых участвуют зарезервированные ранее связи.

Существует несколько методов резервирования промышленного Ethernet:

• агрегирование линий связи;
• резервирование на основе STP и RSTP протоколов;
• организация в сети физического кольца;
• полное резервирование всей сети.

Первые два метода стандартизованы, вторые два являются нестандартными разработками фирм-производителей и многие из них защищены патентами.

Метод агрегирования

Метод агрегирования линий связи описан в стандарте IEEE 802.3ad "Aggregation of Multiple Link Segments", который является разделом общего стандарта IEEE 802.3 [IEEE]. Этот метод использует два и более параллельных кабелей и портов для каждой линии связи. Объединение нескольких физических линий связи в один логический канал осуществляется с помощью протокола Link Aggregation Control Protocol (LACP). При этом группа (агрегат) линий связи и портов представляется одним логическим сервисным интерфейсом с одним MAC-адресом. В протоколе LACP полные Ethernet фреймы попеременно отсылаются по параллельным линиям связи и объединяются в приемнике. Пропускная способность такого агрегированного канала оказывается прямо пропорциональна количеству физических линий. При отказе одной линии данные пересылаются по другой. Этот стандарт поддерживается многими производителями Ethernet коммутаторов.

Метод резервирования, изложенный в стандарте IEEE 802.3ad, предполагает, что все агрегированные линии связи должны исходить из одного и того же коммутатора, т.е. сеть должна иметь топологию звезды. Для устранения этого ограничения фирмой Nortel были предложены три модификации метода агрегирования: SMLT ("Split Multi-Link Trunking"), DSMLT (Distributed Split Multi-Link Trunking) и R-SMLT ("Routed-SMLT) (см. www.nortel.com). Модификации этого метода предложены также фирмами Cisco и Adaptec, однако они несовместимы между собой и со стандартом.

Метод агрегирования используется для резервирования соединений между коммутаторами, между коммутатором и сервером, а также между двумя компьютерами. Для дублирования связи между ПЛК и коммутатором ПЛК должен иметь два Ethernet-порта и драйвер, поддерживающий протокол LACP (IEEE 802.3ad), который предоставляет операционной системе один сетевой порт, физически состоящий из двух линий связи (рис. 8.18). При использовании 4-кратного резервирования связи между сервером и коммутатором (рис. 8.18) в сервер вставляется специальная 4-портовая Ethernet-карта с соответствующим драйвером, который заменяет 4 физических Ethernet порта одним логическим.

Достоинством метода является увеличение пропускной способности сети, возможность добавления произвольного количества линий связи для согласования пропускной способности разных каналов, малое время восстановления после отказа. Однако для резервирования сети в целом необходимо удвоенное количество кабелей и коммутаторов, что может быть неоправданно дорого. Кроме того, практически используемые схемы агрегирования часто не соответствуют стандартам IEEE, а оборудование разных производителей может быть несовместимым.

Метод агрегирования в соответствии с IEEE 802.3ad обеспечивает резервирование только линий связи; коммутаторы или сетевые контроллеры подключенного к сети оборудования остаются нерезервированными. Однако некоторые фирмы (см., например, www.syskonnect.com) предлагают дополнительное программное обеспечение, позволяющее объединять в один логический порт несколько каналов, проходящих через разные коммутаторы, которые, таким образом, оказываются резервированными.

Протокол STP и его модификации

Базовый Ethernet протокол STP (Spanning Tree Protocol), переводимый как "протокол остового дерева" или "протокол связующего дерева", является протоколом 2-го уровня модели OSI и описан в стандарте IEEE 802.1D [IEEE], который был принят в 1990 г. Первоначально протокол был использован для того, чтобы избежать петель в больших и сложных офисных сетях с мостами, которые могли иметь сложную запутанную топологию. С появлением промышленного Ethernet этот протокол стал использоваться для горячего резервирования сетей с коммутаторами.

Цель STP протокола состоит в том, чтобы сконфигурировать сеть в виде дерева (т. е. без циклов) таким образом, чтобы каждый узел сети (лист дерева) был связан с корнем по пути с наименьшим временем доставки сообщений. Дерево формируется путем отключения ветвей, которые могут образовывать физические (не логические) петли в сети. Таким образом, при проектировании сети в нее могут быть добавлены избыточные ветви с целью резервирования, которые будут логически отключены протоколом STP при формировании дерева сети.

STP-протокол выполняет постоянный мониторинг сети с целью обнаружения происходящих в ней изменений. Если такие изменения выявлены, (например, если одна ветвь стала неработоспособной), то STP протокол автоматически выполняет перестроение дерева, включая в него при необходимости резервные ветви. Таким образом, после отказа ветви сеть оказывается вновь работоспособной через время, необходимое для выполнения STP алгоритма. Работоспособность сети сохраняется до тех пор, пока количество отказавших ветвей не станет настолько большим, что протокол не сможет построить дерево, используя все резервные ветви.

Для формирования дерева с минимальным временем доставки сообщений используются сообщения BPDU (Bridge Protocol Data Unit), встроенные в стандартный (IEEE 802.3) Ethernet-фрейм. Протокол BPDU использует два таймера для оценки времени доставки сообщений, которое по умолчанию не может превышать 20 с.

Время построения дерева при использовании STP алгоритма может доходить до 30 секунд и даже единиц минут [Prytz], что для многих приложений недопустимо много. Поэтому в 1998 году был разработан и закреплен стандартом IEEE 802.1w [IEEE], а позже стандартом IEEE 802.1D-2004 [IEEE] более быстрый алгоритм RSTP (Rapid Spanning Tree Protocol), который строит дерево за время не более 2 с. Протоколы STP и RSTP поддерживаются большинством производителей сетевых коммутаторов.

Для виртуальных сетей, граф которых представляется несколькими деревьями, был разработан протокол MSTP (Multiple Spanning Tree Protocol), который является расширением протокола STP и описан в стандартах IEEE 802.1s и IEEE 802.1Q-2003 [IEEE].

Недостатком STP и RSTP протоколов является часто недопустимо большое время перехода на резерв, а также невозможность резервирования связей между коммутатором и устройством, которое является участником сети.

Метод физического кольца

Методы резервирования, основанные даже на усовершенствованном протоколе RSTP, имеют слишком большое время переключения на резерв (до 2 сек. [Prytz]). В то же время ряд приложений требует сокращения этого времени до единиц миллисекунд (как, например, в робототехнике) или до долей секунды (во многих химических технологических процессах). Поэтому некоторые фирмы разработали собственные нестандартные методы резервирования, которых в настоящее время насчитывается более 15 [Prytz].

В основе этих методов лежит использование сети с кольцевой физической топологией. Одна из ветвей сети блокируется коммутатором (мастером на рис. 8.19-а) и поэтому в режиме нормального функционирования сеть приобретает логическую шинную топологию. В случае отказа одной из ветвей мастер включает резервный порт. При этом подключается резервная ветвь и граф сети вновь становится связным, т. е. работоспособность сети оказывается полностью восстановленной.

Существует два метода обнаружения отказа в сети: циклический опрос и отправка уведомления об отказе.

При циклическом опросе мастер периодически посылает в сеть специальный тестирующий пакет через свой основной порт. При нормальном функционировании сети пакет проходит по кольцу и возвращается к мастеру через его резервный порт. Если пакет не приходит за время таймаута, мастер считает, что в сети произошел отказ и немедленно включает резервный порт, затем очищает свою таблицу адресов и рассылает всем коммутаторам инструкцию сделать то же самое. После очистки таблиц адресов все коммутаторы автоматически выполняют "обучение" (обновление таблицы адресов). В результате сеть вновь становится полнофункциональной, но уже с новой ветвью и новыми таблицами адресов в коммутаторах. Разрыв 1 на рис. 8.19-а остается в сети до тех пор, пока не будет выполнен ремонт отказавшей ветви.

В методе уведомления об отказе циклический опрос не выполняется. Вместо этого каждый коммутатор самостоятельно контролирует целостность примыкающих к нему связей и при обнаружении отказа сообщает об этом мастеру с помощью уведомления. Далее мастер поступает точно так, как в методе циклического опроса.

После ремонта или замены отказавшей ветви она обнаруживается тем же методом тестирования кольца. Если связь по кольцу восстановлена, то мастер сразу же блокирует свой резервный порт (который был задействован на время выполнения ремонта), сбрасывает таблицу адресов и инструктирует оставшиеся коммутаторы сделать то же самое. В результате все коммутаторы обновляют таблицы адресов для сети с восстановленной ветвью.

Метод физического кольца имеет два существенных достоинства: во-первых, он предельно экономичен, поскольку способен восстановить работу сети при отказе любой ее ветви практически без затрат оборудования (дополнительно требуется всего один кабель для замыкания кольца и два лишних порта в двух коммутаторах). Во вторых, он позволяет примерно на порядок сократить время восстановления сети после отказа по сравнению со стандартным методом, использующим RSTP протокол (см. табл. 8.43).

К недостаткам метода относится неудобство кольцевой архитектуры, невозможность резервирования коммутаторов и сетевых адаптеров, а также ветвей, идущих от коммутаторов к конечным устройствам. При отказе коммутатора на рис. 8.19-а сеть оказывается разорванной и устройства, подключенные через коммутатор , становятся недоступны. Аналогично, рассмотренный метод резервирования не дает эффекта при отказе связи 3 на рис. 8.19-а.

Два последних недостатка можно преодолеть, если в методе физического кольца использовать оконечные сетевые устройства с двумя Ethernet-портами (устройство на рис. 8.19-б), и каждый из этих портов подключить к двум соседним коммутаторам и . При отказе коммутатора на рис. 8.19-б мастер включает резервную ветвь и в сети появляется резервный путь к устройству через резервную ветвь и коммутаторы , .

К недостаткам методов физического кольца относится также отсутствие стандартов и, как следствие, несоответствие идеологии открытых систем.

Полное резервирование сети

Наименьшее время переключения на резерв предоставляет метод полного дублирование всей сети целиком. Вторым его достоинством является живучесть при отказах не только соединений между коммутаторами, но также и самих коммутаторов, сетевых портов устройств и линий связи устройств с коммутатором. Недостатком является высокая цена, поскольку метод предполагает, что все сетевое оборудование используется в удвоенном количестве.

На рис. 8.20 показан пример дублированной сети с шинной топологией. Здесь ... - коммутаторы основной сети, ... - коммутаторы дублирующей сети. Каждое оконечное устройство имеет по два Ethernet-порта, один из которых подключается к основной сети, второй - к резервной. При любом отказе в основной сети (обрыв 1 в ветви между коммутаторами, отказ 2 коммутатора, обрыв 3 ветви между портом оконечного устройства и коммутатором на рис. 8.20) связь по сети восстанавливается путем переключения портов оконечных устройств на резервную сеть. Переключение выполняется быстро, поскольку метод не требует построения дерева, как в алгоритме STP.

Разновидностью полного резервирования является одновременное резервирование сети и оконечных устройств [Moxa]. В этом случае получаются две полностью независимые системы автоматизации и резервированным оказывается не только сетевое оборудование, но и вся система. Для выбора одной из сетей и обнаружения отказа необходимы средства диагностики, которые могут быть реализованы на основе стандарта IEEE 802.1p/Q [Moxa].

8.3.3. Резервирование беспроводных сетей

Основным фактором, определяющим надежность связи по беспроводным сетям, является замирание электромагнитных волн. Поэтому резервирование приемопередающей аппаратуры не приводит к повышению коэффициента готовности сети.

Как показывают эксперименты, поток ошибок в канале существенно изменяется с течением времени, поэтому беспроводной канал не может гарантировать доставку сообщений в заданный срок, речь может идти только о вероятности такой доставки. Одним из методов повышения вероятности доставки сообщений является резервирование физического канала связи с помощью применения нескольких антенн или нескольких передатчиков с антеннами [Willig].

Метод основан на том факте, что у приемной антенны электромагнитная волна представляет собой суперпозицию многих волн, пришедших с разных направлений после отражений, преломлений и дифракции на окружающих предметах. Если две приемные антенны расположены близко, то они принимают один и тот же сигнал с одинаковыми замираниями. Для того, чтобы сигналы в антеннах не были коррелированны, расстояние между ними должно быть больше некоторого расстояния, называемого дистанцией когерентности.

Для реализации метода резервирования антенн используется несколько антенн, например, по три антенны на каждом конце канала связи. Передача сообщений выполняется пакетами. Один и тот же пакет передается по очереди первой антенной, второй, затем третьей. На приемном конце пакеты сравниваются методом мажоритарного голосования или проверяются их контрольные суммы, чтобы выделить пакет без ошибок. Используется также выделение достоверных сообщений с помощью анализа отдельных символов сообщения, а не пакетов [Alamouti], избыточное кодирование и сложная обработка сигналов [Paulraj].

Как показано в работе [Willig], добавление каждой очередной антенны позволяет снизить вероятность ошибки в канале в 10 раз. При этом под вероятностью ошибки понимается вероятность неполучения пакета за заданное время, поскольку в [Willig] был использован метод ARQ (Automatic Repeat reQuest - "автоматический повтор запроса"), когда передающая станция повторяет передачу до тех пор, пока не получит подтверждение об успешном приеме или пока не истечет установленное время таймаута.

• 1 Архитектура системы
• 2 Промышленные сети и интерфейсы
• 3 Защита от помех
• 4 Измерительные каналы
• 5 ПИД-регуляторы
• 6 Контроллеры
• 7 Автоматизация опасных объектов
• 8 Аппаратное резервирование
  • 8.1 Основные понятия и определения
  • 8.2 Резервирование ПЛК
  • 8.3 Резервирование промышленных сетей
  • 8.4 Оценка надежности резервированных систем
  • 8.5 Заключение
• 9 Программное обеспечение
• Литература

© НИЛ АП, ООО, 1989-2024