Лекция 2. Проблематика программируемости OpenFlow приложений

Проблематика программируемостиOpenFlow приложенийМатематический спецкурс“Программно Конфигурируемые Сети”к.ф.-м.н., м.н.с., Шалимов А.В.ashalimov@lvk.cs.msu.su@alex_shali@arccnnewsЧасть 0: SDN/OpenFlowДоп.главы Компьютерных сетейШалимов А.В.2Что такое SDN/OpenFlow?ВнедренияSDN = Software Defined NetworkingОсновные принципы•••Физическое разделение уровня передачи данных от уровняуправления сетевых устройств.Логически централизованное управление.Программируемость.•Открытый единый интерфейс управления.Преимущества...• Упрощение управлениясетью (OPEX)• Удешевлениеоборудования (CAPEX)• Разработка ранеенедоступных сервисов“SDN means thinking differently about networking”Доп.главы Компьютерных сетейШалимов А.В.3Маршрутизация с SDN/OpenFlowABA -> BAB• Неизвестный пакет отправляется на контроллер (OF_PACKET_IN).• Контроллер вычисляет лучший маршрут через всю сеть (с наименьшейстоимостью и удовлетворяющий политикам маршрутизации).• Соответствующие правила OpenFlow устанавливаются на коммутаторы + сразуи обратный маршрут (OF_PACKET_OUT/FLOW_MOD).Доп.главы Компьютерных сетейШалимов А.В.4Маршрутизация с SDN/OpenFlowABAB• Неизвестный пакет отправляется на контроллер (OF_PACKET_IN).• Контроллер вычисляет лучший маршрут через всю сеть (с наименьшейстоимостью и удовлетворяющий политикам маршрутизации).• Соответствующие правила OpenFlow устанавливаются на коммутаторы + сразуи обратный маршрут (OF_PACKET_OUT/FLOW_MOD).• Динамическая переконфигурация в случае ошибки сети.Доп.главы Компьютерных сетейШалимов А.В.5Требования к контроллеру ПКС• Производительность– Пропускная способность• events per second– Задержка• ЦОД требует обработку>10M событий в секунду• Реактивныеконтроллеры более“чувствительные”• us• Надежность и безопасность– 24/7• Программируемость– Функциональность: приложения и сервисы– Интерфейс программированияАрхитектура OpenFlow контроллераМаршрутизация, виртуалилазция, мониторинг,балансровка, фильтрация, аутентифкация, NAT,ARP, DNS, DHCP, BGPАлгоритмы на графах, распределенныесистемы и базы данных, webМногопоточные алгоритмыБыстрая обработка пакетовЧасть I: OpenFlow контроллерыДоп.главы Компьютерных сетейШалимов А.В.8OpenFlow контроллер• Программа, TCP/IP сервер, ожидающийподключения коммутаторов• Отвечает за обеспечение взаимодействиеприложения-коммутатор.• Предоставляет важные сервисы (например,построение топологии, мониторинг хостов)• API сетевой ОС или контроллер предоставляетвозможность создавать приложения на основецентрализованной моделипрограммирования.Доп.главы Компьютерных сетейШалимов А.В.9Список OpenFlow контроллеров• Их действительно много– Nox, Pox, MUL, Ruy, Beacon, OpenDaylight,Floodlight, Maestro, McNettle, Flower, Runos– Разные языки программирования от Pythonдо Haskell, Erlang• Для образования - Pox.• Два больших комьюнити– ONOS (Stanford)– OpenDayLight (Cisco)• В России – наш Runos– arccn.github.io/runosДоп.главы Компьютерных сетейШалимов А.В.10Архитектура OpenFlow контроллераМаршрутизация, виртуалилазция, мониторинг,балансровка, фильтрация, аутентифкация, NAT,ARP, DNS, DHCP, BGPАлгоритмы на графах, распределенныесистемы и базы данных, webМногопоточные алгоритмыБыстрая обработка пакетовТребования к контроллеру ПКС• Производительность– Пропускная способность• events per second– Задержка• ЦОД требует обработку>10M событий в секунду• Реактивныеконтроллеры более“чувствительные”• us• Надежность и безопасность– 24/7• Программируемость– Функциональность: приложения и сервисы– Интерфейс программированияПовышение производительностиСамые ресурсоемкие задачи:• Взаимодействие с OpenFlow коммутаторами:– использование многопоточности;– учет загрузки нитей и перебалансировка.• Получение OpenFlow пакетов из канала:– чтение пакетов из памяти сетевой карты, минуясетевой стек OS Linux;– переключение контекста;– виртуальные адреса.Производительность (kernel)• Производительность равна 30M fps• Задержка 45usRUNOS – это линейка OpenFlow контроллеров+: большаяфунци-ть-: низкаяпроизв-тьПриложенияNOX, Pox, Floodlight,OpenDaylight, MUL,etcСервисыOpenFlowUser spaceKernel spaceЧто может быть посередине?ПриложенияСервисыПриложенияInkernelOpenFlowАрхитектура:• Прилож-я в userspace• Часто используемые сервисы +: большая фунци-тьв ядре (топология)+: высокая произв-ть• Интерфейс взаимодействияСервисыOpenFlow+: высокая произв-ть-: мало функцийЧасть II: ПрограммируемостьПрограммно-Конфигурируемые СетиШалимов А.В.Абстракция• Курсы по Операционным системам учатфундаментальным принципам:– Примитивы синхронизации, потоки, исключения,файловая система и т.д.– Новые языки программирования, операционныесистемы• Курса по Сетевым технология учат куче протоколов– TCP, UDP, ARP, MPLS, GRE, BGP, OSPF, IS-IS, LDP, RSVP, PIM,….– Отсутствие фундаментальных принципов, толькоруководства по эксплуатации сетей– Алгоритмы маршрутизации одни и теже много лет,управление сетью примитивноДоп.главы Компьютерных сетейШалимов А.В.17Абстракции в ITМедленно развивающаяся,закрытая, дорогая система.Малый рынок сбытаБыстрое внедрение инновацийОткрытые интерфейсыБольшой рынок сбытаПриложенияОткрытый интерфейсОперационные системыСпециализированныепрограммыОткрытый интерфейсСпециализированнаяоперационная системаМикропроцессорыСпециализированнаяаппаратураДоп.главы Компьютерных сетейШалимов А.В.18Абстракция в ЯП• Машинные языки программирования - нет никакойабстракции• Высоко-уровневые языки программирования, ОС + другиеабстракции– Структуры данных, функции, переменные, файлы, виртуальнаяпамять, ....• Современные языки программирования – еще большеабстракций– Объекты, нити, семафоры, сборщик мусораАбстракции упрощают программирование: проще писать,проще поддерживать, думать об алгоритмеМожно ли такое же получить для компьютерных сетей?Доп.главы Компьютерных сетейШалимов А.В.19Абстракция в SDN?• Абстракция уровня управления• Абстракция уровня передачи данныхДоп.главы Компьютерных сетейШалимов А.В.20Абстракции OpenFlow• Уровень управления – forwarding,управление пересылкой пакетов• Уровень передачи данных – match-actionтаблицыДоп.главы Компьютерных сетейШалимов А.В.21• На языке контроллера [быстро]• На любом языке через REST интерфейс[медленно]• Специальные языки программирования сдругой абстракцией (например, Pyretic,Maple)Пример REST запросаДоп.главы Компьютерных сетейШалимов А.В.23• NorthBound API – интерфейс между контроллером иприложениями• Программирование с OpenFlow не простая задача!Сложно выполнять независимый задачи (routing, access control)Низкоуровневая абстракцияНужно помнить о правилах на коммутаторахПорядок установки правил на коммутаторах неизвестен• Переносимость приложений между контроллерамиMonitorRouteFWController PlatformLBExample of the problem with running several apps independently:• Forwarding and Span apps.

First app sends a flow over port 1, while second onessends the same flow over port 5. Rules intersect with each other.• Final rules order in the flow table is unknown.• Packets will go using only the first rule. Thus, only one app will work. Conflict!• We may to resolve such conflicts and some others. Just ip_src:10.0.0.1 -> output:1,5!ForwardingSPANOpenFlowRule 1: ip_src:10.0.0.1 -> output:1Rule 2: ip_src:10.0.0.1 -> output:5Flow tableRule 1Rule 2Newpacketip_dst:10.0.0.1never usedКомпозииция приложений• Два типа композиции (на примере, Pyretic)– Параллельная – выполняет оба действия одновременно (forwarding иcouting)– Последовательная композиция – выполняет одно действие за другим(firewall, затем switch)Доп.главы Компьютерных сетейШалимов А.В.28• Pyretic– (match(dstip=2.2.2.8) >> fwd(1)) +(match(dstip=2.2.2.9) >> fwd(2))Доп.главы Компьютерных сетейШалимов А.В.29Pyretic пример LB• http://frenetic-lang.org/publications/pyretic-login13.pdfДоп.главы Компьютерных сетейШалимов А.В.30MapleПрограммно-Конфигурируемые СетиШалимов А.В.Пример проблемы• Безопасность: TCP потоки на 22 порт идут безопасныммаршрутом• Остальные потоки идут кратчайшим маршрутом• При этом надо запоминать, где какие конечные узлы находятсяПрограммно-Конфигурируемые СетиШалимов А.В.В реальной жизниПрограммно-Конфигурируемые СетиШалимов А.В.Что будет, если добавить этоправило?• Как решить проблему?– ПриоритетыПрограммно-Конфигурируемые СетиШалимов А.В.Еще вариантПрограммно-Конфигурируемые СетиШалимов А.В.Trace Tree• Три типа вершин––––L – leafV – valueT – test+emptyПрограммно-Конфигурируемые СетиШалимов А.В.Flow tableПрограммно-Конфигурируемые СетиШалимов А.В.Оптимизации••••По числу правилПо приоритетамГенератор правилДобавление потоковПрограммно-Конфигурируемые СетиШалимов А.В.Часть III: Runos OpenFlowконтроллерПрограммно-Конфигурируемые СетиШалимов А.В.Система управления сетью первый российский SDN-контроллер RUNOSRUssian Network Operation SystemЕсть разные варианты контроллера с единой базой иразличным набором сервисов и приложений• Открытая версия на Github http://arccn.github.io/runos/ Своя база на C++11/14, а не Java цель: упростить разработку сетевых приложений и незабывать о производительности приложения: топология, маршрут, перестроение в случаеобрыва, REST, WebUI, проактивная загрузка правил,резервирование Active-Passive• Внутренняя ядерная версия Супер-производительность 30 млн событий в секунду Разработка приложений под заказчика• Внутренняя версия с приложениями под операторасвязи База такая же, как и на Github.

Заказчики сами могутразрабатывать приложения. Учиться по доступнымматериалам Сервисы B2C, B2B (p2p, mp2mp, multicast, и т.п.) Active-Standby режим• Алгоритмические политики (генерация правил)– Распределение приоритетов, комбинация правил– LOAD, MATCH, READ абстракции– На основе MAPLEПриложенияСервисы• Дружественный API на основе EDSL грамматики(низкоуровневые детали скрыты в системевыполнения – overloading, templates)–––––“pkt[eth src] == eth addr”“if (ethsrc == A || ethdst == B) doA else doB”“test((eth_src & “ff0…..0”) == “….”)”“modify(ip_dst >> “10.0.0.1”)”decision are “unicast()”, “broadcast()”, “drop()”OpenFlowKernelspaceFeatures:-• Композиция приложений (параллельная ипоследовательная композация)– dpi + (lb >> forwarding)Userspace-Algorithmic policies(rule generation)Client-friendly API usingEDSL grammar (lowlevel details are hiddeninside the runtime –overloading, templates)Modules composition(parallel and sequentialcomposition)Версия 0.6 - следующий большой релиз (апрель)• Полное обновление структуры ядра контроллера.

Нетпривязка к конкретной версии протокола OpenFlow.Своя модель, расширяемая под любые новые поля, в томчисле и специфические для оборудования.• Пакетная грамматика для сетевых приложений.Упрощает разработку новых приложений.• Обновление системы генерации правил — повышенаскорость работы и улучшена генерация правил (поколичетсву правил и числу приоритетов).• Возможность статического связывания модулей.• Система тестов.Часть IV: Разработка приложенийдля Runos контроллерДоп.главы Компьютерных сетейШалимов А.В.43First application – L2 learningA123BB | A | ...A | B | ...L2 learning table4Host• What is L2 learning?Switch:portA1:1B3:2– L2 table – where particularly host resides (host <->sw:port)• A->B. What should we do on sw1?– Learn and broadcast• B->A.

What should we do on sw3?– Learn and unicast• Advanced question: will it work for ping utilities? Ping 10.0.0.2 (assuming Bhas this IP)– Yes, arp (broadcast), ip (icmp)Host Databases.insert(…)L2 forwarding applicationЗаключение• SDN это все об абстракцияхпрограммировать• Runos проект предназначен для упрощенияразработки новых приложений– В открытом доступе arccn.github.io/runoshttp://arccn.ru/ashalimov@lvk.cs.msu.suДоп.главы Компьютерных сетейШалимов А.В.@alex_shali@arccnnews47.