Представители НОШ «Мозг, когнитивные системы, искусственный интеллект» предложили метод оптимизации транспортных потоков в наложенных сетях с использованием многоагентного обучения с подкреплением. Новый подход позволяет эффективно распределять сетевой трафик, избегать перегрузок и минимизировать задержки при передаче данных. Работа представлена на международной конференции «Математика в созвездии наук».
Современные сети передачи данных сталкиваются с постоянно растущими объёмами трафика, что требует более эффективных методов маршрутизации и балансировки нагрузки. Особую актуальность эта задача приобретает в наложенных сетях, используемых в вычислительных инфраструктурах нового поколения, таких как Network Power by Computing (NPC). Эти сети обеспечивают гибкость и масштабируемость, но требуют интеллектуального управления потоками данных.
Учёные ВМК МГУ предложили инновационный метод балансировки транспортных потоков, основанный на многоагентном обучении с подкреплением. В отличие от традиционных централизованных алгоритмов, новый подход использует распределённую модель управления, в которой агенты принимают решения локально, взаимодействуя друг с другом. Это позволяет гибко адаптироваться к изменениям нагрузки и минимизировать задержки.
Задача балансировки трафика в наложенной сети была сформулирована как распределённый вариант частично наблюдаемого марковского процесса принятия решения (Dec-POMDP). В системе используется несколько агентов, каждый из которых управляет потоком данных в своём локальном сегменте сети. Агенты обмениваются информацией о состоянии сети и принимают решения о маршрутизации данных на основе локальных наблюдений.
В работе было рассмотрено три подхода к управлению агентами: централизованный, децентрализованный с взаимодействием между агентами и полностью децентрализованный. В централизованном подходе все агенты подчиняются единому центру управления, который координирует их действия. Однако такой подход требует дополнительных затрат на сбор информации и принятие решений, что увеличивает задержки.
Децентрализованный подход с взаимодействием между агентами предполагает обмен локальными состояниями между соседними агентами. Это позволяет каждому агенту выбирать оптимальное действие на основе собранной информации. В полностью децентрализованном подходе агенты принимают решения независимо, анализируя только свою историю поведения.
В качестве решения был предложен метод Multi-Agent Routing using Hashing (MAROH), который объединяет идеи децентрализованного обучения с подкреплением и консистентного хеширования. В методе MAROH каждому выходному порту маршрутизатора присваивается вес, который затем используется в хеш-функции для распределения потоков данных между каналами. Вес рассчитывается с использованием методов машинного обучения так, чтобы равномерно распределить нагрузку по сети.
Полученные данные передаются соседним маршрутизаторам, что позволяет быстро адаптироваться к изменениям в трафике и избегать перегрузок. Это особенно важно в современных сетях, где объёмы данных постоянно растут, а требования к задержкам становятся более строгими.
Экспериментальное исследование показало, что предложенный метод MAROH превосходит по эффективности классические алгоритмы балансировки, такие как ECMP (Equal-Cost Multi-Path) и UCMP (Unequal-Cost Multi-Path), а также показывает сопоставимые результаты с централизованным генетическим алгоритмом. При этом он обеспечивает лучшую сходимость и стабильность при высокой нагрузке в сети.
Исследование также продемонстрировало, что количество эпизодов, необходимых для достижения стабильного улучшения, составляет от 1500 до 3000, а отклонение загрузки каналов от средней нагрузки значительно ниже, чем у традиционных методов.
Разработанный метод позволяет эффективно управлять распределением трафика в наложенных сетях, что особенно актуально в условиях растущего объёма данных и сложных сетевых топологий. Это открывает новые возможности для оптимизации работы дата-центров, облачных вычислений, корпоративных VPN и систем интернет-провайдеров.
«Наш метод показывает, что многоагентное обучение с подкреплением может эффективно решать задачи балансировки трафика в наложенных сетях. Это позволяет избежать перегрузок и минимизировать задержки, что критически важно для современных вычислительных инфраструктур», — отметил Евгений Степанов, ассистент кафедры вычислительной математики и кибернетики ВМК МГУ.
Будущие исследования будут направлены на сокращение количества передаваемых служебных сообщений за счет использования накапливаемого опыта каждого агента, что позволит сократить время на принятие решения и повысить эффективность использования каналов. Также планируется применение графовых сетей с механизмом внимания для повышения устойчивости к изменениям нагрузки и топологии сети.
Источник информации: ВМК МГУ имени М.В. Ломоносова
Источник фото: ru.123rf.com
