- Author:
Mo Dong
andTong Meng
(UIUC) congestion control, Reinforcement Learning .
摘要
作者利用在线机器学习的凸优化文献中的想法来设计Vivace,是一种新颖的速率控制协议,在PCC框架内设计。 PCC Vivace在性能(吞吐量,延迟,丢失),收敛速度,缓冲区缓解,对不断变化的网络条件的反应以及对传统TCP的友好性方面,都优于PCC框架和BBR的先前实现。而且Vivace只需要发送方更改,因此可以轻松部署。
引入
拥塞控制机构应该能够:
- 高效利用网络资源,在变动的网络情况下。
- 保证快速收敛到稳定和公平的速率状态。
部署简单,安全。
Remy 使用offline机制来搜索状态空间最优的拥塞控制状态.
- BBR 使用网络白盒建模的方式来转换表现测量.
- PCC 使用一个黑盒机制,PCC通过在特定速率发送时观察到表现矩阵,以及效用函数,来调整发送策略
- 然而BBR,PCC Allegro都不能做到收敛速度和稳定性的权衡。
- 他们对TCP都是十分激进的,不是TCP有好多
因此提出了PCC Vivace 在线凸优化,有一个效用函数框架和学习率控制算法。
- 1.Vivace使用全新的效用函数,其中更包括了延迟的最小化,以及TCP的友好型。
- 2.Vivace 最优化网络基于梯度上升来达到最高的网络使用率,对网络的变化能够快速调整,并且达到稳定状态。
我们的贡献有:
- 1.一个最主要的框架来提升传输的有效性,以及多种新结果。(改善优化效用函数,可以提升带宽,损失以及延迟,稳定的速率状态,证明必定存在纳什均衡点)
- 2.一个速率控制机制使用在线学习策略的梯度上升算法,获得稳定性和反应之间的权衡。
- 3.在受控环境,真实住宅互联网场景以及视频流应用中,对PCC Vivace,PCC-Allegro,BBR和各种TCP变体进行了大量实验。亮点包括:在网络快速变化的条件下提高性能;收敛比Allegro快2倍,稳定性比BBR好2倍左右;并显着改善了TCP的友好性。
我们强调模拟的LTE环境,其中针对此背景设计的“白盒”模型方法,即Sprout优于Vivace,这是一个未来工作方向。