论文学习交流

1. 论文学习交流 古连华

2. An Adaptive Probability Access Mechanism for Wireless Sensor Network一种无线传感器网络的自适应概率接入机制 Wei Liang, Haibin Yu, Chang Che Shenyang Institute of Automation, Shenyang Jianzhu University Chinese Academy of Sciences, Shenyang 110168, China Shenyang 110016, China weiliang@sia.ac.cn, chess1972@hotmail.com

3. Abstract • 对于大规模的无线传感器网络，通信模式主要示广播方式。本文分析了基于竞争的媒体接入方式的主要限制因素。从而提出一种自适应的概率接入机制，通过这种机制，基于竞争的MAC协议能根据广播通信模式中的确认概率传输确认数据包，并随着传输窗口的网络状况调整确认概率。大量的仿真结果表明基于这种提出的自适应概率确认机制的MAC协议具有更好的接入控制效果和节能效率。

4. The motivation for probability access mechanism概率接入机制的研究动机 • 大部分基于竞争的MAC协议都是基于CSMA/CA（载波检测多径/冲突避免）的 • WSN的通信是事件驱动的。在事件发生的地点，一群节点检测到事件，从而产生突发的集体广播。因此，通信碰撞很严重，节点接入媒体（无线信道）很困难，一大批数据会丢失。 • 分析表明，针对WSN典型的通信模式，基于竞争的MAC协议存在以下问题：

5. The motivation for probability access mechanism概率接入机制的研究动机 • 1. RTS/CTS机制：RTS/CTS机制只是用在大部分基于竞争的MAC协议的单播通信中解决隐藏终端问题。因为RTS/CTS增加了通信开销，协议通常只在传输长消息包时使用这个机制。然而WSN的测量和控制数据包都很短。因此使用RTS/CTS的代价很高。另外，RTS/CTS机制不适用在广播模式的基于竞争的MAC协议中。而WSN的主要通信方式是广播。如果在同一时间同一范围内节点传输数据，冲突时间越大，节点接入媒介的几率越小，造成数据丢失。这种情况经常发生，因为WSN特征是大规模、高密度、突发通信。因此广播模式中的包冲突是主要问题。

6. The motivation for probability access mechanism概率接入机制的研究动机 • 2. 接收确认机制：大部分基于竞争的MAC协议采用接收包的确认机制，保证数据包的成功接收。但是，它不适合于支持广播通信模式中的确认包ACK的传输。 • 由于上述的问题，在WSN中实施基本的接入功能是困难的。我们尝试在广播模式中加入RTS/CTS机制。仿真结果表明RTS/CTS包导致了网络额外的负担，网络性能改善甚微，甚至恶化。另外，在广播模式中适用单播的确认机制，所有目的接收到数据的节点都回馈ACK数据包给源节点。这种协调的MAC协议称为BA MAC，它困难导致大量的ACK包，影响系统性能。需要提出新的保证可靠广播通信的机制。

7. Adaptive probability access mechanism自适应概率的接入机制 • 根据上文的分析，本节提出一种自适应概率接入机制。在广播通信模式中，接收广播数据包的节点决定是否回传确认包，并适用可适应的调节机制动态优化确认的概率。基于这种概率接入机制的MAC协议叫做p-BA MAC。这种概率接入机制可以分两步：初始化确认概率，和动态调整确认概率。下文将对这两步进行讨论。

8. Acknowledgement probability initialization确认概率的初始化（第一步） • 在网络初始化阶段，每个节点计算一个概率，邻居节点接收到广播数据后根据这个概率来发送ACK数据包。 • 具体的确认概率的计算如下： • 设WSN的覆盖范围是如图的矩形，里面有n+1个节点均匀分布。对于一个节点i(x,y)来说，它的通信半径内节点的统计是一个典型的二项分布。它的邻居数见（1）式。

9. Acknowledgement probability initialization确认概率的初始化（第一步） • 明显，理想的ACK确认概率需要保证只有一个邻居节点传输ACK包。因此，这种协议不仅保证可靠的广播数据包的传输，而且降低了网络负担。 • 初始的确认概率定义为（2）式。

10. Acknowledgement probability initialization确认概率的初始化（第一步） • 在网络运行阶段，发送节点按照概率接入机制运行，有如下步骤： • 1. 在网络初始化其间每个节点计算回复ACK包给它的邻居的概率Pi。 • 2. 在广播模式下，节点携带参数Pi在数据包上，请求接收到该数据包的邻居节点回复ACK包。

11. Acknowledgement probability initialization确认概率的初始化（第一步） • 在网络运行阶段，接收节点按照概率接入机制运行，有如下步骤： • 接收到广播包的节点首先根据均匀分布在[0,1]间产生一个随机数rnd，然后计算rnd和确认概率Pi。如果rnd<Pi则传送ACK包，否则不回传ACK包。

12. Acknowledgement probability adjustmentbased on window确认概率根据窗口调整（第二步） • 初始的确认概率是一个静态的数值，不一定适合实际的网络。而且，随着网络运行，拓扑变化，这些都会影响接入机制的效果。 • 可见，协议应该支持动态调整确认概率的功能。这里提出一种基于窗口的动态确认概率调整机制。 • 如果在一个窗口中出现太多数据包接收到多确认包，确认概率应该降低；如果在一个窗口中太多数据包没有接收到确认包，确认概率应该增大。

13. Acknowledgement probability adjustmentbased on window确认概率根据窗口调整（第二步） • 调整因子B如右式定义 • 在网络运行阶段，发送节点根据下面的步骤执行确认概率的动态调整机制： • 1. 在传输窗口开始时，设置确认概率为Pi=Pi×B • 2. 在传输窗口中根据Ac和Ct记录传输和确认情况 • 3. 在传输窗口结束时，根据上文所述的调整策略重新计算调整因子B，然后重复上面步骤。

14. Simulation results • *代表p-BA MAC协议；o代表BA MAC协议， □代表CSMA/CA协议。 • 图a、b、c分别采用Flooding、Spin和DD路由算法。可见CSMA/CA在Flooding和Spin中完全不能起作用。虽然CSMA/CA有较好的收敛时间和能量效率。

15. Conclusions • 本文中，总结了基于竞争的MAC协议在WSN中的不足，并提出了一种概率接入机制。仿真结果表明改进的MAC协议适用于WSN，并且表现更好。 • 目前，WSN信道接入技术的研究并不成熟，需要更多的研究工作。一些基于竞争的WSN MAC算法/协议增加了睡眠机制，但并不能很好解决问题。所以我们的工作集中于新的MAC算法的研究，提出更适合于WSN的协议。

16. 一种无线传感器网络的动态协调的MAC协议

17. Abstract • 本文中，我们设计了一种基于竞争的无线传感器网络的动态协调的MAC协议（AC-MAC）。为了应付实际应用中的负载变化，AC-MAC在S-MAC基础上引入动态的工作周期策略。本协议的新颖之处在于它在大范围的流量负载下提高了延时和吞吐率，但保持了像S-MAC一样的能耗效率。我们通过在WSN上广泛的仿真来证明这个改善的AC-MAC协议。我们的仿真结果表明在重负荷下S-MAC（固定工作周期）性能恶化，而AC-MAC可以在使延时和吞吐率保持于经典的IEEE802.11 MAC的指标的情况下达到跟S-MAC意义的能耗效率。

18. Introduction • WSN节能技术关注以下几个方面： • 1. 动态地协调发送范围来减少单位包的能耗； • 2. 减少需要传送的数据量； • 3. 在不活跃期间关闭节点天线模块； • 最新的研究表明节能的MAC协议关键的问题是“可适应”，包括以下两方面： • 1. 拓扑可适应性； • 2. 流量可适应性；

19. Introduction • 本文关注MAC层，我们实现了第二点的“流量可适应性”。S-MAC协议采用周期性的侦听/睡眠调度，AC-MAC引入了自适应的工作周期来适应于流量负载。S-MAC牺牲了其他重要的指标如吞吐率、时延等来达到节能效果，而改善的协议AC-MAC在节能、吞吐率和时延之间取得平衡。

20. AC-MAC Protocol Design • 动机：S-MAC的不足 • S-MAC引入固定周期的侦听/睡眠机制来减少能耗，在活动侦听时期用RTS/CTS机制来启动数据传输. • 但S-MAC的duty cycle是固定的，侦听/睡眠周期固定，需要在具体应用之前仔细地设定这些参数，否则网络会出现无法忍受的大延时和很低的吞吐率。 • S-MAC的设计者引入了自适应侦听机制，在每个数据传输完毕后不立即睡眠，而是再侦听一小段时间，以捕捉即时的突发传输，来减少时延。但S-MAC固有的结构限制了它的更大的灵活性。 • 因此，以S-MAC作为基础，AC-MAC提供流量自适应的机制。

21. AC-MAC Protocol Design • 同步和虚簇： • S-MAC的侦听期间，包括SYNC和RTS/CTS部分。前者是用于同步的，后者才是协商连接通信。见下式。 • 这样的SYNC同步形成了一个所谓的“虚拟簇”，即由SYNC协调到的具有同一调度周期的节点形成一个簇，而不用全网达到同一调度。

22. AC-MAC Protocol Design • 自适应的工作周期（duty cycle） • 动态协调工作周期是AC-MAC关键的策略，以适应流量负载。前提是它不干扰节点间已经建立的侦听/睡眠调度，因为达到这个同步需要在初始化的时候付出很大的代价。AC-MAC使用在MAC层队列的数据包来指示流量负载。根据这个流量信息，AC-MAC可以为一个基本的S-MAC周期通信提供一个可适应的机会。AC-MAC的适应性工作周期策略见下图：

23. AC-MAC Protocol Design • 多少工作周期需要填充到以前基本的工作周期当中，这个决定初始是由单独的节点按照下面的方法计算的： • 对于一个节点i，队列在MAC层的数据包为Ni，可以映射到一个数值Ri=f(Ni)，其中f(.)是一个跟具体应用有关的方程，它表示有多少节点需要传输数据。每个插入的工作周期包含一个固定的RTS/CTS时间和一个根据Ri变化的睡眠时间。这样，我们知道Ri，那插入的工作周期就可以如下计算：

24. AC-MAC Protocol Design • Ri的值的范围受一个工作周期时间的限制。可见，最小的Ri应该为1，使AC-MAC保持跟S-MAC一样的过程。对于大的Ri，随着Ri增大，睡眠周期相应减少，因为RTS/CTS时间是固定的。 • 如果在一个工作周期数据传输的时间小于等于Tdata，那最大的Ri可以由下式导出：

25. AC-MAC Protocol Design • 为了保持S-MAC基本的调度，Ri只能在每个工作周期开始时改变。然后，节点会通过RTS/CTS数据包告诉邻居节点。 • 当节点i获得机会发送RTS数据包时，它会把Ri值附加到RTS包中，因此单跳之内的所有节点都学习到Ri。对于目标接收节点，当它接收到RTS包后，会把Ri附加到CTS包，来传播单跳之内的新的工作周期。 • 必须注意的是在一个基本的工作周期内，一个节点只能接收一个R值。这样，所有节点可以跟从一个同一的新的工作周期了。因此，可适应的工作周期算法是在每个基本的工作周期的基础上插入的。

26. Simulation Study • 仿真中对比了AC-MAC和S-MAC和IEEE802.11 MAC。 • 在最新版的NS-2平台中已经实现了S-MAC和IEEE802.11 MAC协议。本文在这个基础上拓展了AC-MAC协议进行实验。 • 实验模型是一个11个节点组成的线性网络。 • Fig 4表明平均的点对点时延，AC-MAC表现比S-MAC好。

27. Simulation Study • Fig 5表明，对于点对点吞吐量,AC-MAC比S-MAC大。 • Fig 6表明，对于能耗，AC-MAC与S-MAC基本一样。

28. Conlusion • 为了在能耗、时延和吞吐量之间达到平衡，我们改善S-MAC，提出AC-MAC，引入了根据流量负载可适应的工作周期策略。仿真结果表明相比于S-MAC，AC-MAC在大范围的流量负载下达到了比较好的时延和吞吐量性能，同时保持了跟S-MAC一样的能耗效率。

29. RL-MAC: a reinforcement learning basedMAC protocol for wireless sensor networksRL-MAC：一种无线传感器网络的基于增强学习的MAC协议

30. Abstract • 本文介绍了RL-MAC，一种新颖的自适应的无线传感器网络MAC协议，采用了一种增强学习机制。现有的机制集中于调度节点的活动/睡眠周期来减少能量消耗。最近的协议采用自适应的工作周期来进一步改善能量利用。然而，在大部分情况下每个节点根据自身的流量负载来决定工作周期。本文中，节点使用一种基于增强学习的控制机制来推断其他节点的状况，从而在大范围的流量情况下达到高吞吐量和低能耗。而且，这个策略的计算复杂性适中，也显示了它的实用性。

31. Introduction • WSN中节能是关键。其中空闲侦听是主要的能源浪费。为了解决这个问题，许多适合于WSN的MAC协议，包括S-MAC(Ye et al., 2002)和T-MAC(Dam and Langendoen, 2003)。这些协议调度节点进入睡眠模式来最小化能耗。但是，大部分协议中每个节点作为本身的流量负载的功能来决定工作周期，从而限制了网络总体的性能。 • 本文的主要贡献是：提出一种改善的策略，捕捉几个适合于MAC层的动态性的参数，设计了一个基于增强学习（RL）方式的实用算法，来学习一个接近最佳的MAC协议策略。关键在于节点除了要考虑其他节点的流量负载，还要积极推测其他节点的状态。这种策略的适应性WSN的动态拓扑应用。这个改善的策略简易，自组织。

32. Related work • 最近，一些适应于WSN的MAC协议被提出，包括T-MAC,P-MAC。这些协议都基于S-MAC提出，来达到更好的能源利用率，并优化信道使用。但是，在大部分协议中，一个节点关注于考虑自身的信息。本文我们使节点间接得推测其他节点状态，作为它们的决策过程的一部分。这样，整个网络的介质接入效率得到了提高。

33. Related work • S-MAC • T-MAC • P-MAC：它采用根据自身和它的邻居节点的流量的睡眠/侦听调度策略。两个主要不足：前提的假设是预测信道使用要求的信息要预先得到，当考虑WSN高度的动态性时，这是一个有问题的假设。另外，算法的计算复杂度大，限制了它在能源吝惜的节点平台中实用。

34. Markov decision process and RL methods马尔可夫过程（MDP）和RL（增强学习）方法 • An MDP (Bertsekas and Tsitsiklis, 1996) is defined as a (S,A,P,R) tuple, where S stands for the state space, A contains all the possible actions at each state, P is a probability transition function S × A × S → [0, 1] and R is the reward function S × A → R. Also, we define π as the decision policy that maps the state set to the action set: π : S → A. Specifically, let us assume that the environment is a finite-state, discrete-time stochastic dynamic system. Let the state space S be S = (s1, s2,..., sn) and, accordingly, action space A be A = (a1, a2,..., am).. The goal for the RL agent is to maximise the expected discounted reward or state-value... • 在Q-学习过程中，a learned action value function Q directly approximates Q∗ through value iteration.相对地，Q值的更新规则如下公式： • 在下节中，我们列MAC能耗优化方程，作为一个MDP（马尔可夫过程）。我们会表明通过仔细确定the reward function和the RL algorithm，一个接近最佳的媒介接入算法可以得到。

35. RL-MAC protocol design • RL-MAC采用了跟S-MAC和T-MAC相似的基于帧的结构。最大的特点是我们的协议中，活动时间和工作周期都是随着节点的流量负载和它的输入流量特征动态变化的。 • 如下图：时间被分为帧，而每帧再分为时槽（finer time slots）。时槽的长度由信道带宽和数据长度决定。在每帧的开始处，RL代理（RL agent）作为这个MAC协议的主节点，动态地预约时槽作为活动时间。在活动时间，节点侦听信道，试图跟邻居节点交换数据包。当一个预约的活动时间超时，节点停止收发，进入睡眠状态。 • 我们接下来定义协议的 关键部分，特别强调RL 的上下文。

36. Active time reservation活动时间的预约 • 一个理想的MAC协议如果完全知道节点和所有邻居的流量可以设计理想的媒介接入策略。由于对一个节点来说这些信息并不可得到，我们就采用一些估算。我们的方法就基于这个前提，同时我们把活动时间的预约问题作为一个MDP（马尔可夫过程）（formulate the active time reservation problem as an MDP）. • 我们的RL代理的目标是：首先，努力最大化一个能效因子，它是有效的传输/接收时间跟总的预约活动之间的比率。第二，它要最大化吞吐量。

37. Reward function formulation • 我们接下来讨论the reward functions defined和用来使代理节点学习最优的媒介接入控制策略的算法。 • 能耗和吞吐量都是非常重要的，不希望以不可接受的吞吐量的代价来减少能耗。因此预约的活动时间应该是节点流量负载情况的函数。

38. Early sleeping avoidance“早睡问题”的避免 • 早睡问题是当节点进入睡眠模式而邻居节点仍然需要传输数据的时候发生的。节点进入睡眠后，就不再侦听信道，失去了这个时候发给它的数据，或导致数据发送延时。 • 为解决早睡问题，我们使RL代理适应于入端的流量情况，在数据包头部加了一个4bit的域，称为FAIL_ATTEMPT，表示数据包由于接收点早睡而经历的延时。换句话，这个域提供了信息给接收节点，它根据此来进行调整。

39. The Q-learning algorithmQ-学习 算法 • 在学习过程中，在每帧的结束，RL代理评定时间的差异，更新Q值，根据the E-greedy method (Sutton and Barto, 1998)选择下个活动。使用这种方法，代理根据最大的Q值和概率E选择活动。

40. Overhearing and collision avoidance串音和冲突避免 • 跟S-MAC类似的串音避免机制也在RL-MAC中使用了。不同的是，S-MAC中当一个节点侦听到发给该节点的邻居的RTS or CTS信息后就进入睡眠，直到下个工作周期。而我们的协议中，节点只在CTS包中说明的时间内睡眠，如果预约的活动时间没过期就醒来准备可能的收发。

41. Simulation results

42. Conclusions • 本文关注无线传感器网络的MAC问题，优化吞吐量和最小化能耗。我们使用了一种RL算法来解决提到的问题。The RL framework assumes an underlaying MDP, which使节点推测网络中其它节点的状态，来动态地优化MAC策略。我们的协议提供了很高的吞吐量和很高的能量利用率，即使在高流量负载的情况下。

43. 谢谢！