P4P：P2P产业可持续发展的必经之路

1. P4P：P2P产业可持续发展的必经之路 谢海永 博士，首席研究员 美国分布式计算工业联盟(DCIA) P4P工作组 (P4P Working Group) haiyong.xie@openp4p.net

2. Outline • Problem Statement • Requirements and Challenges • The P4P Framework • Objective • Architecture • Performance • P4P Working Group • History, Structure • Next Steps 2 P4P、 P2P、BT互联网视频产业研讨会

3. P2P Bandwidth Usage CacheLogic Research Internet Protocol Breakdown 1993 - 2006 • Traffic • Up to 60-70% of Internet traffic is contributed by P2P applications [CacheLogic] • Random peering causes traffic spread across PoPs and domains • Problems • Increased network resource usage (e.g., using bandwidth of more links) • Increased network operational costs • Degraded performance of other applications 3 P4P、 P2P、BT互联网视频产业研讨会

4. Bandwidth Battle ISPs Approaches Upgrade network infrastructure Deploy P2P caching devices Terminate user connectivity Rate-limit P2P traffic …… P2P Countermeasures • Use random ports • Hide by using well-known ports • Encrypt traffic • …… Government • Network Neutrality The battle results in a lose-lose situation 4 P4P、 P2P、BT互联网视频产业研讨会

5. The Fundamental Problem • Traditional ISP feedback/controls to application traffic: • Routing • Rate control through congestion feedback (e.g., packet loss) • These are ineffective for P2P • P2P traffic is highly dynamic and scattered, due to dynamic, unguided (network-oblivious) peer selection • Need a mechanism for ISPs to communicate with P2P about network structure and policies 5 P4P、 P2P、BT互联网视频产业研讨会

6. Solution: 堙堵 or 疏导 ？ • 问题：当尧之时，天下犹未平。洪水横流，泛滥于天下。草木畅茂，禽兽繁殖。禽兽逼人，兽蹄鸟迹之道交于中国 • 方法一：堙堵。鲧堙洪水，汨陈其五行。帝乃震怒，不畀其洪范九畴，彝伦攸。鲧则殛死，禹乃嗣兴 • 方法二：疏导。禹疏九河，沦济漯而注诸海，决汝汉排淮泗而注之江，然后中国可得而食也。当是时也，禹八年于外，三过家门而不入，虽欲耕，得乎 P4P、 P2P、BT互联网视频产业研讨会

7. Solution Requirements & Challenges • Efficiency • ISPs: better network utilization • P2Ps: higher performance • End-users: better experiences • Nation: less expenses in upgrading infrastructure 7 P4P、 P2P、BT互联网视频产业研讨会

8. Solution Requirements & Challenges • Extensibility • Universally applicable to most P2P architectures • Tracker-based and trackerless P2P systems • Easily extensible to handle application-specific requirements • File sharing vs. streaming, • Commercial vs. non-commercial • Allow easy entry of new applications 8 P4P、 P2P、BT互联网视频产业研讨会

9. Solution Requirements & Challenges • Scalability • Support a large number of P2P users and networks in dynamic settings • Support fine-grained feedbacks among ISPs and P2Ps 9 P4P、 P2P、BT互联网视频产业研讨会

10. Solution Requirements & Challenges • Economics • Allow profit for both ISPs and P2Ps • sustainable economical growth • Allow equal power in the eco-system • sustainable technological innovation • Allow competitions, prevent monopoly 10 P4P、 P2P、BT互联网视频产业研讨会

11. Solution Requirements & Challenges • Privacy • Preserve ISPs’ sensitive information • Preserve P2Ps’ private information • Session, content • user IDs, user behaviors 11 P4P、 P2P、BT互联网视频产业研讨会

12. Standardization • Standardization should take into account • Sufficient space for economical growth • ISPs can recover from financial loss • P2P can fairly and efficiently utilize the network while being independent • Sufficient space for evolution of Internet technologies • Both ISPs and P2Ps can form and pursue their own technology paths • Encouraging fast adoption • Allowing and encouraging competition 12 P4P、 P2P、BT互联网视频产业研讨会

13. P4P • “Proactive Provider Participation in P2P” • Partnership among ISPs and P2P networks • Framework for explicit communications among ISPs and P2P networks • “Pay for Performance” • Providers expose capabilities to serve demands of P2P networks • P2P vendors maintain competitive advantages 13 P4P、 P2P、BT互联网视频产业研讨会

14. P4P Objectives • A framework to enable better ISP and P2P coordination • Guided network utilization benefits both sides • Improve throughput / performance to P2P users • Allow ISPs to better manage networks • Reduce number of links transited by content • Push traffic from undesirable (expensive) links to more desirable (inexpensive) links • Reduce the need for upgrading infrastructure, control financial costs 14 P4P、 P2P、BT互联网视频产业研讨会

15. P4P Enables Efficient Delivery Traditional CDN P2P P4P Internet Transit Regional Routers Edge Network More Viewers = Better performance Lower cost More Viewers = Worse performance Higher cost NETWORK AWARE P2P will reduce costs, improve performance 15 P4P、 P2P、BT互联网视频产业研讨会

16. P2P P4P Architecture ISP A • Providers • Publish information via P4P Service Access Point (SAP) • Applications • Query information via P4P SAPs • Adapt themselves accordingly P4P SAP P4P SAP ISP B P4P、 P2P、BT互联网视频产业研讨会

17. P4P: ISP Benefits • Industry Solution • Create cooperative win-win solutions to an industry issue • Solve the problem before we have to cope with the problem • Carrier-Grade P2P • Opportunity for new services • What if fastest path from A to B is P2P? 17 P4P、 P2P、BT互联网视频产业研讨会

18. P4P Benefits: Reduce Transit Cost 无P4P优化 P4P优化 从外部流入网络的流量降低73% 从外部流出网络的流量降低54% P4P、 P2P、BT互联网视频产业研讨会

19. P4P: P2P Benefits • P2P Applications with P4P benefits • Improve P2P application performance • Video continuity of streaming • Faster downloads for users • …… • Decrease incentives for ISPs to “manage” P2P traffic 19 P4P、 P2P、BT互联网视频产业研讨会

20. 149% P4P提高下载速度百分比 26% 21% 13% 8% 10% 30% 50% 90% 70% 用户累计百分比 P4P Benefits: Improve Download Rates 所有用户：P4P提高P2P文件下载速度达40%。 宽带用户：P4P提高P2P文件下载速度达300-500%。 P4P、 P2P、BT互联网视频产业研讨会

21. P4P Benefits: Summary 未使用P4P优化 使用P4P技术优化 P4P极大改善网络效率 21 P4P、 P2P、BT互联网视频产业研讨会

22. P4P Working Group: History • 06/2006 – 12/2006 • Dr. Xie initiated and proposed P4P, laid the theoretical foundations, and evaluated its effectiveness • 05/2007 • Dr. Xie presented P4P results in a P2P conference in New York City • 07/2007 • Dr. Xie initiated the P4P Working Group (P4PWG) with Laird Popkin and Doug Pasko • 1st P4PWG meeting was held in New York City • 08/2007 – 12/2007 • Expanding P4PWG coverage to telcos, P2Ps, content providers, router vendors, etc • 01/2008 – 04/2008 • Dr. Xie initiated and led 1st large-scale field test, w/ Pando, Telefonica & Verizon. • Verizon/Telefonica/Pando press-released results and announced support for P4P • P4P and the results were being reported in world-wide press • 06/2007 – 08/2008 • Dr. Xie et al. initiated and led 2nd large-scale field tests P4P、 P2P、BT互联网视频产业研讨会

23. P4P Working Group: Structure P4P工作组 DCIA 联席主席 首席研究员 Telco sub-group Wireless sub-group Hardware sub-group Live P2P sub-group …… Spec sub-group P4P、 P2P、BT互联网视频产业研讨会

24. P4P Working Group: Members LimeWire Manatt Oversi Pando Networks PeerApp Solid State Telefonica Group Velocix VeriSign Verizon Vuze University of Toronto Univ of Washington Yale University AT&T Bezeq Intl BitTorrent Cisco Systems Comcast Grid Networks Joost Abacast AHT Intl AjauntySlant Akamai Alcatel Lucent CableLabs Cablevision Comcast Cox Comm Exa Networks Cisco Juniper Networks Huawei Microsoft Level 3 Communications Limelight Networks NBC Universal Nokia Orange 21ViaNet RawFlow RSUC/GweepNet SaskTel Solana Networks Speakeasy Network Stanford University Thomson Time Warner Cable Turner Broadcasting UCLA 24 P4P、 P2P、BT互联网视频产业研讨会

25. Next Steps • Production deployment of P4P • OptiNetworks • On-going trials • File sharing: Pando and Solid State Networks • Streaming: Abacast and Livestation • IETF standardization P4P、 P2P、BT互联网视频产业研讨会

26. P4P、 P2P、BT互联网视频产业研讨会

27. 互联网P2P优化管理标准体系 侯自强

28. P2P优化管理标准体系

29. 事前 事中 事后 • 缓存监看 • 行为审计 • 统一编目 • 发布审查 内 容 • 实时监看 • 流量疏导 • 缓存优化 • 流量分析 • 用户分析 流 量 • 分域管理 P2P优化管理标准结构 两个层面、三个阶段 全面覆盖P2P管理需求

30. 标准意义 • 通过标准和自律的形式，调和产业链中现有矛盾，变恶性循环为良性循环，创造多赢的产业环境，推动中国互联网应用技术快速发展。 • 为将来国家更好的实现对互联网的管理和利用，提供基础技术保障和标准支撑。 • 利用标准力量，化解矛盾，构建和谐！

31. 标准推进方式 • 自下而上，抓住产业链核心矛盾，提炼共性需求，优化产业环境的同时满足政府管理需求 • P2P优化管理标准前期将依托互联网协会，联合网络运营商、P2P应用服务商、内容提供商，以行业自律的方式推进，优化产业环境，推动产业健康发展。 • 未来计划与国家相关部门合作，利用行业自律形成的基础，为政府治理互联网提供有力的技术支撑手段。

32. 设计原则 • 轻量化 • 应保持原有P2P协议不变 • 支持管理和不支持管理的客户端之间互通不受影响 • 灵活性 • 应支持运营商根据需求和成本，灵活调整部署方案 • 应支持peer引导、流量代理、流量缓存等多种流量优化功能 • 应支持自治域的分级管理，协助P2P厂商分级别、分层次管理peer的互联行为 • 私密性 • P2P厂商不需要开放其私有协议细节给运营商 • 运营商不需要直接开放其拓扑信息给P2P厂商 • 开放性 • 应支持普适性系统框架，可支持各种不同类型的P2P协议 • 应支持标准化设备在网络中的即插即用和自动发现，避免复杂配置 • 全面性 • 应支持形成覆盖全互联网的整体管理方案 • 低成本 • 应支持较低的系统部署成本和渐进式的实施方案

33. Domain Detecting Protocol (DDP) • 支持自治域发现与优化的P2P管理协议—DDP • 一套轻量级的协议流程 • 附加于现有P2P协议，不改变原有协议 • 一套开放式的系统框架 • 自动发现、即插即用，以P2P厂商与运营商协同的方式运行 • 一套标准化的管理接口 • 支持基于内容、用户、区域的流量及内容管理 • 一套全局化的互联标准 • 支持跨域组网和互联，提供全网优化管理支撑

34. DDP系统组成 • PPR（P2P流量重定向实体，P2P Redirector） • 部署在运营商自治域内部 • 维护所在域的拓扑信息，并通过标准化的接口及协议，引导域内P2P客户端优化互联 • 通过标准化的接口及协议，管理所在域内存在的P2P代理缓存设备 • PPC（P2P缓存代理实体，P2P Cache） • 部署在运营商自治域内部 • 在PPR的管理下，实现P2P协议的代理或者缓存功能

35. 利用DDP实现单域P2P流量管理 P2P用户 Internet DDP控制信令 P2P协议 www.ddp.org PPR PPC 城域网 DNS

36. 国内骨干网 省级骨干网 利用DDP实现全局分级P2P流量管理 www.ddp.org PPR www.ddp.org PPR www.ddp.org PPR 城域网 DNS

37. 审查/监看 查询/审计 控制 利用DDP实现单域P2P内容监控 Internet www.ddp.org PPR PPC 城域网

38. 安全监管部门 内容版权部门 利用DDP实现全局P2P内容监管 Internet

39. PPR实现 • PPR功能 • 维护由运营商提供的本域拓扑信息 • 收集所有上级PPR地址信息，形成层次结构并向用户返回 • 对外提供统一的服务端口和协议，接受不同P2P协议客户端发来的标准peer请求，根据掌握的本域拓扑信息，引导peer互联 • 管理对应的PPC代理缓存模块，并引导peer连接PPC • 接受peer提交的信息，向运营商或监管部门提交统计信息 • 接受管理控制命令，提交指定的统计信息，并控制本域内容及用户行为 • 参与域间动态组网 Interface to Peer PPC control Domain Info DHT networking Policy Peer Exchange Optimizer Interface to PPC Interface to DHT Interface to Controller

40. PPC模块结构 Interface to Peer • P2P协议代理缓存模块 • 由P2P厂商按照标准自行开发 • 在服务管理模块的管理下，完成代理或缓存功能 • 单台设备可以同时运行多个协议模块 • 支持一个协议由多台设备集群式提供服务 • 服务管理模块 • 接受PPR管理，启动相应的服务模块 • 接收PPR发来的控制命令，控制对应模块运行 • 收集必要的信息，供统计使用 其他 私有协议 BT eMule … Service Management Module Interface to PPR

41. PPR www.ddp.org 注册&控制 DDP渐进式部署 Internet PPC DNS

42. DDP时序图

43. DDP实施部署可行性 • 整体方案支持渐进式灵活部署 • PPR • 部署位置灵活 • 可以支持各种不同结构的P2P协议 • PPC • 可以由运营商、P2P厂商、第三方服务商部署 • 渐进式部署，即插即用、自动发现 • 解决产业矛盾的同时满足国家需求 • 单域DDP系统的部署可以有效解决运营商网络优化管理问题 • 分级化管理域支持，自然实现全域P2P流量优化 • DHT自动组网，借助已部署的DDP系统满足国家监管需求

44. DDP方案优点 协议轻量化 易于实现 系统部署成本可控渐进式实施 部署方案灵活 分级管理 优点 协作方式运行 消除应用与网络之间的隔阂 全局化管理方案具备标准监控管理接口 开放式框架 即插即用 自动发现 自由增减 配置简单

45. DDP系统开发及标准化进展 • 目前，DDP原型技术由中科院声学所及东方网信公司共同开发完成，已在全国多家运营商部署 • 信标委P2P标准化工作组已经成立，秘书处设在信息产业部电子标准化所 • 在信产部电子标准化所组织下，DDP相关标准草案正在联合研究制定中

46. 谢谢！