190 likes | 442 Views
基于回归分析的 VoD 视频流行度预测的研究. 刘源 专业:计算机应用技术 导师:王宗敏 指导老师:李润知. 主要内容. 背景介绍 回归分析 方法 流行度预测 方法 实验数据采集 数据处理与分析 缓存替换算法 总结与下一步工作. 背景介绍. 现状 当前网络视频流量约占互联网总流量的八成 网络 视频占用存储空间大,支持视频 VOD 对带宽、延迟要求高 当视频服务遇见云 服务 可 灵活调整 的 存储空间 可 灵活 调度的视频数据. 背景 介绍( 2 ). 问题 :在分布式云存储中,各站点为它所处在域的用户提供 服务,而站 点 的储存空间和带宽资源 有限
E N D
基于回归分析的VoD视频流行度预测的研究 刘源 专业:计算机应用技术 导师:王宗敏 指导老师:李润知
主要内容 背景介绍 回归分析方法 流行度预测方法 实验数据采集 数据处理与分析 缓存替换算法 总结与下一步工作
背景介绍 • 现状 • 当前网络视频流量约占互联网总流量的八成 • 网络视频占用存储空间大,支持视频VOD对带宽、延迟要求高 • 当视频服务遇见云服务 • 可灵活调整的存储空间 • 可灵活调度的视频数据
背景介绍(2) • 问题:在分布式云存储中,各站点为它所处在域的用户提供服务,而站点的储存空间和带宽资源有限 • 需要预取可能会流行的视频 • 需要对视频流行度的研究 • 需要缓存替换算法,替换掉“过时的”视频
回归分析方法(1) • 衰减函数法[5]: • 回归分析法 • 统计学上分析数据的方法,主要是希望探讨数据之间是否有一种特定关系,目的在于找出一条最能够代表所有观测资料的函数 • 回归模型:将因变量和一个关于自变量和未知参数的函数关联起来。 • 参数估计:最小化残差平方和
回归分析方法(2) • 几种常见的回归模型 • 线性: • 指数型: • 幂型: • 相加型: • 指数和指数相加型: • 指数和幂相加型:
流行度预测 • 预测视频流行度的几种策略 • 固定的回归模型(FRS): • 可以更新的回归模型 (CRU): • 参考历史数据的固定回归模型(HU[3]): 其中 • 参考历史数据的可以更新的回归模型 (CRHU[3]) :
数据采集 • 土豆网的视频开放平台 • 可以通过URL命令来获取返回结果 • 通过查询,获得视频的Codes集 • 获取视频信息http://api.tudou.com/v3/gw?method=item.info.get&appKey=myKey&format=xml&itemCodes=oR16C1xZDRM&ceiling=10 • 通过Tiny XML解析器的接口提取播放次数 • 按时间与播放次数对应的格式存入文本文件 • 获取了土豆网20个分类2000多个视频两个月的播放次数(每天两次)
数据处理(1) • 用MATLAB对数据文本文件进行处理、分析 • 获取新增请求次数:总播放次数相减
数据处理(2) 数据去周期化:
数据分析 由数据计算出几种不同类型的回归模型函数 计算出标准化残差平方和 选出回归模型
缓存替换算法 • 基于流行度增益的缓存替换算法 • 考虑当前流行度 • 考虑流行度变化趋势 • 总缓存增益 • 替换算法流程 • 计算给定媒体对象的缓存增益 • 能容纳下要缓存的文件时,删除缓存中增益最小的文件 • 将要缓存的文件存入缓存
总结 几种回归模型 对流行度预测的几种策略 获取视频网站上视频播放次数信息的一种方法 对播放次数数据进行处理、分析 一种基于流行度预测的缓存替换算法
下一步工作 • 改进缓存替换算法 • 计算其复杂度 • 与其他算法进行对比优劣 • 进行模拟验证 • 验证缓存替换算法是否能在线动态预测
参考文献 [1]B.Hayes,Cloud computing[J].Communications of the ACM,2008,51(7):9-17 [2]郭红方,视频点播内容分发关键技术研究[D],郑州大学,2012:83-85 [3] http://zh.wikipedia.org/wiki/回归分析 [4]Ng, D.M.P.; Wong, E.W.M.; Ko, K.T.; Tang, K.S.,"Trend analysis and prediction in multimedia-on-demand systems,"Communications, 2001. ICC 2001. IEEE International Conference on, vol.4, no., pp.1292-1298 vol.4, 2001 [5]“tudou”,http://www.tudou.com [6]Jin S, Bestavros A. Popularity-aware Greedy Dual-size Web Proxy Caching Algorithms[C]//Proceedings of ICDCS. 2000-06.
Q&A 请各位老师、同学提问! 感谢您提出的宝贵意见!