40 likes | 167 Views
抽象存储系统 LaUDStore. 贡献了什么? 面向 P2P 存储架构三类数据存储接口的内存与传输稳定与优化 数据流、字节数组、本地文件路径 支持 LaUD 系统上层各模块运行 特征提取、文本检索、 LaUD 引擎、 LaUD Web 服务 全面压力测试给出上传 / 下载性能平均 >5M/s 大数据上传下载最高速可达网速上限. 抽象存储系统 LaUDStore. 做了什么? 改善底层数据丢失、不一致的问题 提高可用性 系统不宕机 抽象出简单统一的存储访问接口,提高易用性 以流、字节数组、文件路径的形式上传 / 下载数据
E N D
抽象存储系统LaUDStore • 贡献了什么? • 面向P2P存储架构三类数据存储接口的内存与传输稳定与优化 • 数据流、字节数组、本地文件路径 • 支持LaUD系统上层各模块运行 • 特征提取、文本检索、LaUD引擎、LaUD Web服务 • 全面压力测试给出上传/下载性能平均>5M/s • 大数据上传下载最高速可达网速上限
抽象存储系统LaUDStore • 做了什么? • 改善底层数据丢失、不一致的问题 • 提高可用性系统不宕机 • 抽象出简单统一的存储访问接口,提高易用性 • 以流、字节数组、文件路径的形式上传/下载数据 • 将KV store的烦琐调用接口简化 • 额外提供跨CF删除整行的功能 • 提供了存储层的统一配置文件 • 提供基于Gzip的数据压缩功能 • 完善连接资源的管理 • 将MapReduce迁移到抽象存储系统LaUDStore • 为MapReduce提供基于LaUDStore的抽象文件系统 • 基于LaUDStore数据分布的MapReduce任务分片实现
LaUDStore性能测试结果 最高网速 5MB/S 小文件