1 / 14

2011-10-21

百灵. 2011-10-21. 百灵框架. 应用模式 Random R/W ，对于写入操作有实时性要求，即新写入的数据立即可见； Random R/W ，写入操作没有实时性要求，新写入的数据在一段时间后可见； Sequential R/W 。. BDDB. 单机设计目标 大容量 数据存储，容量为 10TB ，数据条数 20 亿以上； 结构化 数据存储，每一份数据为一条记录 record ，支持增、删、改、查、扫描等操作； 支持记录的 按序 或无序存储；

missy
Download Presentation

2011-10-21

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. 百灵 2011-10-21

  2. 百灵框架

  3. 应用模式 Random R/W，对于写入操作有实时性要求，即新写入的数据立即可见； Random R/W，写入操作没有实时性要求，新写入的数据在一段时间后可见； Sequential R/W。 BDDB

  4. 单机设计目标 • 大容量数据存储，容量为10TB，数据条数20亿以上； • 结构化数据存储，每一份数据为一条记录record，支持增、删、改、查、扫描等操作； • 支持记录的按序或无序存储； • 提供高I/O吞吐率，除了查询导致的随机读，增、删、改、扫描的throughput在100MBps以上，即性能只与数据总量有关，而与记录大小无关。

  5. 数据块管理 A Big Virtual File by Blocks

  6. 记录组织方式

  7. 基于日志的存储 • Random IO  Sequential IO

  8. Commit

  9. 2-level Indexing

  10. BDDB • Random IO  Sequential IO

  11. 恢复 Crash 1 2 3 4 5 6

  12. 缓冲系统FIFO

  13. 固定的入口，屏蔽了内部的结构变化；通过多份冗余，提供高可靠性。固定的入口，屏蔽了内部的结构变化；通过多份冗余，提供高可靠性。 为上游模块提供了一个永不阻塞的入口，隔离了下游故障或调整而带来的影响。 单入口、多下游，方便系统扩展。 支持token认证 ，可将非法访问阻挡在系统外围。 模块独立，方便移植。 FIFO特点

  14. Thank you

More Related