数据⽅方⾈舟-构建云平台的TimeMachine服务
•彭晶鑫（UCloud块存储研发经理理）
•UCloud数据⽅方⾈舟介绍
Agenda
•UCloud数据⽅方⾈舟基础架构
•数据⽅方⾈舟的应⽤用实践
•数据⽅方⾈舟的未来规划
•UCloud数据⽅方⾈舟介绍
Agenda
•UCloud数据⽅方⾈舟基础架构
•数据⽅方⾈舟的应⽤用实践
•数据⽅方⾈舟的未来规划
UCloud数据⽅方⾈舟介绍
•提供块设备连续数据保护（CDP)的产品。
•为UCloud云硬盘/UCloud云主机提供CDP能⼒力力。
UCloud数据⽅方⾈舟特性 •可以将块设备回滚⾄至12⼩小时内任⼀一秒，24⼩小时内任⼀一个⼩小时，3天内任⼀一个零点。
•可以将块设备从12⼩小时内任⼀一秒，24⼩小时内任⼀一个⼩小时，3天内任⼀一个零点复制到新的块设备。
•可以制作快照。
•不不关⼼心上层是什什么应⽤用。
块设备传统备份及恢复流程•⼿手动或者定期对块设备制作快照，例例如每天03:00制作⼀一个快照。
•故障或者操作不不当写⼊入脏数据（14:56分）回滚⾄至03:00。
•从03:00到14:56分所有的有⽤用数据全都丢失。
UCloud数据⽅方⾈舟恢复流程 •故障或者操作不不当写⼊入脏数据（14:56:56）回滚⾄至14:56:46 •故障或者操作不不当写⼊入脏数据（14:56:56）将14:56:46秒的状态Clone⾄至新的块设备/主机 •UCloud数据⽅方⾈舟介绍 Agenda •UCloud数据⽅方⾈舟基础架构 •数据⽅方⾈舟的应⽤用实践 •数据⽅方⾈舟的未来规划 UCloud数据⽅方⾈舟基础架构 NetDiskIO接⼊入 LocalDiskIO接⼊入 实时IO存储层 IOMinorMerge存储层 IOMajorMerge存储层 UCloud数据⽅方⾈舟基础架构 IO接⼊入层:将⽹网络盘/本地盘的写IO实时转发⾄至服务后端实时IO存储层。
实时IO存储层:负责云平台下块设备的实时IO写的存储。
IOMinorMerge存储层:从实时IO存储层拉取数据，并进⾏行行合并计算⽣生成分钟或者⼩小时级别粒度的增量量数据。
IOMajorMerge存储层:从IOMinorMerge存储层拉取数据，并进⾏行行合并计算⽣生成天级别粒度的base数据或者增量量数据。
UCloud数据⽅方⾈舟的挑战 •云平台下⼤大量量的随机IO写•IO数据任⼀一点不不能丢失•流量量突增过载问题•后端存储成本 •UCloud数据⽅方⾈舟介绍 Agenda •UCloud数据⽅方⾈舟基础架构 •数据⽅方⾈舟的应⽤用实践 •数据⽅方⾈舟的未来规划 硬件选型 •为了了应对不不同的IO需求，数据⽅方⾈舟采取了了分层的架构设计。
•实时IO存储层选型SSD。
•IOMinorMerge存储层和IOMajorMerge存储层选型SATA,并在 程序设计上充分使⽤用顺序读写发挥SATA的顺序IO能⼒力力 容量量问题•单个接⼊入实例例的IOPS容量量。
•单个接⼊入实例例的带宽容量量•单个接⼊入实例例的磁盘容量量 单个实例例的负载超过其⾃自身容量量时–在线动态迁移⾄至其它实例例 云平台下⼤大量量随机写 •实时IO存储层对于⼤大量量块设备来说是随机写操作，采⽤用随机写能⼒力力更更强的SSD。
•实时IO存储层对于同⼀一个块设备进⾏行行IOJournal的append操作•IO接⼊入层可将1s内的IO合并为⼀一个请求转发给后端。
IO数据不不能丢失 •任何⼀一份数据（实时IO数据，Minor数据，Major数据）采⽤用主副本双份存储。
•⽹网络波动/后端服务重启IO流队列列•实时IO接⼊入层容量量问题（IOPS撑不不住，实时Journal容量量不不⾜足） 后端存储成本•采⽤用Base数据+增量量数据的存储⽅方式。
•实际存储⽂文件进⾏行行压缩 后端存储⽂文件格式 0-1G寻址范围 BlockheaderBlockheader BlockDataBlockData Blockheader …BlockData … N-1-NG寻址范围 Blockheader BlockData Blockheader BlockData Blockheader …BlockData 按容量量划分set,按set部署和运营 SetManager Set1 DiskIO接⼊入 Setn DiskIO接⼊入 实时IO存储层IOMinorMerge存储层IOMajorMerge存储层 ……… 实时IO存储层IOMinorMerge存储层IOMajorMerge存储层 •UCloud数据⽅方⾈舟介绍 Agenda •UCloud数据⽅方⾈舟基础架构 •数据⽅方⾈舟的应⽤用实践 •数据⽅方⾈舟的未来规划 未来半年年规划•RTO加速（1T盘半⼩小时可以恢复完成，测试中，3⽉月份全⾯面上线） •更更智能的IO流接⼊入层调度（更更好的保障IO流不不会因容量量问题中断） Q&
A
•为UCloud云硬盘/UCloud云主机提供CDP能⼒力力。
UCloud数据⽅方⾈舟特性 •可以将块设备回滚⾄至12⼩小时内任⼀一秒，24⼩小时内任⼀一个⼩小时，3天内任⼀一个零点。
•可以将块设备从12⼩小时内任⼀一秒，24⼩小时内任⼀一个⼩小时，3天内任⼀一个零点复制到新的块设备。
•可以制作快照。
•不不关⼼心上层是什什么应⽤用。
块设备传统备份及恢复流程•⼿手动或者定期对块设备制作快照，例例如每天03:00制作⼀一个快照。
•故障或者操作不不当写⼊入脏数据（14:56分）回滚⾄至03:00。
•从03:00到14:56分所有的有⽤用数据全都丢失。
UCloud数据⽅方⾈舟恢复流程 •故障或者操作不不当写⼊入脏数据（14:56:56）回滚⾄至14:56:46 •故障或者操作不不当写⼊入脏数据（14:56:56）将14:56:46秒的状态Clone⾄至新的块设备/主机 •UCloud数据⽅方⾈舟介绍 Agenda •UCloud数据⽅方⾈舟基础架构 •数据⽅方⾈舟的应⽤用实践 •数据⽅方⾈舟的未来规划 UCloud数据⽅方⾈舟基础架构 NetDiskIO接⼊入 LocalDiskIO接⼊入 实时IO存储层 IOMinorMerge存储层 IOMajorMerge存储层 UCloud数据⽅方⾈舟基础架构 IO接⼊入层:将⽹网络盘/本地盘的写IO实时转发⾄至服务后端实时IO存储层。
实时IO存储层:负责云平台下块设备的实时IO写的存储。
IOMinorMerge存储层:从实时IO存储层拉取数据，并进⾏行行合并计算⽣生成分钟或者⼩小时级别粒度的增量量数据。
IOMajorMerge存储层:从IOMinorMerge存储层拉取数据，并进⾏行行合并计算⽣生成天级别粒度的base数据或者增量量数据。
UCloud数据⽅方⾈舟的挑战 •云平台下⼤大量量的随机IO写•IO数据任⼀一点不不能丢失•流量量突增过载问题•后端存储成本 •UCloud数据⽅方⾈舟介绍 Agenda •UCloud数据⽅方⾈舟基础架构 •数据⽅方⾈舟的应⽤用实践 •数据⽅方⾈舟的未来规划 硬件选型 •为了了应对不不同的IO需求，数据⽅方⾈舟采取了了分层的架构设计。
•实时IO存储层选型SSD。
•IOMinorMerge存储层和IOMajorMerge存储层选型SATA,并在 程序设计上充分使⽤用顺序读写发挥SATA的顺序IO能⼒力力 容量量问题•单个接⼊入实例例的IOPS容量量。
•单个接⼊入实例例的带宽容量量•单个接⼊入实例例的磁盘容量量 单个实例例的负载超过其⾃自身容量量时–在线动态迁移⾄至其它实例例 云平台下⼤大量量随机写 •实时IO存储层对于⼤大量量块设备来说是随机写操作，采⽤用随机写能⼒力力更更强的SSD。
•实时IO存储层对于同⼀一个块设备进⾏行行IOJournal的append操作•IO接⼊入层可将1s内的IO合并为⼀一个请求转发给后端。
IO数据不不能丢失 •任何⼀一份数据（实时IO数据，Minor数据，Major数据）采⽤用主副本双份存储。
•⽹网络波动/后端服务重启IO流队列列•实时IO接⼊入层容量量问题（IOPS撑不不住，实时Journal容量量不不⾜足） 后端存储成本•采⽤用Base数据+增量量数据的存储⽅方式。
•实际存储⽂文件进⾏行行压缩 后端存储⽂文件格式 0-1G寻址范围 BlockheaderBlockheader BlockDataBlockData Blockheader …BlockData … N-1-NG寻址范围 Blockheader BlockData Blockheader BlockData Blockheader …BlockData 按容量量划分set,按set部署和运营 SetManager Set1 DiskIO接⼊入 Setn DiskIO接⼊入 实时IO存储层IOMinorMerge存储层IOMajorMerge存储层 ……… 实时IO存储层IOMinorMerge存储层IOMajorMerge存储层 •UCloud数据⽅方⾈舟介绍 Agenda •UCloud数据⽅方⾈舟基础架构 •数据⽅方⾈舟的应⽤用实践 •数据⽅方⾈舟的未来规划 未来半年年规划•RTO加速（1T盘半⼩小时可以恢复完成，测试中，3⽉月份全⾯面上线） •更更智能的IO流接⼊入层调度（更更好的保障IO流不不会因容量量问题中断） Q&
A
声明：
该资讯来自于互联网网友发布，如有侵犯您的权益请联系我们。