分布式块存储系统节能技术研究

【摘要】：随着大数据时代的来临，数据中心要存储或处理的数据的规模急剧攀升，因此有必要对现有数据中心进行扩容或者建造更多大规模数据中心，伴随而来的是能耗的大幅增长。在能源紧缺的今天，能耗问题已经成为数据中心面临的最大挑战。继性能、可靠性之后，能耗参数正成为衡量存储系统优劣的另一重要指标。分布式块存储系统已经成为构建数据中心的典型方式，因此研究分布式块存储系统节能技术，具有重要意义。 从芯片级到磁盘级，从阵列级到集群级，目前存储系统已经有一些节能技术的研究成果，但往往具有一定的局限性。一般来说，节能技术主要通过冗余、多转速、缓存、不平衡负载等手段来实现。针对多副本机制的分布式块存储系统，基于现有的节能技术，综合了辅助节点技术、一致性哈希技术、虚拟节点技术，并巧妙地运用了分区副本策略，彻底规避了其他节能技术通常会面对的最小全覆盖问题。基于以上技术，对开源的“牧羊犬”系统进行了改进，实现了可节能的分布式块存储系统。改进后的块存储系统为全对称无中心结构，依赖corosync管理集群节点，采用epoll机制处理事件请求。 通过对原系统和改进后的系统进行相同负载下的测试对比，证明改进后的系统的确可以在较小性能损耗的情况下达到较理想的节能效果。但目前系统还存在自动化程度较低等问题，还需要进一步改进。 【关键词】：分布式块存储系统 分区策略 多副本机制 全覆盖
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-6
• 目录6-8
• 1 绪论8-12
• 1.1 课题背景8-9
• 1.2 国内外研究现状9-10
• 1.3 研究目的和内容组织10-12
• 2 存储系统节能技术12-24
• 2.1 背景知识12-17
• 2.2 磁盘级存储节能技术17-19
• 2.3 阵列级存储节能技术19-22
• 2.4 集群级存储节能技术22-23
• 2.5 本章小结23-24
• 3 分布式块存储节能方案的设计24-35
• 3.1 设计目标24
• 3.2 关键问题24-25
• 3.3 分区策略25-28
• 3.4 辅助节点28-30
• 3.5 节点管理和数据放置策略30-32
• 3.6 虚拟节点32-33
• 3.7 分布式块存储节能方案整体设计33-34
• 3.8 本章小结34-35
• 4 分布式块存储节能方案的实现35-49
• 4.1 Deem 整体架构35-36
• 4.2 工作线程与工作队列36-38
• 4.3 Deem 启动流程与事件触发机制38-40
• 4.4 节能实现40-48
• 4.5 本章小结48-49
• 5 仿真与性能分析49-59
• 5.1 测试环境49-51
• 5.2 测试流程51-52
• 5.3 工作负载52
• 5.4 测试结果与分析52-58
• 5.5 本章小结58-59
• 6 总结与展望59-61
• 6.1 工作总结59-60
• 6.2 展望未来60-61
• 致谢61-62
• 参考文献62-65

您可以在本站搜索以下学术论文文献来了解更多相关内容

磁盘存储系统节能技术研究综述    田磊;冯丹;岳银亮;吴素贞;毛波;

基于逻辑卷副本整合的节能存储技术研究    王峰;刘洋;

组合盘节能缓存替换机制    杨良怀;周健;龚卫华;陈立军;

混合S-RAID:一种适于连续数据存储的节能数据布局    刘靖宇;郑军;李元章;孙志卓;王文明;谭毓安;

基于SAN环境下的磁盘阵列仿真系统研究    徐辉;李先国;

S-RAID5:一种适用于顺序数据访问的节能磁盘阵列    李元章;孙志卓;马忠梅;郑军;谭毓安;

浅析计算机磁盘存储系统节能技术    孙英新;

服务器性能测试与能效研究    毛兴江

分布式内存数据库数据冗余分配研究与应用    周波

面向大型成套设备的分布式监测诊断系统    李东晓,刘世元,史铁林,杨叔子

机械设备分布式诊断专家系统的任务描述与分解    陈培林，史铁林，韩西京，杨叔子

感受互动的魅力——徐光祐教授谈新一代分布式多媒体信息系统    郭弘

基于Agent的分布式地理信息系统研究    罗英伟

分布式数字城市结构的设想    胡颖

大型工厂主要电力设备的计算机监控系统    康尔良;吕生;

SFF-8070i在USB块存储通讯中的实现    陈赵阳,孙庚

基于WEB的分布式电子文献传递系统设计与实现    张会田;

一种可扩展的分布式VoD系统    左琪,李善平

泵群监控系统的开发    袁士强 ,余宗宝

构建分布式声纳信号处理系统    张德明;

基于代理的分布式入侵检测系统中网络代理的相关技术研究    刘辉兰;李陶深;葛志辉;

分布式有序表中一种有效的在线计划批量插入方法    韩希先;李建中;

分布式并网发电系统孤岛检测方法综述    郭柯;代璐;周林;

配电网中实现小电流接地选线一种方案    李其莹;张洪霞;

建立分布式防护的安全体系    周详;王龙明;

分布式路由器级拓扑发现技术研究    高长寿;陈定方;郭蕴华;周丽琨;

基于移动Agent的0-1背包问题分布式求解    乔善平;朱波;赵玲;

一种分布式VOD管理方案    林然;

分布式CORS服务平台的设计与原型系统的开发实现    张红娟;刘晖;唐健;钱闯;

做分布式呼叫中心    晓京

分布式能源技术研讨会在京召开    记者 张磊

分布式ISA防火墙与服务器的配置    盖俊飞 林楠

IONA：分布式SOA四两拨千斤    刘轶轩

中兴通讯分布式“3G”服务    

分布式文件系统趋向成熟    国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚

构建分布式文件系统    国防科学技术大学计算机学院软件所 董勇 周恩强

IP分布式呼叫中心 让企业驶离信息孤岛    李芸 星际网络公司

韩分布式超级计算机年底诞生    记者邰举

分布式文件系统的历史与现状    国家高性能计算机工程技术研究中心 黄华 杨德志 张建刚

分布式网络地理信息系统研究    王宇翔

基于多Agent的分布式CAPP及工艺信息管理研究    董红军

基于构件的分布式防汛信息系统框架研究    娄渊胜

仪用主从耦合分布式并行处理容错系统体系结构研究    刘峰

分布式水文模型理论与方法研究    王加虎

基于数据挖掘的分布式网络入侵协同检测系统研究及实现    傅涛

分布式虚拟环境建模研究    唐秋华

分布式同步发电机的孤岛检测原理与实现    侯梅毅

分布式信息压缩算法研究    朱旭琪

分布式地震数据库系统的研究与实践    周克昌

分布式块存储系统节能技术研究    刘磊

基于IP网的分布式视频会议系统的研究与实践    薛沛林

分布式多层应用系统及其安全控制的研究与应用    严芬

基于网络的分布式测试系统开放式架构研究与实现    王雄

分布式数字监控系统及其在安全生产管理中的应用    李佐儒

基于Web服务和CORBA的分布式网络管理体系结构研究    郑大志

一种分布式入侵监测系统的研究    黄鲲

移动计算分布式路由算法研究    刘涛

基于.Net的企业级分布式并行模型设计与实现    李锐

分布式视频服务器的技术研究与实现    洪涌辉