基于Hadoop集群的节能优化技术研究

【摘要】：计算机集群的广泛应用给人们带来方便的同时，也带来了能耗问题，如何有效地利用能源，降低不必要的能耗已成为一个迫切需要解决的关键问题。作为目前最热门的海量数据处理框架，Hadoop被部署到越来越多的集群上。但是Hadoop却一直没有引入节能的特性，因此对Hadoop集群的节能优化技术进行研究是非常有必要的。 基于现有的研究成果，结合Hadoop本身的机架感知特性和副本存放策略，提出了根据集群的负载情况调整集群规模来改善集群能源利用率的节能方案。节能方案为集群添加两个功能模块：集群负载监控模块和集群规模调整模块。负载监控模块负责监控集群的利用率，当监控到利用率过高或过低时会通知集群规模调整模块对集群规模进行调整。集群规模调整模块包含两个重要的算法：退役节点算法和重用节点算法，集群利用率过低时会启动退役节点算法，通过退役节点来减少集群中活跃节点数量，以提高集群能源利用率，集群利用率过高时会启动重用节点算法来增加集群活跃节点数量，以提高集群对任务请求的响应速度。 通过使用GridSim工具包来对系统进行仿真实验，实验中对比了未使用节能策略的集群状态和应用节能策略的集群状态，验证了退役节点算法和重用节点算法确实能够根据集群的负载来改变集群的规模，实验结果表明在算法执行过程中可以使集群节能30%以上。 【关键词】：集群 节能优化 存储系统 规模调整 利用率
【学位授予单位】：华中科技大学
【学位级别】：硕士
【学位授予年份】：2013
【分类号】：TP333
【目录】：

• 摘要4-5
• Abstract5-6
• 目录6-8
• 1 绪论8-14
• 1.1 课题研究的背景与意义8-9
• 1.2 课题的来源9
• 1.3 国内外的研究现状9-12
• 1.4 本文主要内容安排12-14
• 2 基于 Hadoop 的节能技术初探14-24
• 2.1 Hadoop 框架简介14-16
• 2.2 机架感知和副本存放16-19
• 2.3 集群节能技术19-23
• 2.4 本章小结23-24
• 3 Hadoop 集群节能优化算法设计24-45
• 3.1 总体设计24-25
• 3.2 集群的负载指标25-27
• 3.3 集群负载监控模块27-30
• 3.4 集群规模调整模块30-44
• 3.5 本章小结44-45
• 4 仿真实验及结果分析45-55
• 4.1 仿真实验环境45-47
• 4.2 实验结果分析47-52
• 4.3 集群能耗分析52-54
• 4.4 本章小结54-55
• 5 全文总结与展望55-57
• 5.1 全文总结55-56
• 5.2 研究展望56-57
• 致谢57-58
• 参考文献58-62

您可以在本站搜索以下学术论文文献来了解更多相关内容

基于在线负载预测的动态集群节能配置策略    刘斌;杨坚;赵宇;

服务器与集群系统节能技术研究    王军;冯铃;薛文伟;

我国数据中心能耗及能效水平研究    谷立静;周伏秋;孟辉;

面向云数据中心的能耗管理    柳运昌;杨二瑞;许建霞;

绿色数据中心能源效率评价研究    倪静;王振全;易久;苏艳;

基于统一资源管理的超级计算机系统节能方案    田宝华;蒋句平;李宝峰;张晓明;屈婉霞;

模块化冷池在数据中心的研究与运用    王颖;

基于MCC的自适应混沌序列预测算法仿真    马文涛;张蒙;赵芳玲;

计费系统负载模型的研究与应用    徐健;

一种基于排队模型和差分进化算法的Web集群节能部署方案    熊智;刘卫军;崔张伟;

云计算环境下软硬件节能和负载均衡策略    钱育蓉;于炯;王卫源;孙华;廖彬;杨兴耀;

虚拟化数据中心全局能耗优化调度方法    阮顺领;卢才武;

能耗感知的绿色数据库研究综述    金培权;邢宝平;金勇;岳丽华;

WMSNs在云计算中心节能减排中的关键技术研究    刘航

云计算系统中索引与查询处理技术研究    王金宝

基于移动P2P的分布式存储和传输机制研究    姜春茂

非对称多核处理器的若干调度问题研究    陈锐忠

面向网络服务器集群的节能机制研究    刘斌

面向云计算中心效能优化的负载平衡方法    易星宇

云计算下基于虚拟机迁移、负载均衡的能耗优化算法研究    冯文芳

热管复合空调机组用模式转换装置研发    周德海

云计算虚拟资源优化分配的研究    曾智斌

刀片服务器监控管理系统设计与实现    乔英良

云环境中虚拟机迁移策略的研究    欧阳晟

多租户SaaS应用快速构建与部署方法    潘颖

云数据中心基于超图的存储优化节能算法研究    谢其扬

面向能耗优化的数据中心资源动态调度模型与方法    齐文艳

数字可视电话系统中的G.168回声消除技术    王心一;沈庭芝;王晓华;

变步长NLMS自适应滤波算法研究    倪锦根;李锋;

基于LMS的网络流量预测    高文宇;李绍华;

寻求网中最优点算法    王培泉

遗传模拟退火算法在冲裁件优化排样中的应用    雷贺功,孙厚芳,刘汉雄

基于聚类算法的零售业CRM数据挖掘的应用    张秋霞

八点算法的降维EVD技术    杨忠根,姜桂祥,任磊

一种崭新的维特比译码器找点算法的VHDL实现    陈坚,汪东旭

DDBMS的并发控制技术——主路点算法及其分析    李群;吴忠明;张传顺;

局部空间离群点算法的改进及其实现    胡彩平;秦小麟;任韧;

高精度的圆数字微分分析器    洪涛;

一个基于AOP的Bean锁算法    黄强;李敏;楼新远;

数据挖掘中GridLOF算法的研究与改进    王新旭;黄立文;

关于无网格方法中撒点算法    王瑞利;倪国喜;林忠;

凸二次规划问题的一种内点算法    盛玉红;热西达;

面向大规模科学计算的三维Delaunay快速插点算法    刘岩;关振群;张洪武;张占群;

一类DC规划的全局收敛性算法研究    高雷阜;刘旭旺;

爆炸力学数值模拟中有限元模型讨论    陈敏;隋允康;阳志光;

灰度/深度图象序列的三维空间内插——一种新的计算机图象生成技术    王新成;朱维乐;朱晓昆;顾德仁;

基于k中心点的迭代局部搜索聚类算法    吴景岚;朱文兴;

一种利用边界测量估计网络内部链路流量的模型    谷上宇;赵国锋;唐红;

网络中的节点权重及其物理意义    吴亮;朱士群;

一种基于改进K-Medoids算法的网络攻击检测技术    田小丽;郑康锋;钮心忻;

节点,“网聚能力”的基石    北京军区某集团军 许林平

系统对抗与节点对决    章庆 中国人民解放军南京军区装备部

节能优化技术    虞万荣 徐为

从体系破击节点的选择说开去    蔡俊许海 尹峰松

推进“一号工程”贯通“三大节点”    本报记者 林琳郭秀玉

川化股份启动合成氨优化技改项目    特约记者 张星芒

九江石化 节能从细节做起    特约记者 袁新文记者 江慧

九江石化努力探索精细节能    袁新文

TD手机开始大规模加载3G业务    孙琎

借名承揽生纠纷 苦果难咽咎自取    章丽丽

利用径向基函数进行微分方程数值解的动点算法研究与应用    高钦姣

金属及岩土冲击动力学问题的物质点法研究    黄鹏

凸优化和单调变分不等式的一些分裂算法及其计算复杂性研究    蔡邢菊

增广拉格朗日型算法及其在图像处理中的应用    张文星

移动无线传感器网络复制节点攻击检测协议的研究    邓晓明

Hilbert空间非线性优化问题之迭代方法    王丰辉

Banach空间中广义方程的迭代解法    Mohammed Harunor Rashid

无线网络中保证覆盖连通的节点部署问题研究    廖卓凡

流体力学方程与扩散方程有限点方法的若干研究    孙顺凯

无线传感器网络环境中节点布置问题研究    车楠

基于Hadoop集群的节能优化技术研究    王哲

聚类分析中K-均值与K-中心点算法的研究    吴文亮

基于等势点算法的M-J分形集的研究    赵旭东

电力系统动态安全域边界性质的研究    闵亮

面向SNS的社会网络数据抓取与经验性分析    陈宗利

有源RFID以及定位系统的研究和实现    赵斌

基于WSN的海洋环境监测系统中的数据采集子系统    郭雨

ISP辅助的P2P资源管理问题的研究    孙建

基于节点交互的狙击手定位算法研究与交互接口设计    傅中华

具有自免疫功能的P2P节点及其仿真实现    岳晓雯