【SQL开源代码栏目提醒】:文章导读:在新的一年中,各位网友都进入紧张的学习或是工作阶段。
网学会员整理了SQL开源代码-Hadoop分布式文件系统_HDFS_可靠性的研究与优化_翟永东 - 硕士论文的相关内容供大家参考,祝大家在新的一年里工作和学习顺利!
分类号 学号 M200871965学校代码 1 0 4 8 7 密级 硕士学位论文 Hadoop 分布式文件系统HDFS 可靠性的研究与优化 学 位 申 请 人 : 翟永东 学 科 专 业 :
计算机系统结构 指 导 教 师 :周敬利 教授 答 辩 日 期 :2011-01-17A Thesis Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering Research and Optimization of Reliability of Hadoop Distributed File System Candidate : Zhai Yongdong Major : Computer Architecture Supervisor : Prof. Zhou Jingli Huazhong University of Science amp Technology Wuhan 430074, P.R.China January 2011 独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。
尽我所知,除文中已经标明引用的内容外,本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。
对本文的研究做出贡献的个人和集体,均已在文中以明确方式标明。
本人完全意识到本声明的法律结果由本人承担。
学位论文作者签名: 日期: 年 月 日 学位论文
版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定,即:学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。
本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。
保密□, 在 年解密后适用本授权书。
本论文属于 不保密□。
(请在以上方框内打“√”) 学位论文作者签名: 指导教师签名: 日期: 年 月 日 日期: 年 月 日 摘 要 随着云计算和云存储逐渐被业界所接受,越来越多的企业和研究机构都开始使用 Hadoop 来开发各自的云存储架构体系,主要包括 Yahoo!,Facebook 和 IBM 等。
由于 Hadoop 处理过程主要是通过 Hadoop 分布式文件系统HDFS来实现的,因此对HDFS 的研究成为很多公司来架构各自云存储和云计算系统的基础。
因此,针对 HDFS 的处理过程以及其自身的数据备份机制进行了详细的研究。
虽然,HDFS 自身具有很好的数据备份机制,可用于提高数据的安全性和可用性。
但是,由于只有一个元数据服务器结点 NameNode,这就造成了系统的单点失效问题。
通过实现一种基于 Paxos 一致性算法的分布式系统来解决元数据服务器的单点失效问题,并设计了一种选举机制来提高系统的安全和性能。
在设计了选举机制以后,系统中所有的元数据服务器分为 Leader 和 Follower 两种角色。
其中,一台元数据服务器作为 Leader,其它的作为 Follower 来工作。
Leader 需要通过选举机制选出,作为系统中特定的 acceptor 和 learner 来工作,用于协调和同步所有元数据服务器的工作。
对有 N 台元数据服务器的系统来说,可以实现最多 N 1 / 2 台元数据服务器的失效,很适合用于大规模的系统中。
通过测试结果可知,只要系统中有 N/21 台元数据服务器能够正常工作,系统就可以持续地工作。
并且,Follower 失效对系统的性能影响不大,主要是在恢复的时 而候需要与 Leader 进行数据的同步。
Leader 失效对系统的影响较大,主要是在 Leader失效后需要运行选举机制来重新选出新的 Leader。
当系统中少于 N/21 台服务器存活的情况下,系统将会停止运行。
关键词:分布式文件系统,一致性算法,单点失效,双机热备 I Abstract As rapidly growing of new produced data the security and computing performanceof data have been given more and more consider. So many new technologies occurred inrecent years. And Cloud Storage and Cloud Computing are the newest research direction. More and more companies and research institutions have chosen to use Hadoop tobuild their Cloud Storage an