【PHP开源代码栏目提醒】:本文主要为网学会员提供“校园网“网络硬盘”服务系统 - 其它资料”,希望对需要校园网“网络硬盘”服务系统 - 其它资料网友有所帮助,学习一下!
北京工业大学 硕士学位
论文校园网“网络硬盘”服务系统 级别:硕士 专业:软件工程 指导教师:张建高远 20090501 摘要 摘要 随着“教育信息化建设工程”的深入,校园网这一现代化的信息高速公路,在高校师生员工的教学和生活中发挥着无可替代的作用。
校园网的覆盖范围和便利性,使用户日常数据存储方式演变到了一种新的模式:网络存储。
这种新的存储方式避免了原始存储方式的弊端,用户可以通过网络随时保存、下载或是共享自己的数据。
但高校校园网具有用户多、覆盖范围广、数据量大、子网划分多、子网间
通信频繁和网络利用率不断提高等特点,传统的网络存储技术如Email、网上邻居等无法很好的满足用户需要。
基于Web的商业“网络硬盘”虽然功能完善,但由于校园网环境的特性和网络出口的限制,无法直接发挥太大的作用,需要将“网络硬盘”服务移植到校园网内并且做适当的优化。
本文的研究来源于河北科技师范学院“网络硬盘”服务系统的建设。
首先结合学院校园网用户的特点和应用需求,对校园网存储解决方案进行了较为深入的研究,并设计一个功能完善、界面友好、简单易用的网络硬盘系统,并且在此基础之上,针对高校校园网内网络存储服务高并发、高数据量、高吞吐量的特点,设计该服务的性能优化方案。
系统的优化是本文研究工作的重点。
“网络硬盘”服务系统的工作主要由三个子系统承担:Web服务子系统、数据库服务子系统和数据存储子系统,对系统的优化工作也将围绕这三个方面进行。
首先,通过对各子系统的研究和分析,找出影响性能的关键因素,并且查阅大量的资料,研究服务的优化策略和方法;然后,采用探索式测试方法优化配置参数,通过对系统进行各项优化策略的实验和检测,提出性能优化系统的设计方案,并最终实现。
关键词:网络硬盘;系统测试;性能优化 北京T业人学T程硕lj学化论丈 Abst ract The modem information superhighway of Campus network plays allirreplaceable role in teaching and life to College faculty and students With the depthof”education information construction project”.That campus Network coverage andconvenience Allows the user day-to-day date storage evolute to a new pattern:network storage.The new storage approach avoids the drawbacks of the originalstorage,Users can save、download or share their own date at any time through thenetwork.But the campus network features of many user、Covering a wide range、largeamount of date、many subnetting、frequent communication Numberer-subnet andcontinuously improve network utilization,and SO on,traditional network storagetechnology such as Email、the Numberemet neighbors can not meet userneeds.Although the function of business”network hard drive”based on web isperfect,However,because of the characteristics of the campus network environmentand export restrictions of network,it is unable to exert much effect directly,so we needtransplante”network hard drive”service to the campus network and make theappropriate optimization. This study if from the Building of’network hard drive”service system of HebeiNormal University of Science and Technology.First of all,combined with the USer’Scharacteristics and application needs of college campus network,depth study isconducted on the campus network storage program,and designs a fully functional,friendly numbererface,easy-to-use network hard drive system,and on thisbasis,designing performance optimization program of the service for thecharacteristics of network storage service with high—concurrency in campus network、high date volume、high-throughput. System optimization is the focus of this paper.”Network hard drive”servicesystem consists of three subsystems:web services subsystem、datebase servicessubsystem and date storage subsystem,optimizing the system also will focus on thesethree aspects.Firstly,Identifying the key factors of impacting performance throughresearch and analysis to every sub—system,and accessing to substantialinformation,studeying the optimization strategies and methods to II 捅费services;and,optimizing the configuration parameters through exploratory testingmethods,proposing the design program of performance optimization system throughexperimental and testing of all optimization strategies to system,and ultimatelyachieve. Key Words:Network Hard Drives;System Testing;Performance Optimization IIl 独创性声明 本人声明所呈交的
论文是我个人在导师指导下进行的研究工作及取得的研究成果。
尽我所知,除了文中特别加以标注和致谢的地方外,
论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料。
与我一同工作的同志对本研究所做的任何贡献均已在
论文中作了明确的说明并表示了谢意。
签名:≤五fz 日期:墨誓:∑ 关于
论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位
论文的规定,即:学校有权保留送交
论文的复印件,允许
论文被查阅和借阅;学校可以公布
论文的全部或部分内容,可以采用影印、缩印或其他复制手段保存
论文。
虢亟巫聊躲亟笪垒∈.哩竺韭 第1章绪论 第1章绪论1.1背景与意义 随着信息时代的到来,用户个人数据的数据量急速膨胀,很多人的的工作、生活离不开计算机数据,特别是高校用户群,教师的
课件、素材、文档资料,学生的作业的电子文档等等,都需要频繁使用,这就意味着数据的携带方式成为计算机应用中很重要的一个环节。
这几年计算机数据的携带方式经历着快速的变迁,从软盘、刻录光盘到U盘、移动硬盘。
但这些存储方式又有各自的不足:软盘数据承载量小并且易损坏、R/W光盘只能一次性写入、可擦写光盘代价高昂、u盘容量不足、USB硬盘携带不便等等。
特别是近些年来,伴随着网络技术的发展,特别是这几年开始的“教育信息化建设工程”,计算机网络己成为高校办学的基础设施和必备条件。
校园网的应用渗入到了学校活动的方方面面,覆盖范围在从教学办公区,到职工生活区,再到学生宿舍区,甚至是覆盖到了住在校外的教职工。
用户所使用的计算机不再是信息孤岛,校园网的高速率、高效、便捷等特征,使用户在原有的数据的移动存储方式之外有了新的选择——网络存储。
传统的数据携带方式方式被网络存储方式取代的趋势已是不可替代。
校园网一般能具备高带宽,现在国内高校的网络至少是千兆骨干、百兆到用户,这就为用户进行大量数据的网络存储和共享创造了极好的条件。
现有的网络存储方式主要有网上邻居、FTP、Email和外网的网络硬盘服务等,但对于校园网这一特殊的应用环境,这些网上信息存储方式也有各自的不足:网上邻居效率低下而且安全隐患极多;FTP服务界面简陋,非
计算机专业的人使用有一定困难;Email服务对单个附件大小限制严格。
这就需要有一种容易被大家接收的新的网络存储方案满足大家的需求——“网络硬盘”服务。
“网络硬盘”是近几年发展起来的网络存储解决方案,它是一块专属的网络存储空间,用户通过Web方式登录网站,可方便上传、下载文件,而独特的分享、分组功能更突破了传统存储的概念。
与其他网络存储产品相比,“网络硬盘”界面简单,使用方便,维护简单,不受地域、硬件条件等制约等特点。
北京T业人学T狸硕Ij学位
论文 1.2研究现状 “网络硬盘”在当前是一种新兴起的网络服务,它是一种虚拟的网络存储空间,通过网络和Web界面来管理和使用远程硬盘空间,可用于传输、存储、下载和备份计算机数据文件。
与传统的存储方式相比,网络硬盘具有稳定安全,基于B/S架构设计,使用方便,维护简单,不受地域、硬件条件等制约,价格较低等特点,被人们接受。
据中国互联网络信息中心于2005年7月发布的第16次《中国互联网络发展状况统计
报告》〔11显示,仅在我国近5000万网络即时通讯业务的使用者(占全国1.03亿网民的44.9%)中,就有约1600万的用户经常使用或明确表示期望使用网络硬盘业务。
而且近几年
网络硬盘还有高速发展的趋势,国内几个著名的网络服务提供商都将网络硬盘作为增值服务推出,例如网易、腾讯等,也有专门推出网络硬盘服务的网站,例如Vdisk等。
而国外的网络硬盘服务的出现出就更早了,例如MSN、FileDen等。
“网络硬盘”服务在学校也是有很大的用途,随着现代化教学手段的应用,计算机己成为教师上课的必备工具,同时它也是教师与学生交流的桥梁,如学生提交
作业、下载教学资料等。
目前,教师与学生之间进行文件传输的途径主要有:FTP传输、E.mail附件、网上邻居。
FTP传输虽然功能强大,但FTP服务器端需要烦琐的设置;把要传输的文件作为E.mail的附件发送虽然可行,但速度慢,而且受邮箱容量的限制;使用网上邻居传输文件受地理范围的限制。
解决这些问题的最好办法是使用网络硬盘。
只要用户具有相关权限,即可在任何时间任何地点通过浏览器方式管理自己的空间,如创建文件夹、删除文件夹、上传文件、下载文件以及删除文件等。
对高校校园网环境来说,外网的“网络硬盘’’服务的作用有限,首先是因为这些服务都处在校园网出后之外,使用这些服务会占用宝贵的校园网出口的带宽,一般校园网计费的方式通常是校园网内流量免费,校园网外的流量会收取费用;其次,校园网出口带宽有限,并不适合传输较大的文件;第三,这些免费的网络硬盘所提供的空间极其有限,不能满足高校这一用户群体的需求。
第1章绪论1.3研究内容与目标 本人参与了河北科技师范学院校园网内“网络硬盘”服务系统的建设,负责的主要
工作内容如下: (1)设计满足校园网用户功能需求的“网络硬盘”服务系统 主要包括“网络硬盘”服务系统的用户需求分析、整体方案设计、软件结构设计、数据库系统设计和系统界面设计。
(2)“网络硬盘”服务系统性能评价 主要包括建立性能评价指标体系和性能测试方法和工具的选型两部分内容。
对系统进行评价的目的主要包括以下几个方面:检查系统的目标、功能及各项指标是否达到设计要求;检查系统的质量;检查系统使用效果;检查评审和分析的结果,找出系统的薄弱环节,提出改进意见。
通过对各子系统的实现原理和工作机制的研究分析,从软件、硬件和网络层面分析影响各子系统性能的关键因素,建立科学、合理、高效的性能评价指标体系。
评价是为了决策,该指标体系的质量直接决定了性能优化方案的优劣,主要有以下几个判断依据:a、指标体系能否客观的评价系统的运行状态;b、选取得观测指标最好能通过详细数据来表示;c、评价指标能否真实体现用户的需求。
针对各子系统的性能评价指标,选择性能测试方法和测试工具,确保对于反映系统性能的关键指标能给出确切的数据,并且能准确地衡量系统的状态。
(3)性能优化系统 对选定的服务器软、硬件和网络设备,采用探索式测试方法进行系统优化(例如对Web服务器软件的程序
代码级的优化、重编译和配置参数的优化等),并且引入当前主流的性能优化技术(如负载均衡集群技术等),通过性能的评价指标的监测与比较,提出性能优化系统的设计方案,并在河北科技师范学院的“网络硬盘”系统中实现该优化方案。
本文是针对系统建设中的关键
问题进行研究,主要的研究内容包括: (1)结合学院校园网用户的特点和应用需求,对校园网存储解决方案进行了较为深入的研究,并设计一个功能完善、界面友好、简单易用的网络硬盘系统; (2)分析影响系统性能的关键因素,确定性能评价指标,并确定系统性能优化的关键点; 北京T业人学T聒!硕f?学何论史 (3)对该Web服务子系统的主要优化技术和手段进行分析,通过集群技术的选型、Apache2.2和操作系统三方面对子系统进行优化的研究,并给出Web服务子系统优化的实现
方案; (4)从应用程序SQL语句和DBMS设置两部分探讨数据库服务子系统的主要优化技术,给出数据库服务子系统优化方案; (5)对存储系统的进行研究并且确定实现方案,然后对系统进行配置优化,从而给出存储系统的设计和优化方案; (6)系统整体优化方案的实施和效果分析。
通过对上述内容的研究,本文确定了以下的研究目标: 给出一种
经济实用的、具有较强的负载能力和良好的可扩展性的基于Web服务器集群【2】的“网络硬盘”服务系统整体解决方案,包括系统的
设计,通过对系统各子系统——Web服务子系统、数据库服务子系统和数据存储子
系统中性能影响的关键因素的研究和分析,提出系统优化的方案和实施步骤。
使构建的“网络硬盘”服务系统不仅可以满足校园网用户的功能上的需求,还同时具有较高的性能以满足不断增长的应用需求,并为类似网络应用的性能优化方法提供一定的借鉴。
1.4本文结构说明 本文共分五章,其组织结构如下: 第l章绪论。
阐述课题背景、意义、研究现状及完成的工作。
第2章相关技术选择及分析。
对设计校园网“网络硬盘”服务系统的意义进行介绍,说明系统性能优化的重要性,然后对整个设计过程中使用到的技术及工具进行分析和选型 第3章校园网“网络硬盘”服务系统设计。
介绍了校园网内“网络硬盘’’服务系统的分析与设计,包括需求分析、整体方案设计、
软件结构设计以及数据库设计,并分析了系统具有的优势以及系统投入使用后的运行情况。
第4章系统性能优化研究与优化方案设计。
分析影响系统性能的关键因素,确定性能评价指标,并确定系统性能优化的关键点,然后根据系统的特点,对当前系统的主要优化策略进行研究,并结合当前校园网的特点,对可用的优化策略 第1章绪论进行分析和选型,最终给出性能优化系统的整体方案设计。
第5章性能优化系统的实现及性能测试。
以河北科技师范学院“网络硬盘”服务系统为实例,实现性能优化系统的设计方案,对改进f;{『后的关键性能评价指标进行了对比和分析,验证设计的合理性。
第2章卡丌关技术选择及分析 第2章相关技术选择及分析2.1概述 本章首先对设计校园网“网络硬盘’’服务系统的功能以及对服务系统性能优化的重要性进行介绍,然后对系统在整个设计过程中使用到的技术及工具进行分析和选型。
2.2校园网“网络硬盘”服务功能设计简介 “网络硬盘”服务系统作为河北科技师范学院信息化建设的一个重要组成部分,旨在综合利用校园网等基础信息设施来提高教学、办公效率,为师生员工提供更为便捷、高效的网络存储和共享服务。
系统的总体流程如图2.1所示: “网络硬盘服务”主要为用户提供网络存储空间和数据共享服务。
根据用户的特点,系统的用户分为管理员、注册用户、匿名用户三类基本类型。
管理员负责对系统进行全面的管理工作,例如服务全局参数的设置、用户的管理、界面的管理等;注册用户可以通过前台Web界面来对个人数据进行管理,通过个人用户管理界面,
注册用户可以对私有数据进行上传、下载操作、对数据进行共享或下载他人的共享数据、对个人信息进行修改等操作;匿名用户可以下载他人的共享数据,并且可以有条件的上传数据进行共享。
除此之外,系统将注册用户分为教师用户、办公用户和学生用户三种类型,便于合理分配系统资源和对用户进行管理。
2.3系统的性1n-一Y.J试与优化 性能测试【3】(Performance Testing)主要是通过自动化的测试工具或自己编写的测试
代码来模拟多种正常或异常负载条件对系统的各项性能指标进行测试。
通过模拟上千万用户的实施并发负载及实时性能监测的方式来确认和查找问题。
性能测试的目的主要体现在三个方面:以真实的业务为依据,选择有代表性的、关键的业务操作设计测试案例,以评价系统的当Ij{『性能。
当扩展应用程序的功能或者新的应用程序将要被部署时,负载测试会帮助确定系统是否还能够处理 北京Tqk人学T程硕lj学位
论文 图2.1“网络硬盘”服务系统总体流程图 Figure 2-1 General flow chart of’’Network hard drive”service system期望的用户负载,以预测系统的未来性能。
通过模拟成千上万用户,重复执行和运行测试,可以确认性能瓶颈并优化调整应用,目的在于消除瓶颈。
设计出能满足基本功能需求的系统后,但由于校园网环境的特殊性,使系统不能发挥应有的功能。
高校校园网用户的特点是大文件存储需求多、上网时段集中、数据共享需求多等,对网络存储服务来说带来了高并发、高数据量、高吞吐量。
例如,在计算机实验室进行的实验课前的准备时间,任课教师将实验所需的软件或是电子
文档通过“网络硬盘”服务的文件共享功能提供给学生,会导致很多用户同时下载文件的情况,这就是高并发的访问请求;假如共享的数据文件很大的话,又会带来很高的数据吞吐量。
这种场景在校园网用户的使用中是非常频繁的,会给我们的系统带来很大的负载。
在这种情况下,并不能简单的直接将商业网站的网络硬盘服务直接搬到校园网内,需要针对校园网用户的特点对“网络硬盘”服务进行优化调整,以满足校园网用户的性能需求。
“网络硬盘”服务系统是基于Web的网络存储服务,当前主要的“网络硬盘’’服务系统的数据处理都主要由三个子系统完成:Web服务子系统、数据库服务子系统和数据存储子系统。
对系统性能的优化就是要从这三个子系统着手进行,主要包括调整和优化web服务器、数据库
管理系统、操作系统、硬件配置 第2章相关技术选择及分析和网络资源等等。
优化的过程在某种程度上说是循环的,因为要达到性能优化的目的,通常需要进行适当的性能调整,然后再查看优化结果,如此反复,使整个系统达到理想的运行效果,从而降低系统运行所需成本。
2.4系统关键技术选型及分析 (1)使用Linux+Apache+PHP构建Web服务器 Linux和Apache〔4】构成了是当前最为流行的w曲服务器系统组合。
美国互联网市场调研机构NetCrafi发布的网站统计数据显示【5】,在2006年4月份,WEB服务器市场中,基于Linux的Apache依然是网站主的第一选择。
Linux及Apache在网站操作系统及WEB服务器软件市场的份额为62.7%。
从2005年lO月份至2007年6月,基于Linux的Apache平台已从49,598,424个增至50,571,307个,增加近百万。
对于
开源业界来说,由于Linux、Apache均
免费,此外还有免费数据MySQL、服务器脚本语言pHP〔61共同构建了广受追捧的“LAMP”套件,性价比极高,因此非常受获得网站开发人员的欢迎。
拿互联网社区来说,国外最知名的三大BBS软件提供商IPB、VBB、PHPBB等均基于Linux的LAMP平台。
使用PHP技术。
包括Yahoo!等全球最知名的网站均是PHP平台的支持者。
Linux和Apache取得的巨大成功在很大程度上要归功于其源
代码丌放技术。
Apache有非常好的跨平台性,它完成了许多基本的功能,如I/O、内存分配等,这些接口都与具体平台无关,只要对现有的Apache服务器进行很少的开发或配置工作,就能够构建一个可伸缩系统;同时,Apache尽可能使用简单的结构和算法,这不仅使对它的理解和维护相对容易,还提高了系统稳定性;另外,Apache服务器使用模块化结构f7’8】来组织各功能部分,功能扩展方便灵活。
PHP,是英文超级文本预处理语言(Hypertext Preprocessor,PHP)的嵌套缩写名称。
PHP是一种HTML内嵌式的语言,PHP与微软的ASP(Active Serverpage)〔9】颇有几分相似,都是一种在服务器端执行的嵌入HTML
文档的脚本语言,语言的风格有类似于C语言,现在被很多的网站编程人员广泛的运用。
PHP独特的语法混合了C、Java、Perl以及PHP自创新的语法。
它可以比CGI (Common Gateway Interface)Uo〕或者Perl更快速的执行动态网页。
用PHP做出的动态页面与其他的编程语言相比,PHP是将
程序嵌入到HTML文档中去执 北京T业人学T午口坝Ij掌化
论文行,执行效率比完全生成HTML标记的CGI要高许多;与同样是嵌入HTML文档的脚本语言JavaScript相比,PHP在服务器端执行,充分利用了服务器的性能;PHP执行引擎还会将用户经常访问的PHP程序驻留在内存中,其他用户再一次访问这个程序时就不需要重新编译程序了,只要直接执行内存中的
代码就可以了,这也是PHP高效率的体现之一。
PHP具有非常强大的功能,所有的CGI或者JavaScript的功能PHP都能实现,而且支持几乎所有流行的数据库以及操作系统。
(2)集群技术 集群是一种并行或分布处理系统,由很多连接在一起的独立计算机组成象一个单独集成的计算资源一样协同工作【¨】。
按照侧重点的不同,通常把集群分为三类【12】,分别是高可用性集群、负载均衡集群以及高性能集群【1 31。
高可用性集群可以保证系统的不间断服务,负载均衡集群可以提高系统的整体负载能力,而高性能集群主要用于科学计算。
在Web服务系统运行时,如果用户点击率和对动态内容的需.