【VB开源代码栏目提醒】：以下是网学会员为您推荐的VB开源代码-烟草行业数据分析系统中OLAP技术设计与实现 - 其它论文，希望本篇文章对您学习有所帮助。

    

重庆大学硕士学位论文中文摘要I摘要作为数据仓库前端工具联机分析处理OLAP是近十年迅速发展起来的一种高级决策支持技术。

    使用OLAP工具人们可以深入分析和研究数据发现趋势看到异常情况得到重要细节以更好地理解商业行为的涨落变迁。

    现今的许多OLAP产品都是面向大企业的对于中小企业却没有一个合适的OLAP解决方案。

    本文着眼于中小企业在烟草行业的背景下开发适合中小型烟草企业的OLAP分析系统。

    本文首先分析了国内外的研究动态提出了适合中小型企业的OLAP实现方案之后在OLAP理论的基础上给出了系统的详细设计和多维数据库的设计模型设计了多维数据的模式表、数据库连接池最后实现了系统的功能。

    围绕数据分析系统的实际应用课题本文完成的主要研究工作有1.以某烟草企业数据分析系统的研究与开发为目标提出了一套切实可行的OLAP解决方案。

    对研发过程中所需要的理论、方法、算法等进行了深入的研究解决了系统设计、开发、实施过程中遇到的技术问题。

    2.设计了数据分析中的数据仓库模型并将原生产管理系统中的源数据经清洗转换后导入数据仓库中。

    在数据仓库基础上使用mondrain开源组件创建了多维数据集进而进行了OLAP操作。

    3.结合MDXmulti-dimensionalexpressionJDBCJPivot等技术以MicrosoftSQLserver为后台数据库在Tomcat服务器的基础上在MVC的架构下构建基于WEB的OLAP分析系统将数据库仓库模型应用到系统中实现了系统的预期功能。

    4.以可视的方式进行OLAP操作并将结果以图形图表的方式动态的显示出来从而为企业决策提供有力的数据支持。

    关键词数据仓库数据分析系统中小企业信息化方案联机事务处理Jpivot重庆大学硕士学位论文英文摘要IIABSTRACTBeingthefronttoolofdatawarehouseOLAPanadvancedDSStoolisdevelopedrapidlyduringtherecentdecades.WithOLAPuserscanmakedeepinvestigationofbusinessdatafindthebusinesstendencyandabnormalitygetimportantdetailsandmakebetterunderstandingofrulesoftheirbusinessbehaviors.NowadaysmanyOLAPproductisdesignedforbigenterprisefewOLAPsolutionfacetomid-andsmall-scaleenterprise.Thisthesisfocusesonmid-andsmall-scaleenterprisetrytodevelopaOLAPSystemwhichbasesonthebackgroundoftobaccoindustryforthem.ItwasfirstanalysedinthisthesisthedomesticandforeignresearchtendencyofOLAPsolutionproposedOLAPsolutionformid-andsmall-scaleenterpriseThenwegavesystemdesignandthemulti-dimensionaldatabasedesignontheOLAPtheorydesignedthemulti-dimensionaldataschematableandthedatabaseconnectionpoolFinallywerealizedthefunctionofthesystem.Focusedontheactualapplicationofthesystemthemainresearchworkthisthesishascompletedareasfollows:1.IttooktheresearchandthedevelopmentworkofthetobaccoenterprisedataanalysissystemasthegoalproposedasetofpracticalandfeasibleOLAPsolutiondeeplystudiedtheorymethodalgorithmneededintheresearchprocessandsolvedthetechnologyproblemmetinsystemdesigndevelopmentandimplementationprocess.2.ItdesignedthedatawarehousemodelfortheDataAnalysisSystemandtransformeddatafromoriginalproductionmanagementsystemtothedatawarehouseafterthecleanandconversionoperation.Basedonthedatawarehouseitusedmondraintheopensourcemodulebuildthemulti-dimensionaldatasetforOLAPoperation.3.WithMicrosoftSQLserverasthebackstagedatabaseTomcatastheapplicationserverweconstructedtheOLAPanalysissystemundertheMVCarchitectureapplieddatabasewarehousemodelinthesystemrealizedthesystemanticipatedfunctionwhichusedMDXJDBCJPivottechnologyandsoon重庆大学硕士学位论文英文摘要III4.TheOLAPoperationiscarriedoutinthesystembyvisiblewayandthequeryresultwasdisplayedbychartdynamicallygeneratedthusprovidespowerfulsupportsfortheenterprisedecisionKeywords:DataWarehouseDataanalysissystemMid-andsmall-scaleenterpriseinformationsolutionOLAPJPivot重庆大学硕士学位论文1绪论11绪论1.1引言随着企业信息化的不断深化企业日常业务生成了大量的数据。

    但是大部分用户对现有数据除了做一些简单的、局部的和浅层次的查询外还缺少对这些数据的全面分析。

    统计资料显示目前中国企业数据被有效利用的还不足7。

    如何有效地利用这些数据从这些数据中挖掘出有用的信息是摆在中国企业面前一个迫切需要解决的问题。

    使用数据仓库可以方便地解决以上问题但是对于中国企业来说购买国外的数据仓库产品一方面是一个昂贵的投资另一方面其分析模式与我国企业的运营模式也有很大的差距。

    因此在当今通用的WEB应用的框架下使用数据仓库中最常见的功能——OLAP开发一个基于WEB的OLAP系统对中国企业来说是一个不错的选择。

    中国企业如何在现有数据库的基础上结合OLAP分析工具及WEB应用框架研究并开发出适中国企业的OLAP系统是一个需要迫切解决的问题。

    1.2国内外现状综述自80年代由W.H.Inmon提出了数据仓库的概念以来数据仓库技术的发展方兴未艾并与其他相关技术结合呈现出了新的发展方向。

    在国外数据仓库的技术己日臻成熟基本上略具规模的公司都已经建成了数据仓库系统123640在我国数据仓库技术方面的起步较晚数据仓库的实施还处于起步阶段和国外有一定的差距。

    目前数据仓库的实现普遍采用传统的客户/服务器体系结构作为数据仓库的一个发展方向数据仓库与Web的结合成为一个热点问题。

    日前数据仓库技术呈现出几个发展方向数据仓库技术与Web技术的结合1Web技术与OLAP技术相结合可节省开发的资金。

    传统的OLAP软件包至少要一万美元而WebBrowser则便宜许多。

    此外目前很多单位都要建成或将要建成Intranet将Web技术与OLAP技术相结合则可以发挥企业现有的优势使企业内部更多用户能方便的使用OLAP服务器所提供的强大功能。

    2客户端采用统一的WebBrowser界面既方便了用户操作又节省了培训、维护的费用。

    3Web是一个跨平台的操作环境在使用中用户可以通过统一的WebBrowser界面完成他们所需要的OLAP分析操作而不用考虑他们的操作系统平台。

    重庆大学硕士学位论文1绪论2数据仓库技术与数据挖掘技术的结合。

    在过去的十年当中数据仓库技术有了很大的发展随着数据仓库技术的日益完善有实力的产品供应商如IBM、Oracle、Sybase、CA、NCR、Informix、Microsoft、和SAS等相继通过收购或研发的途径推出了自己的OLAP解决方案并发布了相应的产品。

    BO和Brio等专业软件公司也在前端OLAP工具市场上占有一席之地。

    IBMIBM公司提供了一套基于可视数据仓库的商业智能BI72021解决方案包括VisualWarehouseVW、Essbase/DB2OLAPServer5.0、IBMDB2UDB以及来自第三方的前端数据展现工具如BO和数据挖掘工具如SAS。

    其中VW是一个功能很强的集成环境既可用于数据仓库建模和元数据管理又可用于数据抽取、转换、装载和调度。

    Essbase/DB2OLAPServer支持“维”的定义和数据装载。

    Essbase/DB2OLAPServer不是ROLAPRelationalOLAP服务器而是一个ROLAP和MOLAP混合的HOLAP服务器在Essbase完成数据装载后数据存放在系统指定的DB2UDB数据库中。

    严格说来IBM自己并没有提供完整的数据仓库解决方案该公司采取的是合作伙伴战略。

    例如它的前端数据展现工具可以是BusinessObjects的BO、Lotus的Approach、Cognos的Impromptu或IBM的QueryManagementFacility多维分析工具支持ArborSoftware的Essbase和IBM与Arbor联合开发的DB2OLAP服务器统计分析工具采用SAS系统。

    OracleOracle数据仓库解决方案121522主要包括OracleExpress和OracleDiscoverer两个部分。

    OracleExpress由四个工具组成OracleExpressServer是一个MOLAP多维OLAP服务器它利用多维模型存储和管理多维数据库或多维高速缓存同时也能够访问多种关系数据库OracleExpressWebAgent通过CGI或Web插件支持基于Web的动态多维数据展现OracleExpressObjects前端数据分析工具目前仅支持Windows平台提供了图形化建模和假设分析功能支持可视化开发和事件驱动编程技术提供了兼容VisualBasic语法的语言支持OCX和OLEOracleExpressAnalyzer是通用的、面向最终用户的报告和分析工具目前仅支持Windows平台。

    OracleDiscoverer即席查询工具是专门为最终用户设计的分为最终用户版和管理员版。

    在Oracle数据仓库解决方案实施过程中通常把汇总数据存储在Express多维数据库中而将详细数据存储在Oracle关系数据库中当需要详细数据时ExpressServer通过构造SQL语句访问关系数据库。

    但目前的Express还不够灵活数据仓库设计的一个变化往往导致数据库的重构。

    另外目前的Oracle8i和Express之间集成度还不够高Oracle8i和Express之间需要复制元数据如果Oracle重庆大学硕士学位论文1绪论3Discoverer或BO需要访问汇总数据则需要将汇总数据同时存放在Oracle和Express中系统维护比较困难。

    值得注意的是刚刚问世的Oracle9i把OLAP和数据挖掘作为重要特点。

    SybaseSybase提供的数据仓库解决方案9称为WarehouseStudio包括数据仓库的建模、数据抽取与转换、数据存储与管理、元数据管理以及可视化数据分析等工具。

    其中WarehouseArchitect是PowerDesigner中的一个设计模块它支持星形模型、雪花模型和ER模型数据抽取与转换工具包括PowerStage、ReplicationServer、CarletonPASSPORT。

    PowerStage是Sybase提供的可视化数据迁移工具。

    AdaptiveServerEnterprise是Sybase企业级关系数据库AdaptiveServerIQ是Sybase公司专为数据仓库设计的关系数据库它为高性能决策支持系统和数据仓库的建立作了优化处理SybaseIQ支持各种流行的前端展现工具如CognosImpromptu、BusinessObjects、BrioQuery等数据分析与展现工具包括PowerDimensions、EnglishWizard、InfoMaker、PowerDynamo等PowerDimensions是图形化的OLAP分析工具它支持SMP和多维缓存技术能够集成异构的关系型数据仓库和分布式数据集市从而形成单一的、新型的多维模式数据仓库的维护与管理工具包括WarehouseControlCenter、SybaseCentral、DistributionDirector其中WarehouseControlCenter是为数据仓库开发人员提供的元数据管理工具。

    Sybase提供了完整的数据仓库解决方案QuickStartDataMart具有良好的性能并支持第三方数据展现工具。

    从QuickStartDataMart的名称不难看出它尤其适合于数据集市应用。

    另外Sybase可以提供面向电信、金融、保险、医疗保健这4个行业的客户关系管理CRM产品在这4个产品中有80的功能是共性的有20的功能需要Sybase与合作伙伴针对不同需求共同开发。

    MicrosoftMicrosoft将OLAP功能集成到MicrosoftSQLServer中1819提供可扩充的基于COM的OLAP接口。

    它通过一系列服务程序支持数据仓库应用。

    数据传输服务DTSDataTransformationServices提供数据输入/输出和自动调度功能在数据传输过程中可以完成数据的验证、清洗和转换等操作通过与MicrosoftRepository集成共享有关的元数据MicrosoftRepository存储包括元数据在内的所有中间数据SQLServerOLAPServices支持在线分析处理PivotTableServices提供客户端OLAP数据访问功能。

    通过这一服务开发人员可以用VB或其他语言开发用户前端数据展现程序PivotTableServices还允许在本地客户机上存储数据MMCMicrosoftManagementConsole提供日程安排、存储管理、性能监测、报警和通知的核心管理服务重庆大学硕士学位论文1绪论4MicrosoftOffice2000套件中的Access和Excel可以作为数据展现工具另外SQLServer还支持第三方数据展现工具。

    开源OLAP方案在众多的OLAP方案中有一种方案投资是最少的那就是选择开源的软件来进行二次开发从而实现企业数据分析的需求。

    在开源的OLAP软件中最有代表性的MondrianJPivot的OLAP解决方案3839等Mondrian是一个用JAVA语言写的OLAP数据库它可以执行MDX语言和XML查询。

    它可以从SQL语句或其它数据源中读取数据。

    它需要在内存中聚合数据。

    JPivot是一个JSP的标签库它可以在页面上显示OLAP的表格和图形。

    用户可以在OLAP导航器上进行数据钻取、切块、切片的操作。

    它使用Mondrian或XMLA作为他的OLAP引擎。

    开源软件有关如下的优点1源码是公开的可以在现有的软件的基础上量身定做适合自己的软件。

    2不需要额外的投资。

    由于以上两点开源OLAP解决方案特别适合中小型企业可但是由于使用的是开源软件MondrianJPivot在方案难免存在以下一些缺点。

    3功能少而简单需要开发人员、及使用人员有较强的专业知识4内存消耗量大因为Mondrian是在内存中建立多维数据库的这就要求系统有较大的内存尤其在立方体较大数据处理量较大的时候5只能处理小规模的计算在元数据缓存方面JPivot使用整体性初始化装载方法这限制它只能处理很小的Cube。

    到目前为止虽然国内有很多大学和研究机构从事OLAP技术的研究国内基本上没有成熟的OLAP解决方案。

    以下是国内外常用的OLAP前端显示工具BusinessObjectsBusinessObjectsBO是集查询、报表和OLAP技术为一身的智能决策支持系统。

    它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据具有较好的查询和报表功能提供钻取Drill等多维分析技术支持多种数据库同时它还支持基于Web浏览器的查询、报表和分析决策。

    虽然BO在不断增加新的功能但从严格意义上说BO只能算是一个前端工具。

    也许正因为如此几乎所有的数据仓库解决方案都把BO作为可选的数据展现工具。

    明基逐鹿2005年明基逐鹿23在其原有的SCM、ERP、eHR等产品线上进一步延伸了其产品线研发出了OLAP产品Analyzer。

    Analyzer是与微软合作推广的一款产品Analyzer架构在微软.NET平台上与微软SQLServer数据库实现无缝集成。

    Analyzer它是面向windows平台的这要某种程序上限制了它的发重庆大学硕士学位论文1绪论5展。

    博易智软BI-Pilot是博易智软24的产品它采用Java技术开发是能够广泛运行在AIX、HP-UX、Solaris、SCO、Linux、Windows等平台上的OLAP前端工具它能够充分利用客户现有的平台系统大大降低客户实施费用采用多层的浏览器/服务器B/S系统结构用户在浏览器上即可完成一切工作简单易用极大降低客户系统维护费用采用开放的系统架构能够与其它应用系统无缝连接支持Corba、WebService调用。

    1.3论文研究目的和内容论文着眼于数据仓库技术与Web技术相结合的发展方向用开源的Mondrian组件在现有的MicrosoftSQLServer数据库的基础上生成多维数据库再以JPivot组件为基础开发OLAP前端展示工具对数据进行可视化的OLAP操作并将分析过程及结果以图形、图表的形式在网页上表现出来。

    研究的主要内容主要包括以下几点1根据中国中小型企业的技术现状和需求提出了一套切实可行的OLAP解决方案。

    2分析构建OLAP模型。

    在OLAP模型的基础上对数据进行迁移、转换、清理得到适合操作的OLAP多维数据库。

    3开发OLAP前端展现工具力图满足中国企业的日常OLAP操作需求。

    4以可视化的方式进行OLAP操作操作的结果以复合表格和图表的形式展现在客户端。

    1.4拟采用的研究方法、技术路线本文采用规范的理论分析与实证研究相结合研究方法。

    在理论分析的基础上确定OLAP实现方案构建基于WEB的OLAP系统。

    本论文将遵循以下技术路线进行1、文献资料收集、处理、分析。

    包括国内外文献收集OLAP的实践案例、取得的成果、存在的问题。

    2、在大量相关资料的基础上对课题进行深入探求得到自己的实现方案。

    3、构建自己的应用系统实现项目的商业价值。

    1.5本章小结OLAP联机分析处理是帮助用户理解、分析大量数据并建立模型的一种解决方案。

    重庆大学硕士学位论文1绪论6在当今中国企业实施信息化的过程中构建基于WEB的OLAP系统具有现实意义和客观可行性。

    本章列出了国内外现有的OLAP解决方案对于中小型企业可选用开源的OLAP实现方案。

    本论文的研究目的是着眼于数据仓库技术与Web技术相结合的发展方向在Mondrian组件和MicrosoftSQLServer数据库的基础上以JPivot组件为基础开发OLAP前端展示工具对数据进行可视化的OLAP操作并将分析结果以图形、图表的形式在网页上表现出来。

    重庆大学硕士学位论文2OLAP理论基础与相关技术72OLAP理论基础与相关技术2.1OLAP的基本概念OLAPOn_LineAnalyticalProcessing是针对特定问题的联机数据访问和分析。

    它通过对信息的很多种可能的观察形式进行快速、稳定一致和交互性的存取允许管理决策人员对数据进行深入观察8。

    OLAP使用了多维分析的技术10。

    它所用的多维数据库与关系型数据库有很大的不同关系型数据库所存储的数据是以行和列的形式存在的而多维数据库是以轴axes和单元cell组成。

    图2.1是一个多维数据库的效果图。

    图2.1多维数据库效果图Fig2.1demopictureofMulti-dimensionaldatabase图2.1展示的是一个运输公司的多维数据库这个数据库的度量值是运送的货物数量及上一次运送的时间。

    维度有三个分别是时间、货物发送地及货物运送方式。

    每个维度还可以细分为不同的层次例如时间是个维度dimension而它下面的层次Hierarchies又分为半年、季度等级别Level。

    OLAP有如下基本概念1度量度量就是指在分析中我们感兴趣的一块数字化信息。

    是数据的实际意义。

    许多数据都可以成为度量例如“成本”、“单价”、“销售额”、“利润”等。

    14703/10/1244100/11/0625405/04/1212505/02/2647102/04/1821401/10/1512405/01/0515502/11/1135202/02/1455604/09/1012600/11/1615605/02/0534505/10/0430000/10/0424004/11/0821005/02/06四季度三季度二季度一季度上半年下半年D城市E城市F城市G城市B省C省A国家货物数上一次度量值空中运输水上运输陆地运输运输方式时间重庆大学硕士学位论文2OLAP理论基础与相关技术82维维是人们观察数据的特定角度。

    例如企业常常关心产品销售数据随着时间推移而产生的变化情况这是从时间的角度来观察产品的销售情况时间就是一个维时间维。

    企业也时常关心自己的产品在不同地区的销售分布情况这时可从地理分布的角度来观察产品的销售地理分布也是一个维地理维。

    3维层次人们观察数据的某个特定角度及某个维还可以存在细节程度不同的多个描述方面称这些描述方面为维的层次。

    例如描述时间维时可以从日、月、季、年等不同层次来描述。

    4维成员维的一个取值称为该维的一个维成员。

    如果一个维是多层次的那么该维的维成员是在不同维层次的取值的组合。

    5多维数据集是一个数据集合通常从数据仓库的子集构造并组织和汇总成一个由一组维度和度量值定义的多维结构如维1维2……维n度量。

    6数据单元单元格多维数据集的取值称为数据单元。

    当多维数组的各个维都选中一个维成员这些维成员的组合就唯一确定了一个观察对象的值即维1维2……维n对象值。

    2.2OLAP与OLTP数据库的区别OLAP系统的设计与OLTP系统的设计从本质上来说是不同的。

    许多在OLTP数据数据库设计时公认的准则与OLAP多维数据库实用的设计原则甚至是相反的。

    下图是两种数据库设计需求的特点比较18。

    表2.1OLAP与OLTP数据库设计需求Tab2.1therequirementsforOLAPandOLTPdatabase事务型数据库OLTP分析型数据库OLAP处理个别记录关注一般趋势高生产率每天数百万事务处理记录低生产率每天只有系统的操作改变数据系统的操作可以回答问题查询只涉及几条记录查询经常波及整个数据库许多操作更改源数据大多数操作是只读的支持事务处理不支持事务处理需要完全实时更新经常批量更新例如晚上或周末能很快反应新数据最终反应新数据由表2.1可见OLAP与OLTP是两类不同的应用OLTP面对的是操作人员和低层管理人员OLAP面对的是决策人员和高层管理人员OLTP是对基本数据重庆大学硕士学位论文2OLAP理论基础与相关技术9的查询和增删改操作处理它以数据库为基础而OLAP更适合以数据仓库为基础的数据分析处理。

    OLAP中历史的、导出的及经综合提炼的数据均来自OLTP所依赖的底层数据库。

    OLAP数据较之OLTP数据要多一步数据多维化或预综合处理.