数据仓库建设中数据特征、流向及附加技术选择分析

数据仓库建设中数据特征、流向及附加技术选择分析

一、析数据仓库建设中的数据特点、流向及追加技术的选择(论文文献综述)

孔慧慧[1](2020)在《大数据探索式多维分析及可视化系统的设计与实现》文中认为大数据目前已是一个庞大的生态体系,聚集了海量的大数据,在数据量高增长的同时,也产生了结构复杂和变化多端的多维数据。这些多维数据遍布在多个不同领域,是需要新处理模式才能具有更强决策力的信息资产。但当前已有的可视化系统中,还存在着很多不足与问题:(1)对数据处理的速度缓慢,未实现数据图表协同更新,间接影响数据分析的结果;(2)降低多维数据维度的过程复杂、可操作性差且学习成本高,对多维数据整合、数据合表、多维数据分层等功能支持性欠缺,使多维数据的研究和应用具有一定的局限性。(3)可视化流程构建不完善,着重研究可视化展示,造成可视化内容过于拥挤,不足以支撑多维数据的全生命周期可视化工作;为了解决上述出现的问题,本文对大数据探索式多维分析及可视化技术进行了深入的研究,主要研究内容包括:(1)为解决多维数据瞬息万变所带来的图表重绘问题,提出并实现了一种面向大数据场景的多维数据可视化实时更新方法,降低多维数据变化重绘图表造成的网络负载和网络延迟,并在多用户并发场景下,减少数据错误率,维护了系统稳定性。(2)针对多维数据进行Kylin建模,提供数据探索、图表配置、人机交互等多种数据图表交互技术,进一步提高视图探索能力,深层次分析多维数据的潜藏价值。(3)设计并实现了大数据探索式多维分析及可视化系统,为用户提供一套完整的从数据接入到可视化展示的多维数据分析架构,具备数据处理和视图探索交互应用能力的多维可视化构建服务。基于上述研究内容,本文构建了大数据探索式多维分析与可视化系统,提供数据挖掘能力,帮助使用者将多维数据可视化为一个高效,直观,易于理解的图像,辅助其验证假设性结论。并将其应用于重点专项项目“国家人类遗传资源中心大数据共享服务平台”建设中。

李伟超[2](2020)在《停车管理数据仓库构建与可视化分析》文中指出停车困难的问题日益严峻,不仅反映了停车站点现存资源的规划缺乏一定的科学性,也体现了企业对于大量停车数据信息分析利用的不完整。充分应用相关数据进行分析并制定正确的决策需要完整、科学的企业解决方案系统,现有的企业级数据管理系统更偏向于数据的查询以及存储功能,面向业务数据分析的应用仍具有一定的不足,而商务智能系统在具备数据存储、数据查询功能的技术基础上提供了面向用户的多维数据分析操作,通过运用商务智能系统可以系统地构建一整套针对相关数据存储、数据质量处理、数据建模分析以及分析结果展示的智能数据平台,在基于数据仓库针对企业数据分析功能的基础上应用可视化技术对数据分析结果进一步展示,实现了对企业相关业务决策制定的支持。本文主要以SQL Server Business Intelligence工具构建停车管理企业的商务智能系统,其中核心技术包括ETL流程设计、数据仓库构建以及可视化技术研究应用。其中,通过ETL技术实现了停车管理部门相关业务数据的质量完善以及各类源数据整合;在构建数据仓库过程中,针对已完善的数据制定相关的分析业务主题并构建多个数据维度,实现停车管理数据的多维度分析;最终应用数据可视化技术灵活、直观地对停车管理数据分析结果进行展示,为用户制定相关决策提供数据支持。本文在ETL流程设计中,针对数据抽取的方式采取了全表插入的方法;对数据进行修改实现数据的清洗设计,并以统一数据类型的方法进行数据转换。在构建数据仓库过程中,针对停车管理企业的业务规则制定了4个业务主题,并对各个主题及其属性组进行逻辑关系划分,最终构建相应的事实表以及维度表完成数据仓库的构建。在以数据报表形式对数据分析展示的基础上进行技术拓展,应用开源代码以及map V、Fine Report工具软件实现基于数据仓库的可视化分析综合应用。通过应用本文研究的技术方法,帮助企业分析了实际的运营情况,对相关决策的制定起到了积极的作用,基本满足企业解决实际问题的需求。

贾翼[3](2020)在《基于Hive的电商多维分析系统的设计与实现》文中认为最近几年,我国大数据在政策、技术、产业、应用等多个层面都取得了显着进展,中国数字经济规模大幅增长。与此同时,电商互联网公司也掌握了其他行业和企业无法相比的大数据,拥有着最精准,最全面的用户数据,因此,运用巨量数据指导企业的运营和加速互联网产品的升级,也形成为了未来电商互联网公司向数据驱动服务和争夺市场份额的共识,而数据源的异构性以及PB乃至TB数量级历史数据的应用转化却对采用传统的企业数据仓库的多维分析带来了巨大的挑战。为了解决海量数据下传统基于大型服务器的数据仓库高额运维代价,以及凭借人员经验迭代互联网产品局限性,本文充分考虑电商用户数据的特点,设计并开发了基于Hive的电商多维分析系统,进而用数据驱动决策和智慧运营,提高数据资源的复用性,该系统实现了基于CDH的大数据平台架构,并在此平台之上实现基于Hive的四层数据仓库,通过分层建设数据仓库,大大提升了数据治理能力,保证了数据质量,优化了传统通过Linux下crontab的作业调度,集成Azkaban作业调度,全面监控数据运行,并实现了电商用户活跃等相关指标,论文的主要工作如下:1.本文研究了现有的大数据平台相关技术,搭建了基于CDH的企业级大数据平台并设计实现了基于CDH平台的Hive数据仓库。2.提出并设计了一种新型的自研组件即基于Kafka的多管道(Pipline)采集模块,解决了异构数据源的加载与存储问题,在异构系统大规模的数据迁移中保证了大数据的数据一致性,很好的控制了数据的质量水平。3.基于Hive提出并设计了四层数仓数据模型,实现了数仓不同层级之间不同粒度数据管理,加速了查询过程与数据计算过程,并运用SSM框架实现了数据可视化。4.集成Azkaban作业调度系统,解决传统数仓人工报表的编写难、维护难、升级难的问题,设计实现数据仓库作业全自动调度并完成系统测试。

成轩浩[4](2019)在《数据驱动的H医药公司渠道优化策略研究》文中研究说明生存与健康是关乎人类切身利益的恒久话题,缘此,医药产业也被誉为永远的朝阳产业。近5年来,全国医药工业形势已经发生了深刻变化,医药消费增长率持续下滑至10%以下。在化学药市场,药品低水平重复、同质化严重;密集的政策法规发布使得监管力度更加严苛,以“4+7”集中带量采购的全国性推进,企业的定价能力再被削弱。产品与定价等多重因素的集合将进一步造成行业竞争格局态势的难以估量。面对外部环境的瞬息变化和现有运营模式的增长疲态,渠道资源的稀缺性与战略意义日渐凸显,渠道优化已成为医药营销非常重要的研究聚点。本研究的核心是提出以数据驱动的核心思想,贯通于整套渠道优化方案。全文汲取服务利润链理论作为策略优化的重要框架,创新性的将渠道优化的半径延伸至企业内部并强调其重要性。深读交易费用理论的内涵,关注到企业在交易中的高额信息不对称成本。启发性地指导本文设计出基于增效与降本、组织内与跨组织间的渠道优化矩阵,形成以建设数据平台、优化组织结构、设计客户分类、组建战略联盟4个优化部分,层层递进,逐步激发渠道效能。本研究以H医药公司营销现状为现实背景,运用PEST模型和波特五力模型,深入分析医药行业外部环境,结合企业内部四大财务能力指标、运营现状和客户现状理清企业内部环境,聚焦渠道管理的核心问题,多维度反映当前渠道变革的急迫性与必要性。通过理论的指导与文献的支撑,提出渠道优化目标与基本方向;其一,以商业智能体系为蓝本搭建企业营销数据平台,切实解决业务模式转变中渠道低效的痛点;其二,采用冲突管理TKI模型中“合作”的方式,缓解组织内冲突现状,降低冲突成本;其三,基于经典的客户价值理论中RFM模型,做好渠道客户的分类与策略针对;其四,在战略联盟伙伴3C的原则指导下制定与企业自身契合渠道伙伴选择指标体系,为升级“共赢共生”的伙伴关系奠定基础。最后提出以“战略引领,组织、人才、文化协同”的保障体系,推动策略的落地实施。此外,通过横向对比同行企业的客户分类实践,以验证本策略的可行性与价值。本文抛砖引玉,希望通过在H企业的数字驱动策略的引领及实施结果,为同行企业提供借鉴,共同推动数字化渠道的发展。

杜永文[5](2019)在《水泥智能控制云平台总体结构的研究与设计》文中进行了进一步梳理水泥工业作为传统制造业,存在着能耗高、生产效率低和污染严重等问题,这就要求提高企业的综合管理水平,促进企业转型升级。为此,本课题提出了水泥智能控制云平台设计,它能够实现对生产数据、能源数据、环境数据、设备数据和控制状况的综合管理与分析,为企业提高生产效率、节省成本、降低能耗、提高管理水平提供帮助。本文以水泥工业为设计背景,在深入了解水泥企业生产管理状况的基础上,结合计算机技术和自动化技术,完成对水泥智能控制云平台总体结构的研究与设计,其主要工工作包括以下几个方面:(1)完成水泥智能控制云平台整体框架设计。框架包括数据采集子系统、统计分析子系统、数据库子系统、客户端子系统。分析总结水泥企业数据特点,明确数据采集点,为各子系统设计了详细的功能结构。(2)完成统计分析子系统详细设计。针对数据量大导致的客户端数据分析与查询速度慢的问题提出了利用统计分析子系统先进行数据处理的方法,完成了对数据的汇总、报警判断和工序公式计算设计,以班组电量统计为例介绍了班组数据汇总的程序设计流程,以能耗报警为例介绍了异常数据报警的设计流程,介绍了公式计算的设计流程。(3)完成数据库子系统结构设计。针对水泥企业分厂及集团之间通讯线路差、网络存在延迟等问题采用分布式存储方案。针对各类数据的特点及分类,创建了五类数据库:管理数据库、电表数据库、DCS数据库、能源数据库、控制系统数据库,并为各类数据库设计了合理的表结构。(4)完成客户端系统的结构及权限管理设计。为提高客户端系统的稳定性和可维护性,本文采用ASP.NET三层架构完成对客户端的结构设计,具体来讲完成客户端整体布局设计,层次结构设计,通用性设计。为提高系统数据的安全性,采用基于角色的访问控制模型,完成对用户功能及操作权限的分配,采用为用户分配相应组织机构的方式完成对用户数据级权限的分配。(5)完成水泥智能控制云平台应用。以某建材集团为背景,对水泥智能控制云平台各子系统进行了应用,验证了本文设计的合理性。

何艳[6](2017)在《基于银行POS收单业务的数据仓库构建及其应用研究》文中研究说明如今,在银行各业务系统数据库中存储了大量的POS签约商户的收单业务数据信息。如何科学地运用数据仓库技术对这部分数据进行整合和分析,来达到对银行客户的针对性营销和服务,以提高银行客户对银行的满意度、忠诚度以及粘合度,是现如今银行业的工作重点和银行客户细分的一个研究重点。本文是以数据仓库技术为核心,数据挖掘方法为手段,对银行客户进行细分管理,在客户细分的基础上实现客户的针对性营销方案设计。本文首先研究了数据仓库、CRM以及客户细分在金融业和银行业领域的应用现状,分析了银行业现有的数据仓库体系结构,之后对当前银行客户细分及数据挖掘技术运用的基本情况进行了阐述。然后对POS收单业务的数据源进行分析,经过数据调研,根据POS收单业务的数据特点来进行主题划分,客户化TeradataFS-LDM数据模型,完成了基于POS收单业务数据仓库的构建。最后,运用构建的数据仓库中的数据,以商户基本信息和是否有优惠等指标作为银行POS收单业务客户细分的评价依据,运用SAS软件的数据挖掘方法构建POS商户数据的预测模型和聚类分析模型,实现对银行POS收单业务客户细分,完成对各细分群体属性的描述,并对各细分群体给出有效的服务、营销建议。研究实现了从数据到知识的整个数据生命周期的转化过程,研究结果对银行的数据仓库搭建、客户关系管理、客户维护和客户价值发掘有重要的理论价值和现实指导意义。

白丽[7](2016)在《城市轨道交通线网运营安全保障及评估体系研究》文中指出随着城市轨道交通网络化进程的快速推进,单线相对独立运营管理已经转变为多线综合运营管理,凸显出网络结构复杂、设备规模庞大、客流增幅显着、运营组织多样化及安全风险因素众多等特点,这对日常运营生产的安全保障,提出了更高的信息化管理要求。构建运营前的预警预测-运营中的实时监控-运营后效果综合评估反馈的网络化全方位管理保障体系能全面提高运营安全和服务水平及辅助决策分析能力。论文通过现场调研、问卷调查、文献查阅、计算仿真等方法,解决安全保障理论研究及综合运营评估的分析、建模、实例验证、技术方案及系统应用等问题。论文的主要研究工作如下:(1)以城市轨道交通运营管理为切入点,全面检索安全保障研究体系和运营评估工作现状,针对线网运营趋势分析网络化运营模式及特点,借鉴应急安全管理事前-事中-事后的全生命周期理念,提出网络化运营关键性业务的全方位、综合性、多模式的安全管理保障体系思路。(2)运用安全因素识别方法和事故致因分析理论,重点挖掘影响城市轨道交通系统安全的风险因素,结合安全生产业务研究多源异构数据集成、安全预警机制、预警预测及综合评价基础理论,深入研究线网安全保障关键技术。(3)以路网拓扑结构为基础,从空间维度(“车站-线路-路网”)、时间维度(时刻、时段)、运营状态(正常运营、非正常运营)多角度,构建评估运输能力、服务水平、运营安全、运输组织四大内容的城市轨道交通运营方面的“微观-中观-宏观”综合性、完整性、交叉性、多颗粒度评估指标体系,辅助决策线网运营的安全保障及合理评价。(4)以预警预测与综合评价方法为基础,研究其数学模型、实验过程及适用度,通过数据模拟验证设备故障预警模型、常态与非常态多场景客流预测模型、层次分析和综合运营评估模型,依托行业实际应用建立符合城市轨道交通线网运营监管侧重点和具有实际指导意义的设备及客流分级分类预警报警标准体系。(5)基于数据仓库设计应用系统的总体架构、数据存储模式和业务功能模块,研究多源异构大数据标准化和规范化ETL过程,利用数据架构分层技术和数据集市概念构建城市轨道交通运营14种核心业务主题域数据模型,研发集实时监测、预警报警、运营仿真与评估、多维分析等功能于一体的综合安全保障评估系统平台。

孟维一[8](2016)在《基于数据仓库的保险商业智能系统设计与实现》文中进行了进一步梳理近年来随着我国社会经济和信息技术的飞速发展,保险行业蓬勃发展,竞争也愈加激烈。如何从分散的海量数据中提取有价值的信息,并迅速做出决策已成为决定保险企业竞争力的关键,基于数据仓库的商业智能系统为其提供了一种较好的解决方案。本文结合某保险公司的实际项目阐述和分析了保险商业智能系统的设计和实现。本文结合保险行业的业务特点和该公司目前存在的问题,对商业智能系统进行详细的需求分析,在此基础之上,通过数据仓库建模,ETL (Extraction-Transformation-Loading,数据抽取、转换和加载)过程以及OLAP (On-Line Analytical Processing,联机分析处理)技术构建了商业智能系统。在数据仓库建模方面采用了第三范式与星型模型的综合建模方式,分别完成了概念模型、逻辑模型以及物理模型的设计。通过存储过程与ETL工具相结合的方法,实现了ETL过程及任务调度。联机分析处理方面,基于OLAP技术研究实现了数据立方体的建立,并且利用Cognos工具强大的报表展示功能开发了多维分析结果展现,完成了商业智能系统的设计。同时出于系统的安全性考虑,本文给出了系统的权限管理办法。目前,该系统已经上线并且运行良好,有效的解决了数据不规范、利用率低、信息孤岛等问题,实现了各类信息资源整合及业务系统的互联互通,为业务部门以及高层领导的决策分析提供了强大的支持。

周天军[9](2016)在《基于数据仓库的银行监管报送系统设计与实现》文中研究表明随着我国金融体系的日趋完善和经营风险的急剧增加,同时面对互连网金融、大数据的冲击,银行对其业务数据的分析显得尤为重要。随着数据仓库技术不断发展和日益成熟,银行对客户信息及交易业务数据的分析提出了更高的要求。通过建立金融数据仓库系统,加快银行数据标准化建设和数据质量治理的步伐,有效提升监管统计指标效率和准确率,进一步满足金融监管和风险控制指标的要求。本文主要在构建银行数据仓库的基础上,采用联机分析技术或数据挖掘工具对银行核心系统及相关渠道业务数据进行提取分析,实现对银行相关监管报送指标统计分析,同时对银行多业务渠道交易数据的统计分析及趋势预测。通过建立面向部门或特定业务需求的数据集市,完成对银行监管报送系统的设计与实现。另外,针对地方性商业银行特有统计分析系统的功能进行较为详细阐述,为银行经营管理层及业务主管部门提供经营分析信息,以便其及时调整经营决策部署。通过对基于数据仓库的银行监管报送系统的设计与实现,一方面积累了银行数据仓库建设的宝贵经验,另一方面也提高了银行监管数据统计分析能力,为今后完善银行企业级数据仓库、加快大数据分析和规范金融数据标准奠定基础。

王伟[10](2016)在《基于Hive的物流数据仓库研究与实现》文中提出近年来,随着大数据技术的发展和应用,Hadoop已经得到学术界和工业界的广泛认可。Hive作为构建于Hadoop集群之上的开源数据仓库应用,具备模式自由、高可扩展性和高容错性的特点,能够很好地满足企业级数据仓库的需求。因此,越来越多的物流企业开始考虑如何利用Hive数据仓库带来的优势,完善自身的信息化建设。本文以某物流信息系统软件公司(以下称DK公司)的智慧物流大数据平台项目为背景,在充分研究物流公司业务需求的基础上,对基于Hive的物流数据仓库进行了总体架构设计,同时选择了开发语言,并分析了实现方法。针对物流企业数据仓库扩展性不好、运行自动化程度不高、处理大规模数据效果较差等问题,在对基于Hive的物流数据仓库进行分析和设计的基础上,本文提出物流数据仓库的具体实现方案,该数据仓库结合高校云平台虚拟化技术,能够提供高可扩展性。另外,数据仓库的数据抽取转换加载过程和数据查询分析处理过程能够满足自动化需求,不需要任何人工干预。并且利用MapReduce并行计算的优势,能够很好地支持大规模物流数据的处理。本文首先对国内外现状和大数据相关技术进行介绍,主要对比了Hive数据仓库和关系型数据库,研究了Hive数据仓库的优缺点,并提出其适用场景。然后,以DK公司智慧物流大数据平台项目为背景,对基于Hive的物流数据仓库进行需求分析和系统架构设计,提出实现该数据仓库的技术方案。进而基于学校云平台,部署了Hadoop、Sqoop和Hive环境,搭建了基于虚拟化技术的大数据处理平台,同时,基于此平台,从数据ETL和数据查询分析处理两方面实现了基于Hive的物流数据仓库,包括数据仓库的可扩展性研究、自动化多线程ETL脚本编写及其最佳线程数研究、Hive数据存储分析、Hive数据前置处理、查询分析处理、后置处理脚本实现。最后通过Hive数据仓库运行效果,评估了本项目的价值,从不同业务角度证明了该系统能够很好地支持企业管理层决策。

二、析数据仓库建设中的数据特点、流向及追加技术的选择(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、析数据仓库建设中的数据特点、流向及追加技术的选择(论文提纲范文)

(1)大数据探索式多维分析及可视化系统的设计与实现(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 课题研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状及分析
        1.2.1 多维分析可视化技术研究现状
        1.2.2 探索式可视化系统研究现状
        1.2.3 国内外研究现状总结
    1.3 研究内容与论文工作
    1.4 硕士在读期间主要工作
    1.5 论文组织结构
第二章 相关理论及技术研究
    2.1 数据可视化
        2.1.1 数据可视化定义及流程
        2.1.2 数据可视化分类
        2.1.3 Web可视化技术
    2.2 数据渲染交互技术
        2.2.1 数据处理技术
        2.2.2 多维分析技术
    2.3 本章小结
第三章 面向大数据场景的多维数据可视化实时更新方法的研究
    3.1 面向多维数据的可视化方法的设计与实现
    3.2 基于WebSocket实时更新的设计与实现
        3.2.1 传统的实时更新方法
        3.2.2 WebSocket协议概述
        3.2.3 WebSocket实时更新方法的实现
    3.3 实验结果分析
    3.4 本章小结
第四章 探索式智能可视化多维分析方法的研究
    4.1 研究挑战
    4.2 探索式智能可视化多维分析方法
        4.2.1 数据探索技术
        4.2.2 图表配置技术
        4.2.3 人机交互技术
    4.3 本章小结
第五章 探索式多维分析及可视化系统的设计与实现
    5.1 系统需求分析
        5.1.1 系统概述
        5.1.2 业务需求
        5.1.3 功能需求
    5.2 可视化系统总体设计
        5.2.1 系统架构设计
        5.2.2 功能流程设计
    5.3 可视化系统模块设计及实现
        5.3.1 数据源导入模块
        5.3.2 数据处理及建模模块
        5.3.3 可视化多维数据模块
        5.3.4 探索交互视图模块
        5.3.5 视图动态组合模块
    5.4 本章小结
第六章 系统部署与测试
    6.1 系统部署
    6.2 系统功能模块测试
        6.2.1 数据源导入模块测试
        6.2.2 数据处理及建模模块测试
        6.2.3 可视化多维数据模块测试
        6.2.4 探索交互视图模块测试
        6.2.5 视图动态组合模块测试
    6.3 系统性能测试
    6.4 系统测试结果分析
    6.5 本章小结
第七章 总结与展望
    7.1 工作总结
    7.2 未来展望
参考文献
致谢
攻读学位期间取得的研究成果

(2)停车管理数据仓库构建与可视化分析(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 研究背景及意义
    1.2 国内外研究动态
    1.3 研究内容
    1.4 研究方法与技术路线
    1.5 论文结构安排
第二章 商务智能相关理论及方法
    2.1 商务智能主要理论
        2.1.1 商务智能概念
        2.1.2 商务智能核心架构
    2.2 商务智能主要技术方法
        2.2.1 ETL技术
        2.2.2 数据仓库技术
        2.2.3 联机分析处理技术
        2.2.4 数据挖掘技术
        2.2.5 报表展示技术
    2.3 数据可视化理论及方法
        2.3.1 数据可视化技术概述
        2.3.2 基于数据仓库的数据报表技术
        2.3.3 动态可视化技术
    2.4 本章小结
第三章 基于停车管理的数据仓库设计与构建
    3.1 业务需求分析
    3.2 数据仓库设计
        3.2.1 概念模型设计
        3.2.2 逻辑模型设计
        3.2.3 物理模型设计
    3.3 ETL流程设计
        3.3.1 数据抽取设计
        3.3.2 数据清洗与转换设计
        3.3.3 数据加载设计
    3.4 本章小结
第四章 停车数据的可视化分析
    4.1 基于数据仓库的数据报表系统设计与展示
        4.1.1 报表主题分析与设计
        4.1.2 报表设计
        4.1.3 报表展示
        4.1.4 报表的部署与管理
    4.2 停车管理数据的可视化展示
        4.2.1 可视化技术方法的比较与选择
        4.2.2 规划目标分析以及应用软件设置
        4.2.3 基于前端技术软件的停车数据可视化分析
    4.3 本章小结
第五章 总结与展望
    5.1 研究结论
    5.2 研究展望
参考文献
致谢
附录
作者简介

(3)基于Hive的电商多维分析系统的设计与实现(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 论文课题背景
    1.2 国内外研究现状
    1.3 论文主要工作
    1.4 论文组织架构
第二章 电商多维分析系统的关键技术
    2.1 Hadoop简介
        2.1.1 HDFS分布式文件系统
        2.1.2 Mapreduce分布式计算框架
    2.2 Hive数据仓库构建
        2.2.1 Hive架构原理
        2.2.2 Hive运行机制
        2.2.3 数据仓库实施步骤
    2.3 ETL技术简介
    2.4 Druid即席查询
    2.5 其他技术
第三章 电商多维分析系统的需求分析
    3.1 系统概况
        3.1.1 系统建设目标
        3.1.2 建设原则
    3.2 系统功能性需求分析
    3.3 系统非功能性需求分析
第四章 电商多维分析系统概要设计
    4.1 系统总体技术架构
    4.2 系统基础平台设计
        4.2.1 原始数据采集模块设计
        4.2.2 平台数据存储模块设计
        4.2.3 多源数据计算模块设计
    4.3 系统OLAP设计
        4.3.1 系统数据仓库层次
        4.3.2 数据仓库的原始数据层
        4.3.3 数据仓库的明细数据层
        4.3.4 数据仓库的服务数据层
        4.3.5 数据仓库的业务数据层
第五章 电商多维分析系统的实现
    5.1 电商多维分析系统技术实现
    5.2 电商多维分析子系统ETL实现
        5.2.1 Flume日志采集详细实现
        5.2.2 Sqoop结构化数据采集详细实现
    5.3 电商多维分析系统数据仓库详细实现
        5.3.1 ODS层数据仓库具体实施
        5.3.2 DWD层数据仓库具体实施
        5.3.3 DWS层数据仓库具体实施
        5.3.4 ADS层数据仓库具体实施
    5.4 用户行为多维维分析设计详细实现
        5.4.1 活跃度用户具体实现及效果展示
        5.4.2 忠诚用户分析实现及效果展示
        5.4.3 用户转化率具体实现及效果展示
        5.4.4 交易行为GMV统计分析具体实现及效果展示
第六章 系统测试
    6.1 基于CDH的系统环境搭建
        6.1.1 硬件平台
        6.1.2 软件环境
        6.1.3 集群部署
    6.2 Azkaban全自动流水化任务调度
    6.3 系统测试与验证
        6.3.1 功能性验证测试
        6.3.2 非功能性验证测试
第七章 总结与展望
    7.1 论文总结
    7.2 论文展望
参考文献
致谢
作者简介
    1 作者简历
    2 发明专利
学位论文数据集

(4)数据驱动的H医药公司渠道优化策略研究(论文提纲范文)

摘要
abstract
第一章 绪论
    1.1 研究背景与意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 研究思路与方法
        1.2.1 研究基本思路
        1.2.2 研究方法
    1.3 研究内容与技术路线
        1.3.1 研究内容
        1.3.2 技术路线
    1.4 论文创新之处
第二章 相关概念界定及理论综述
    2.1 医药基本概念界定
        2.1.1 药品及其分类
        2.1.2 医药市场概况
        2.1.3 医药渠道特征
    2.2 国内外研究动态及评述
        2.2.1 国外研究现状综述
        2.2.2 国内研究现状综述
        2.2.3 国内外研究评述
    2.3 相关理论工具
        2.3.1 交易费用理论
        2.3.2 客户生命周期价值理论
        2.3.3 服务利润链理论
    2.4 本章小结
第三章 医药营销外部环境分析
    3.1 宏观营销环境分析
        3.1.1 人口环境
        3.1.2 政策与法律环境
        3.1.3 经济环境
        3.1.4 社会文化环境
        3.1.5 技术环境
    3.2 行业营销环境分析
        3.2.1 医药行业的规模特征
        3.2.2 医药行业结构现状
        3.2.3 医药企业竞争格局
    3.3 本章小结
第四章 H公司营销渠道现状及问题分析
    4.1 H医药公司概况及SWOT分析
        4.1.1 公司介绍
        4.1.2 营销组织架构
        4.1.3 营销渠道模式
        4.1.4 H公司SWOT分析
    4.2 H公司渠道现状与问题
        4.2.1 企业财务现状
        4.2.2 内部渠道运营现状
        4.2.3 外部渠道客户现状
    4.3 聚焦渠道存在问题与总结
    4.4 本章小结
第五章 渠道优化目标与方案
    5.1 渠道优化的基本目标
    5.2 渠道优化的主要方向
        5.2.1 数据驱动
        5.2.2 建设数据平台
        5.2.3 优化组织结构
        5.2.4 设计客户分类
        5.2.5 组建战略联盟
    5.3 本章小结
第六章 优化策略实施保障及效果评估
    6.1 策略实施的保障
        6.1.1 战略支撑
        6.1.2 组织保障
        6.1.3 人才保障
        6.1.4 文化保障
    6.2 优化方案纵向评估
        6.2.1 数据平台建设实施效果
        6.2.2 组织结构优化实施效果
        6.2.3 客户分类设计实施效果
        6.2.4 组建战略联盟实施效果
    6.3 优化方案横向对比
    6.4 本章小结
第七章 结论及展望
    7.1 结论与不足
    7.2 展望
致谢
参考文献
附录

(5)水泥智能控制云平台总体结构的研究与设计(论文提纲范文)

摘要
abstract
第一章 绪论
    1.1 课题研究背景及意义
    1.2 课题研究现状
    1.3 本文研究内容
    1.4 本章小结
第二章 水泥智能控制云平台需求分析
    2.1 水泥企业数据特点分析
    2.2 平台总体结构需求分析
    2.3 平台功能性需求分析
        2.3.1 总体功能需求
        2.3.2 权限管理需求分析
    2.4 平台非功能性需求分析
        2.4.1 安全性需求分析
        2.4.2 人机交互界面需求分析
        2.4.3 通用性需求分析
    2.5 本章小结
第三章 水泥智能控制云平台相关技术研究
    3.1 B/S与 C/S体系结构研究
    3.2 NET开发平台
        3.2.1 NET Framework
        3.2.2 ASP.NET开发技术
        3.2.3 ADO.NET组件
    3.3 AJAX前后台数据异步交互技术研究
    3.4 OPC接口技术
        3.4.1 OPC接口概述
        3.4.2 OPC数据访问接口规范研究
    3.5 本章小结
第四章 水泥智能控制云平台结构设计
    4.1 整体框架
        4.1.1 结构组成
        4.1.2 网络结构
    4.2 各子系统功能
        4.2.1 数据采集子系统功能
        4.2.2 统计分析子系统功能
        4.2.3 数据库子系统功能
        4.2.4 客户端子系统功能
    4.3 数据采集子系统数据结构
    4.4 统计分析子系统设计
        4.4.1 数据汇总
        4.4.2 异常数据报警
        4.4.3 工序公式计算
    4.5 数据库子系统结构设计
        4.5.1 数据库存储结构
        4.5.2 数据库组成
    4.6 客户端子系统结构设计
        4.6.1 客户端子系统架构
        4.6.2 客户端子系统布局
        4.6.3 客户端子系统层次结构
        4.6.4 客户端子系统通用性设计
    4.7 客户端权限管理设计
        4.7.1 功能级权限管理模型
        4.7.2 数据级权限管理模型
        4.7.3 权限管理功能模块设计
    4.8 本章小结
第五章 水泥智能控制云平台应用
    5.1 应用环境
    5.2 数据采集子系统
    5.3 统计分析子系统
    5.4 数据库子系统
    5.5 客户端子系统
        5.5.1 网站发布
        5.5.2 整体布局
        5.5.3 通用性
        5.5.4 功能模块
    5.6 权限管理
    5.7 本章小结
第六章 总结与展望
参考文献
致谢
附录

(6)基于银行POS收单业务的数据仓库构建及其应用研究(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 问题的提出
        1.1.1 研究背景
        1.1.2 问题的提出
    1.2 国内外研究现状
        1.2.1 数据仓库的应用研究
        1.2.2 CRM国内外应用研究
        1.2.3 数据挖掘在银行业的国内外研究
    1.3 研究的主要内容、目标与方法
        1.3.1 研究的主要内容
        1.3.2 研究目标
        1.3.3 研究方法
第2章 银行数据仓库与数据挖掘
    2.1 数据仓库的基本概念
    2.2 银行数据仓库体系结构
    2.3 银行数据仓库FS-LDM模型
    2.4 基于数据挖掘的银行客户细分方法
        2.4.1 什么是数据挖掘
        2.4.2 基于数据挖掘的银行客户细分方法
    2.5 银行客户细分现状分析
        2.5.1 客户细分理论产生及发展
        2.5.2 银行客户细分现状
第3章 基于POS收单业务的数据仓库构建
    3.1 银行POS收单业务数据源分析
        3.1.1 银行POS收单业务
        3.1.2 银行POS收单业务数据源分析
    3.2 银行POS收单业务信息调研
    3.3 数据仓库模型设计
        3.3.1 数据仓库逻辑模型设计
        3.3.2 数据仓库物理模型设计
        3.3.3 数据仓库的构建
第4章 银行客户细分的实现
    4.1 数据描述
    4.2 预测建模
        4.2.1 CORR过程分析
        4.2.2 回归分析过程
        4.2.3 模型的检验
        4.2.4 模型预测
    4.3 客户细分分析
        4.3.1 客户细分指标
        4.3.2 客户细分及结果分析
结论
致谢
参考文献
附录1 商户信息表表级调研结果
附录2 商户信息表字段级调研结果
附录3 初步入仓筛选表
附录4 表级的物理模型设计表
附录5 个人客户表的物理模型
攻读硕士学位期间发表的论文及科研成果

(7)城市轨道交通线网运营安全保障及评估体系研究(论文提纲范文)

致谢
中文摘要
ABSTRACT
1 绪论
    1.1 研究背景
    1.2 研究目的和意义
    1.3 国内外研究现状
        1.3.1 国内外安全保障研究
        1.3.2 国内外运营评估体系研究
        1.3.3 国内外预测技术研究
        1.3.4 国内外数据仓库应用研究
    1.4 主要研究内容及技术路线
2 城市轨道交通网络化运营保障分析
    2.1 网络化运营格局分析
        2.1.1 网络化运营趋势
        2.1.2 网络化运营特点
    2.2 网络化运营保障需求提出
    2.3 运营安全隐患分析与识别
        2.3.1 运营安全事故分类
        2.3.2 运营安全因素分析
    2.4 运营保障基础理论应用
        2.4.1 数据集成技术
        2.4.2 安全因素识别
        2.4.3 安全预警机制
        2.4.4 评价方法理论
        2.4.5 预警预测方法
    2.5 本章小结
3 城市轨道交通网络化运营评估指标体系研究
    3.1 指标体系建立原则
    3.2 线网运营评估范畴
    3.3 指标体系构建分析
        3.3.1 运输能力评估指标体系
        3.3.2 运营服务水平评估指标体系
        3.3.3 运营安全评估指标体系
        3.3.4 运输组织评估指标体系
    3.4 线网运营评估指标体系表
    3.5 本章小结
4 城市轨道交通运营安全保障模型应用
    4.1 基于BP神经网络的设备故障预警模型
        4.1.1 AFC设备构成及故障分析
        4.1.2 BP神经网络算法
        4.1.3 设备失效故障预测过程
        4.1.4 实验结果分析及校验
    4.2 常态与非常态多场景客流预测模型
        4.2.1 客流特征分析
        4.2.2 基于ARIMA模型的常态日客流量预测
        4.2.3 基于Holt-Winters模型的常态月客流量预测
        4.2.4 基于ARIMA与回归模型相结合的节假日客流预测
        4.2.5 突发大客流影响分析
    4.3 预警报警分级标准
    4.4 运营评估模型
        4.4.1 基于AHP层次分析法的运营安全评估
        4.4.2 基于Fuzzy模糊评估方法的线网运营安全综合评估
    4.5 本章小结
5 基于数据仓库的城轨线网运营安全保障评估系统设计
    5.1 数据需求分析
    5.2 系统架构设计
        5.2.1 系统设计原则
        5.2.2 数据仓库总体架构
    5.3 数据存储架构
    5.4 总体功能设计
    5.5 系统应用实现
        5.5.1 设备监控报警
        5.5.2 客流预警预测
        5.5.3 线网运营评估
    5.6 本章小结
6 总结与展望
    6.1 主要研究结论
    6.2 研究展望
参考文献
作者简历及科研成果清单
学位论文数据集
中文详细摘要
英文详细摘要

(8)基于数据仓库的保险商业智能系统设计与实现(论文提纲范文)

致谢
摘要
ABSTRACT
1 引言
    1.1 研究背景和意义
    1.2 商业智能理论概述
    1.3 商业智能在保险行业的应用
    1.4 主要研究内容和方法
    1.5 论文结构说明
    1.6 本章小结
2 商业智能核心技术
    2.1 数据仓库技术
        2.1.1 数据仓库的定义
        2.1.2 数据仓库的架构
        2.1.3 数据仓库的数据组织
        2.1.4 数据仓库的模型设计
        2.1.5 ETL技术简述
    2.2 OLAP技术
        2.2.1 OLAP的概念与特点
        2.2.2 OLAP的实现方式
        2.2.3 多维数据分析
    2.3 本章小结
3 商业智能系统需求分析
    3.1 需求背景
    3.2 建设目标
    3.3 系统指标体系分析
    3.4 数据质量情况分析
    3.5 系统功能性需求
    3.6 系统非功能需求
    3.7 本章小结
4 商业智能系统总体设计
    4.1 系统总体架构
    4.2 数据架构分析与设计
    4.3 系统整体设计
        4.3.1 数据仓库层
        4.3.2 ETL层
        4.3.3 BI应用层
        4.3.4 数据质量管理
        4.3.5 系统安全管理
    4.4 工具软件介绍
        4.4.1 DataStage
        4.4.2 Cognos
    4.5 本章小结
5 数据仓库设计与实现
    5.1 数据仓库建模
        5.1.1 设计原则
        5.1.2 主题分析与粒度划分
        5.1.3 概念模型实现
        5.1.4 逻辑模型实现
        5.1.5 物理模型实现
    5.2 ETL设计与实现
        5.2.1 ETL概述
        5.2.2 ETL设计
        5.2.3 ETL实现
        5.2.4 ETL调度与维护
    5.3 要点总结
    5.4 本章小结
6 商业智能系统设计与实现
    6.1 商业智能实施方法
    6.2 BI门户系统
    6.3 前端应用
        6.3.1 查询报表
        6.3.2 多维数据分析
    6.4 数据管理平台设计与实现
        6.4.1 主数据管理平台
        6.4.2 元数据管理平台
        6.4.3 数据质量管理平台
    6.5 权限管理设计
        6.5.1 访问策略的定制
        6.5.2 用户和组管理
    6.6 要点总结
    6.7 本章小结
7 总结和展望
参考文献
作者简历及攻读硕士/博士学位期间取得的研究成果
学位论文数据集

(9)基于数据仓库的银行监管报送系统设计与实现(论文提纲范文)

摘要
ABSTRACT
第一章 绪论
    1.1 论文的研究背景
    1.2 论文研究的目的和意义
    1.3 本文主要工作
    1.4 论文的总体结构
第二章 数据仓库及银行监管报送系统概述
    2.1 数据仓库产生背景及发展趋势
    2.2 数据仓库的涵义和特征
    2.3 数据仓库的数据组织
        2.3.1 数据组织架构
        2.3.2 粒度和分割
        2.3.3 数据组织方式
        2.3.4 数据集市概念
    2.4 数据仓库的体系架构
    2.5 联机分析处理
        2.5.1 OLAP的基本概念
        2.5.2 OLAP的多维分析操作
        2.5.3 联机分析处理的数据模型
    2.6 数据挖掘
        2.6.1 数据挖掘的含义
        2.6.2 知识发现的基本过程
        2.6.3 数据挖掘的目的与方法
    2.7 银行监管报送系统概述
        2.7.1 银行监管报送系统的产生与发展
        2.7.2 银行监管报送系统存在的缺陷与不足
        2.7.3 基于数据仓库的银行监管报送系统简述
    2.8 本章小结
第三章 基于数据仓库的银行监管报送系统需求分析
    3.1 需求分析
        3.1.1 银行监管报送业务分析
        3.1.2 银行监管指标体系建立与分析
        3.1.3 银行监管报送系统需求分析
        3.1.4 银行监管报送系统数据库需求分析
    3.2 银行监管报送系统需求规格说明
        3.2.1 利率报表
        3.2.2 非现场监管
        3.2.3 集中上报
        3.2.4 反洗钱监测
        3.2.5 风险预警
        3.2.6 企业报表
        3.2.7 系统维护
    3.3 本章小结
第四章 基于数据仓库的银行监管报送系统总体设计
    4.1 数据仓库产品的选择
    4.2 数据仓库的实施策略
    4.3 数据库设计
    4.4 数据库实施及运维
    4.5 基于数据仓库的银行监管报送系统构建方法
        4.5.1 明确银行监管统计需求
        4.5.2 银行数据仓库创建
        4.5.3 银行数据仓库及监管报表数据模型
        4.5.4 银行数据仓库及其监管报送系统应用
    4.6 系统设计
        4.6.1 系统总体框架
        4.6.2 数据处理采集模块设计
        4.6.2.1 总体数据处理
        4.6.2.2 平台数据转换
        4.6.2.3 基础集市处理
        4.6.3 数据仓库与多维数据集的建立及管理模块设计
        4.6.4 基于数据仓库的银行监管报送系统开发模块设计
    4.7 本章小结
第五章 基于数据仓库的银行监管报送系统详细设计与实现
    5.1 数据仓库建模
        5.1.1 多维数据模型建立
        5.1.2 数据仓库的结构
        5.1.3 物理模型的创建
    5.2 数据抽取、转换、清洗及装载
        5.2.1 ETL数据转换工具及特点
        5.2.2 基于数据转换平台的系统架构
        5.2.3 数据仓库数据转换
        5.2.4 数据集市数据转换
    5.3 银行监管报送系统后台应用开发
        5.3.1 系统平台搭建及实现
        5.3.2 系统数据转换过程
        5.3.3 系统功能结构
    5.4 报表工具分析应用
    5.5 基于WEB应用前台开发
        5.5.1 前台Apache Tomcat部署
        5.5.2 Java Web工程设计开发
    5.6 本章小结
第六章 基于数据仓库的银行监管报送系统测试与结论
    6.1 测试环境部署
    6.2 转换模块测试
        6.2.1 基础数据转换模块测试
        6.2.2 数据集市转换模块测试
    6.3 用户功能测试
        6.3.1 管理员功能测试
        6.3.2 操作员功能测试
    6.4 日终批处理测试
    6.5 本章小结
第七章 总结与展望
    7.1 总结
    7.2 展望
致谢
参考文献

(10)基于Hive的物流数据仓库研究与实现(论文提纲范文)

摘要
ABSTRACT
1 绪论
    1.1 选题背景和意义
    1.2 国内外研究现状
    1.3 研究内容
    1.4 论文组织结构
2 相关技术
    2.1 Hadoop
    2.2 传统数据仓库
    2.3 Hive数据仓库
    2.4 Sqoop
    2.5 数据ETL
    2.6 本章小结
3 基于Hive的物流数据仓库分析与设计
    3.1 需求整理
        3.1.1 功能性需求
        3.1.2 非功能性需求
    3.2 系统设计
        3.2.1 总体架构设计
        3.2.2 开发语言选择
    3.3 技术方案
        3.3.0 数据处理平台
        3.3.1 数据ETL
        3.3.2 数据存储
        3.3.3 前置处理
        3.3.4 查询分析处理
        3.3.5 后置处理
        3.3.6 Web设计
    3.4 本章小结
4 基于Hive的物流数据仓库实现
    4.1 基于虚拟化的大数据平台搭建
        4.1.1 Hadoop集群搭建
        4.1.2 Hive环境部署
        4.1.3 Sqoop环境部署
        4.1.4 数据仓库扩展
    4.2 数据ETL自动化
        4.2.1 多线程ETL自动化
        4.2.2 ETL最佳线程数研究
    4.3 数据处理实现
        4.3.1 前置处理
        4.3.2 查询分析处理
        4.3.3 后置处理
    4.4 Web应用
    4.5 本章小结
5 基于Hive的物流数据仓库运行
    5.1 Hive数据仓库运行
        5.1.1 ETL过程监控
        5.1.2 数据处理过程监控
    5.2 Web展示
        5.2.1 面单全程分析
        5.2.2 面单妥投分析
        5.2.3 扫描流量分析
        5.2.4 网点吞吐分析
        5.2.5 流向时效分析
        5.2.6 快递财务看板
    5.3 本章小结
6 总结与展望
    6.1 总结
    6.2 展望
参考文献
攻读硕士期间发表的论文
致谢

四、析数据仓库建设中的数据特点、流向及追加技术的选择(论文参考文献)

  • [1]大数据探索式多维分析及可视化系统的设计与实现[D]. 孔慧慧. 北京邮电大学, 2020(05)
  • [2]停车管理数据仓库构建与可视化分析[D]. 李伟超. 西安电子科技大学, 2020(05)
  • [3]基于Hive的电商多维分析系统的设计与实现[D]. 贾翼. 浙江工业大学, 2020(08)
  • [4]数据驱动的H医药公司渠道优化策略研究[D]. 成轩浩. 电子科技大学, 2019(04)
  • [5]水泥智能控制云平台总体结构的研究与设计[D]. 杜永文. 济南大学, 2019(01)
  • [6]基于银行POS收单业务的数据仓库构建及其应用研究[D]. 何艳. 西南交通大学, 2017(03)
  • [7]城市轨道交通线网运营安全保障及评估体系研究[D]. 白丽. 中国铁道科学研究院, 2016(05)
  • [8]基于数据仓库的保险商业智能系统设计与实现[D]. 孟维一. 北京交通大学, 2016(01)
  • [9]基于数据仓库的银行监管报送系统设计与实现[D]. 周天军. 电子科技大学, 2016(02)
  • [10]基于Hive的物流数据仓库研究与实现[D]. 王伟. 东华大学, 2016(05)

标签:;  ;  ;  ;  ;  

数据仓库建设中数据特征、流向及附加技术选择分析
下载Doc文档

猜你喜欢