-
BI解决方案 – 基于MS SQL SERVER生态圈
微软体系中的SSIS, SSAS, SSRS是一套相辅相成的工具,组成了微软的BI(商业智能)解决方案。
架构举例,SQL SERVER 2012 BI体系配置如下:
简单来说:
-
- SSIS 是ETL工具,将 数据库的数据抽取到数据仓库;
- SSAS 是Cube(多维数据库)工具,将数据仓库转换成多维数据库;
- SSRS 是报表工具,用多维数据库作为数据源来呈现报表。
以下是详细的介绍:
SSIS是SQL SERVER Integration Services的简称,是用来做清洗数据的,将数据按照提前设定好的规则清洗后,并存储到数据仓库。总之,SSIS是用来创建ETL(是从基于OLTP的数据库到OLAP的数据仓库数据提取-Extract、清洗-Cleansing、转换-Transform、装载- Loading的过程)包的。
Integration Services 包括用于生成和调试包的图形工具和向导;用于执行工作流函数(如 FTP 操作)、执行 SQL 语句或发送电子邮件的任务;用于提取和加载数据的数据源和目标;用于清理、聚合、合并和复制数据的转换;用于管理 Integration Services 的管理服务 Integration Services 服务;以及用于对 Integration Services 对象模型编程的应用程序编程接口 (API)。SSIS包的典型用途:
- 合并来自异类数据存储区的数据;
- 填充数据仓库和数据集市;
- 清楚数据和将数据标准化;
- 将商业智能置入数据转换过程;
- 使管理功能和数据加载自动化。
SSIS部分操作的视频整理如下:
- 创建SSIS:https://v.kuaishou.com/cqA7Q0
- SSIS组件展示: https://v.kuaishou.com/cn5FAD
- 部署SSIS: https://v.kuaishou.com/9JE0NM
SSAS是SQL SERVER Analysis Services的简称,是基于数据仓库,将数据预处理通过聚合,生成一个稀疏的数据立方体,创建多维度数据库并提供服务。
SSAS可以提供了联机分析处理(OLAP)和数据挖掘功能的商务智能应用。分析支持OLAP服务让你的设计,制造,和管理的多维结构,包含来自其他数据源汇总数据,如关系数据库。数据挖掘应用程序,分析服务,让你的设计,制造,和可视化的数据挖掘模型的构建通过使用各种各样的行业标准数据挖掘算法的其他数据源。
A、分析服务的概念和对象的Analysis Services功能和体系结构的介绍:
a、分析服务的结构:微软SQL Server分析服务(SSAS)使用的服务器和客户端组件提供联机分析处理(OLAP)和数据挖掘功能的商务智能应用:分析服务的服务器组件作为微软Windows服务的实现。SQL Server分析服务支持多个实例在同一台计算机上,与每个Analysis Services实例作为一个单独的Windows服务实例。
b、客户使用公共标准XML分析服务沟通(XMLA),一个基于SOAP发出命令和接收响应协议,公开为Web服务。客户端对象模型也提供了XMLA,并可以用托管提供程序访问,如adomd.net,或一个本地的OLE DB提供程序。
c、查询可以发出命令使用以下语言:SQL;多维表达式(MDX),一个行业标准的查询语言的分析;或数据挖掘扩展插件(DMX),一个行业标准的面向数据挖掘查询语言。分析服务脚本语言(ASSL)也可以用来管理Analysis Services数据库对象。相关主题:在MDX中的关键概念(MDX),多维表达式(MDX)参考,分析服务脚本语言(ASSL),数据挖掘扩展插件(DMX)参考分析服务还支持本地多维数据集引擎,使断开连接的客户端。
B、分析服务的概念
微软SQL Server 分析服务(SSAS)提供在线分析处理(OLAP)和数据挖掘功能的商业智能解决方案。在使用分析服务的商业智能解决方案的设计,您应该熟悉OLAP和数据挖掘的概念,成功的解决方案所必需的。分析服务相结合的最好的方面,传统的基于OLAP分析和关系以使开发人员能够定义一个数据模型的报告,称为一个统一的三维模型(UDM)在一个或多个物理数据源。所有的最终用户查询OLAP,报告,和定制的商务智能应用程序访问的数据在基础数据源通过UDM,它提供了一个单一的这种关系数据业务视图。分析服务提供了一套丰富的数据挖掘算法,使企业用户挖掘其数据寻找特定的模式和趋势。这些数据挖掘算法可以用来通过UDM或直接从物理数据存储分析数据。
C、分析服务的对象
一个微软SQL Server 分析服务(SSAS)实例包含使用数据库对象和组件的联机分析处理(OLAP)和数据挖掘。
a、数据库包含OLAP和数据挖掘的对象,如数据源,数据源视图,立方体,措施,测量组,尺寸,属性,层次,结构挖掘,挖掘模型和角色。
b、程序集包含用户定义的功能扩展提供多维表达式的内在功能的功能(MDX)和数据挖掘扩展插件(DMX)语言。SSRS是用来展示数据的,也就是生成报表的,数据来源于 数据仓库或者 通过SSAS生成的数据立方体中,以提供报表服务。
SSAS部分操作的视频整理如下:
- 创建SSAS: https://v.kuaishou.com/bj9arU
- SSAS完整项目展示: https://v.kuaishou.com/9pj2Oq
SSRS是SQL Server Reporting Service的简称,用来展示数据的,数据来源于数据仓库或者通过SSAS生成的数据立方体中,也就是我们常说的提供报表服务。
提供全方位的现成的工具和服务来帮助用户创建,部署,管理组织的报告,以及编程功能,能够扩展和定制的报告功能。报表服务是一个基于服务器的报表平台,提供全面的报告对各种数据源的功能。
Reporting Services包括创造,管理一个完整的工具集,并提供报告,和API,使开发人员能够整合或扩展的自定义应用程序中处理数据和报告。Reporting Services工具在微软的Visual Studio环境和SQL Server工具和组件完全集成。
报告服务可以创建互动,表格,图形,或空白的报告关系,多维的,或基于XML的数据源。报告可以包括丰富的数据可视化,包括图表,地图。用户可以发布报告,进度报告处理,或按需访问报告。可以从多种视角的格式选择,报表导出到其他应用程序如微软Excel,并订阅发布的报告。创建过程可以被视为在一个基于Web的连接,或作为一个微软的Windows应用程序或Share Point网站。用户还可以创建对发布到Share Point站点报告数据的通知和接收电子邮件消息时,报告数据的变化。
SSRS操作视频包含在这里:https://v.kuaishou.com/b2EheR
日常使用中,SSAS和SSRS使用较少些,数据建模和报表展示的功能在大多数情况下,一些常用的可视化工具如,Power BI, Tabular也可以完成。或者更加复杂与定制化的分析任务,可以通过R或者Python调用TensorFlow等开源的工具完成。所以,这套BI方案中最常用的搭配是SQL SERVER数据库+ETL工具(SSIS),剩余的需要分析团队自由发挥。
出处:https://www.cnblogs.com/yxmings/p/14618075.html
附件:
- SQL Server数据库相关:SQL是英文Structured Query Language的缩写,意思为结构化查询语言。SQL语言的主要功能就是同各种数据库建立联系,进行沟通。按照ANSI(美国国家标准协会)的规定,SQL被作为关系型数据库管理系统的标准语言。SQL语句可以用来执行各种各样的操作,例如更新数据库中的数据,从数据库中提取数据等。目前,绝大多数流行的关系型数据库管理系统,如Oracle, Sybase, Microsoft SQL Server, Access等都采用了SQL语言标准。
- 在早期的微软体系中,还加入了Power Pivot和Power View,分别用于建模和自助式BI展现,现阶段受众面比较广的是上面提到的两个工具Power BI和Tabular,当然这些工具是需要单独购买的。
-
BI:数据展示-图表的数据要素以及图例展示