当前位置 : 网站首页 > 新闻中心

2019

09-27


来源:

浏览: 5

作者:

数据库复制技术在数据仓库决策支持系统中的应用
数据库复制技术在数据仓库决策支持系统中的应用郝丽娜,吴光宇,陈文林,徐新和(沉阳006,东北大学机械与自动化学院)(上海金山钢铁集团设备部,上海201900)理论与实践讨论。分类:TP.13文档标识码:A1前言传统决策支持系统(DSS)是基于数据库,模型库和方法库的结构框架,分为在线交易处理(OLTP)和管理信息系统(MIS)。 。决策支持系统(DSS)三层结构系统,由于当时计算机技术的局限,前两层在实际应用中起着较大的作用,最后一层主要处于理论实验研究阶段。随着MIS在各个行业中的广泛应用,人们不仅对计算机数据查询,报告打印感到满意。需要计算机来帮助分析数据,发现问题并协助决策,因此计算机技术人员需要将重点从简单的数据收集转移到数据分析上。近年来,国外涌现的数据仓库技术(DataWarehouse),数据挖掘技术(DataMining)和在线分析处理技术(OLAP)为决策支持系统的研究和开发提供了新的途径,推动了决策支持系统的发展。进入实用阶段。在过去的十年中,大多数中国软件都是独立开发的,并取得了良好的社会和经济效益。数据仓库技术不仅需要大量数据,而且还需要满足某些组织结构数据。如果将数据以表和帐户的形式组织在单独的业务系统中,则数据只是一种。原始状态下的资源是一些信息孤岛。多年来,国内外许多机构和公司已将信息技术用于管理和运营,以提高运营效率和增强竞争力。这些基于关系数据库的系统的应用导致越来越多的关键数据被存储在数据库中,但是这些数据尚未得到充分利用。对于不熟悉这些业务系统的数据结构及其表和帐户的管理人员来说,很难找到并使用这些数据,从而使形成完整的业务视图更加困难。关系数据库管理系统更适合在简单列表记录级别进行查询,修改和删除。基于关系数据库系统的传统OLTP是面向应用程序,事务驱动的,其数据被业务系统以及表和帐户关闭。因此,使用支持的关系数据库进行分析非常困难。对于未集成且不能在不同系统环境中均匀分布的数据格式,不能很好地支持DSS。 2数据仓库DSS模型将数据仓库定义为:数据仓库是面向主题的管理决策过程支持。 ,集成,稳定且耗时的数据收集。简而言之,数据仓库是一个综合系统,旨在使用现有数据进行分析和推理,以提供决策依据。数据仓库的面向主题性质是对客观事物(例如销售市场和军事后勤支持)的决策支持的领域。与主题相关的数据经过有机整合并存储了5至10年,用于分析主题的时间趋势。因此,数据仓库的存储容量通常约为普通数据库的50100倍。数据仓库应用程序是典型的客户端/服务器体系结构。客户的工作包括与客户的互动,格式化查询和结果的格式以及生成报告。服务器端完成各种SQL查询,复杂的计算和各种综合功能,以帮助决策。现在,越来越常见的形式是三层结构,在客户端和服务器之间添加了多维数据分析服务器。 OLAP服务器可以加强和规范决策支持的服务工作,集中和简化原始客户端和数据仓库服务器的部分工作,减少数量t的系统数据传输,因此工作效率更高。数据仓库DSS是一个解决问题的过程,关键是如何组织面向主题的数据。总体开发过程如图1所示。从图1中可以看出,数据仓库中的数据组织是通过数据转换完成的。小型微型计算机系统3数据库复制为了更直接地表达数据转换的过程,本文介绍了计算机行业常用的复制概念。简而言之,复制技术具有将数据源从一个数据库复制到同一台计算机上或另一台计算机上的另一个数据库的持久能力。复制操作还可以修改复制的数据,但是只能修改目标数据。复制是一种非常有用的技术,可以在适当的控制下进行修改的同时,将数据从一个系统连续发送到另一个系统。复制服务器通常是另一台运行数据库的计算机,该数据库管理数据源数据和目标数据之间的复制过程。复制服务器负责修改源数据,然后将对所有复制信息的修改发送到目标服务器。 3.1复制保证复制技术可用于轻松地将数据仓库与数据源同步。同一复制程序可以将复制的数据分发到多个目标,因此可以用作多个数据库复制数据的分发渠道。复制使设置备用数据库系统变得容易。所谓备用数据库系统是指与源系统等效的系统。当源系统发生故障时,应用程序可以切换到目标系统,因为它包含与源系统完全相同的数据。复制过程通常分为两种情况:一种是事件驱动的(由管理程序指定的事件触发,例如修改数据值),另一种是时间相关的(在指定时间内执行)。 3.2复制系统测试源数据的难度改变了限制复制服务器的进程数。如果有多个应用程序同时更新源数据,并且只有一个进程监视修改后的登录名,则复制程序会延迟目标数据的修改。复制系统可以是非侵入性的(即,它们不影响其管理的源系统和目标系统的性能),也可以是侵入性的(即,它们可以在运行时限制应用程序和用户对数据库的访问)。如果计划不当如果复制系统,可能会造成很多麻烦,例如数据不同步,影响性能,甚至停止价值数百万美元的通信网络。 3.3复制管理复制系统可以代表计算和通信资源的潜在渠道。它还可能会影响现有的操作系​​统。复制系统必须使用了解这些潜在问题的整体策略进行管理。采用的策略必须包括以下几个方面:3.3.1规划网络传输主要包括规划网络带宽,评估现有能力,预测应用服务器和源数据以及目标数据之间的数据流。由于复制的周期性,网络必须管理数据流。这大大增加了网络可用性的负担,并用恢复过程代替了不完整的复制过程。 3.3.2评估信息处理评估复制目标所需的总体数据水平是一项重要任务。如果满足多功能性需求,则可以避免过度设计复制过程。数据通用性的每项要求都必须逐项测试。立即复制数据的任何请求都必须经过严格测试。确保有必要。通过减少复制数量和修改数量,可以更有效地使用通信和系统资源。 3.3.3有效安排复制过程有效安排是管理资源冲突的重要方法。它包括减少网络带宽需求,利用非高峰时间进行复制交付,在多个时间段内传输数据以及使用时间和事件触发器。控制复制过程等。 3.3.4考虑数据兼容性复制过程为有时不必在同一数据库系统之间执行。不同数据库的数据字段类型差异很大,因此在执行数据库复制时应充分注意这种差异。 3.3.5代码一致性复制数据时,通常会修改和补充源数据库的结构,有时会执行多个源数据库副本。因此,在复制时,请确保代码一致性。 4数据库复制应用程序当前,大多数大型数据库系统本身都具有复制功能,但是小型数据库本身不具有复制功能,因此需要使用编程来弥补这一缺点。本文介绍将一个小型数据库(Foxbase)复制到一个大型系统中使用的源数据库进行编译,无法修改源程序,目标数据库是基于MSSQLServer6.5实现的。源数据库更改不是很频繁。为了减少网络流量,决定使用事件驱动的方法进行数据库复制。如图2所示。1Foxbase应用程序系统操作源数据库2运行CopyFile.exe3后的应用程序系统读取当前数据库时间t14读取数据库上次修改时间t2和目标路径5更新数据库上次修改时间如下:数据升级成功后,基于DOS的客户端必须登录到Internet。同时,具有写权限的映射服务器路径之一是客户端的驱动程序,例如映射F:服务器端c:xxt?在客户端,创建一个文本文件(FileTime.txt),该文件记录每个需要升迁的DBF文件的名称,路径,目标路径以及文件的最后修改时间。格式如下:第一阶段郝丽娜等:数据库复制技术在基于数据仓库的决策支持系统中的应用?编写一个客户端程序(CopyFile.exe),以确定与促销相关的数据库文件(DBF)是否已更改。如果已更改,请将其复制到数据库服务器,并记录要升级的数据库修改时间。在此,解决了非法字符的问题,并且通过操作系统的功能定期执行程序。例如,UpdateData.exe在星期二至星期五的零时执行以提升数据。 ?在设置控制面板服务中启动计划服务,并将其启动模式属性设置为自动启动。 5结束语基于数据仓库的决策支持系统是一个相对较新的主题,在使用中将面临许多意想不到的问题。例如,数据仓库和数据挖掘都是需要研究的主题。本文仅对数据收集中的数据复制进行一些研究。可以预见,随着技术的发展,数据仓库技术将逐渐被广泛使用。小型微机系统
分享到: