调动海量数据每根神经

花旗集团在德国拥有近300个分支机构。由于拥有300万的用户量，因此花旗在德国建立了一个新的在线历史数据存档系统，大量的数据被高效存储起来，压缩比达到43%。现在，借助于在线历史数据存档系统可以有效地实时存储和分析大量的业务数据。利用数据库管理，用户能够实时查询存档数据，或者将其重新导入交易数据库中，如果需要的话(比如说发现了错误)，还可以修改数据并重新归档。所有在交易数据库中的修改都被跟踪和审计。

标记数据库，唤醒沉睡数据

2002年7月，Sarbanes-Oxley Act 萨班斯法案在美国通过。该法案主要用于保护上市公司的投资者，避免其利益被公司管理人员的欺诈行为所损害。这一法案将更加仔细地监控相关的证券交易数据，同时必须在规定的时限内保存，而且在需要的时候还必须可以快速恢复并被访问。现在，一些新颁布的国际法规定，例如：一些国家要求保留过去3到4年的贸易和交易的记录。而税务机关要求公司不仅保存很长时间的财务数据，还要同时保存生成资产负债表的原始数据，以便将来审计。所有这些法规对于不同类型的数据的保留期要求都不尽相同。新的国际标准给全球公司治理模式带来了影响。

“这就是花旗集团需要一个全新的存档管理系统的原因。”集团第一副总裁Szafran Athey表示，“由于数据规模不断增长、保留期限越来越长和检索要求越来越快，原来的方法已不堪重负，而且安全地保存备份磁带将会耗费大量人力物力，所以成本会十分高昂。对于数据查询同样如此。如果要查询几年前的数据，软件系统和硬件系统版本因为不断地升级，后台系统的兼容性难以保证，也很难恢复陈旧的数据。出于这些原因，我们不得不保存所有的软件版本，这也导致无法快速访问以前特定历史数据。用户仅仅可以在磁带上查询一两年前的数据，而且需要大量的时间。但在10年以上的数据中搜索特定信息是几乎不可能的。”

当数据保留时间越来越长时，对于存储空间的需求也变得永无止境。然而，现在不断涌现的需求是要能够快速恢复历史数据以便于在线访问。这也就意味着，不仅仅是单据、合同和人力资源文档等，还包括日常业务数据、e-mails、业务系统产生的交易数据、股票交易双方通信往来信息等，越来越多的数据都要被很好地管理起来。这个过程将产生海量的数据，而且还要确保能够快速恢复数据，并在线获得特定的信息。

目前，花旗集团已存储了德国分支机构4年的交易数据，共计1320 万条记录。每一条记录包括388 字节。在通常的SQL数据库中，这些数据由于索引的冗余而膨胀到405字节。与此相反，选用Sybase IQ数据库仅仅用了208字节存储同样的信息，这意味着压缩比为43%。他们的目标是，使10年的交易数据可以随时在线访问。

为企业战略提供决策基础

专家指出，数据仓库技术自诞生至今，经历了五个发展阶段。第一个阶段就是利用批处理技术，把机构内不同来源的信息集成到一个单一的仓库中，形成报表，为公司跨职能或跨产品的决策提供重要参考。而在数据仓库应用的第二阶段，决策者关心的重点发生了转移，从单纯的“发生了什么”转向“为什么会发生”，这个阶段数据仓库所做的工作主要是分析。第三阶段就是提供数据采集工具，以便利用历史资料创建预测模型。而数据仓库演变的第四阶段就是动态数据仓库。从第一到第三阶段的数据仓库都以支持企业内部战略性决策为重点，第四阶段则重在战术性决策支持。数据仓库对战略性决策的支持是为企业长期决策提供必需的信息，包括市场细分、产品管理战略、获利性分析、预测和其他信息。战术性决策支持的重点则在企业外部，为执行公司战略的员工提供支持。随着动态数据仓库在决策支持领域中的角色越来越重要，企业实现决策自动化的积极性就越高。在人工操作效果不明显时，为了寻求决策的有效性和连续性，企业就会趋向于采取自动决策。这种对自动化决策提供支持的数据库就是目前数据仓库技术发展的最高阶段，即第五个阶段。

在金融业，动态数据仓库的应用主要是预先预防和控管某些风险，而不是等到风险发生之后再报告，从而将原来的被动管理转化为现在的主动防范。金融行业动态数据仓库的一个应用实例是上海证券交易所，除了风险控管，还涉及到交易行为是否合乎某些规定的问题。比如，上证所通过对数据的分析和整理来判定自己的交易行为，或者是客户的交易行为是否符合法律法规的要求，这也是动态数据仓库合规性的一种体现。

加快提升竞争综合力

随着我国金融业的迅猛发展，业务处理能力不断扩展，大量新的服务手段不断应用，使得金融部门需处理业务种类和业务量都远远超过了以往任何时候。作为国内业界第一个成功的数据仓库系统，招商银行数据仓库系统目前应用情况良好，对公系统、人事系统、储蓄系统等运行顺利，特别是储蓄系统业务实践取得了成功。在应用中，招商银行数据仓库系统实现了异构数据的集成。高效率的加载、存储和查询及以专题分析为特色的切合实际应用的数据分析功能。在该数据仓库系统中，最终用户可通过多种访问方式使用数据仓库获得有用信息：可通过安装客户端程序实现即席查询；可通过浏览器直接访问服务器端WEB应用；也可以通过办公自动化系统的电子邮件传递获得定制统计结果。整个系统的高性能促进了业务效率的明显提高，用户评价良好。基于现有的成功，招行还计划以后将数据仓库系统进一步开发，将应用分成固定报表(远程用户通过E-MAIL传递统计结果)及即席查询两部分，以进一步利用本系统的优越性能，为用户提供更完善的服务。

前不久，中国农业银行与Sybase公司正式签约，在全国范围内建设统一的联机综合业务系统和分析类信息系统基础平台，以有效利用原有信息化资源、切实降低海量数据存储与管理成本，并将银行业务管理规范化和合理降低金融风险落到实处。此项举措对于国内网点最多、业务辐射范围最广的大型国有商业银行来说绝非易事。

农行相关部门负责人指出，在中国金融市场逐步向外资开放的大环境下，国有商业银行必须进一步提升决策效率和经营水平。作为本项目的核心产品，Sybase IQ专利的索引技术、独特的列存储技术，以及对数据压缩方面的专长和便捷的应用移植能力，将极大地提升农行经营分析的科学性和有效性。利用被誉为“绿色数据库”的高性能产品，在Bit-wise等索引技术的支持下，有效解决了存储效率和响应速度的两难问题。在中国农业银行联机综合业务系统和分析类信息系统基础平台的构建中，Sybase IQ将对具有报表、查询等统计分析处理特性数据的进行分析处理，其应用将有效确保业务部门根据自身的管理、业务需求，对数据进行存储及加载，并将信息快速、灵活地展现给系统使用人员。

标签： 安全 标准 电子邮件 访问服务器 服务器 服务器端 计划 金融 美国 企业 数据分析 数据库 搜索 通信 问题 信息化 行业 用户

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。