全共享Sybase IQ15.3实现大规模并行分析

帮助企业步入云时代

　　连续几十年来，为了制定具有战略性、战术性、操作性且行之有效的经营决策，各大商业企业和政府机构力求通过商业智能手段，将有关企业、客户、市场、业务流程的原始数据转换为极具价值的信息。然而，随时数据类型和数据量的高速增长，企业和机构的数据分析和优化决策的制定面临着巨大的挑战。为了得出最佳决策，首选办法就是寻找更加智能的高级分析。

　　高级分析涵盖了面向所有类型数据（业务与消费、内部与外部、结构化和非结构化）的数学模型和计算算法的应用，它可将以上类型的数据转换为有助于行动的信息。它甚至能够帮助企业利用这些数据和知识资产进行决策或制定决策以及采取适当的行动。高级分析能够支持几乎任意的商业流程，能够帮助企业在广泛的领域开发出独特的能力，包括更好地理解客户和竞争对手、预防欺诈、模拟与降低风险和优化供应链执行，最大化市场投资的结果，辨别和消除利润流失等。

　　高级分析所能带来的效益和利益不可估量，但实现起来，却有着严苛的条件，不仅在技术方面涉及统计分析、预测和推断、数据挖掘、预测建模以及决策优化，还需要一个能够存储大量数据、执行并行查询并能获得商业洞察力的分析型服务器——而世界领先的列式服务器SybaseIQ正是满足以上要求的首选智能方法，它正通过不断的技术创新全面为向企业和机构提交着更智慧的高级分析。

　　SybaseIQ——“独一无二”的列式存储

　　SybaseIQ的设计正是为了满足企业不断增长的多样化的分析需求。相比于传统的“行式存储”的关系型数据库，SybaseIQ使用了独特的列式存储方式，在进行分析查询时，传统的关系型数据库需要缓慢的读取整个表的每一行，这种读取方式通常会阻塞I/O通道、内存和磁盘，而SybaseIQ仅需读取查询所需的列，其垂直分区策略不仅能够支持大量的用户、大规模数据，还可以提交对商业信息的高速访问，其速度可达到传统的关系型数据库的百倍甚至千倍。

　　另外，SybaseIQ所采用的Multiplex技术，充分利用了单个服务器（节点）在执行特定功能时可进行磁盘存储共享并通用的优势。也就是说，存储是共享的、压缩的、列分区存储的，它们通过一条高速的光纤通道与Multiplex架构中的所有服务器节点互联。这些服务器节点既可以作为数据读节点也可以作为写节点（或者两者都是）运行，支持所有连接到共享数据源的并发的数据加载和查询。这一技术使得SybaseIQ可以在大量的使用场景中游刃有余，比如快速的并行分析和报表，同时支持高速的实时数据加载、批量数据集成任务、即席客户端加载和查询等等（见下图）：

　　多年来，Sybase将SybaseIQ革命性的列式架构与智能软件的开发哲学有效结合，不断地推陈出新，使得它不仅能够提供强大的分析速度和功能，同时拥有着无与伦比的安全性、经济性、可管理性。

　　SybaseIQ15——“独领风骚”的分析支持

　　两年前，Sybase发布了分析服务器SybaseIQ15，进一步推动了其在商业智能方面业已非常强势的增长。SybaseIQ15版本提升了核心的引擎基础架构能力，包括数据加载和查询性能、改进的安全架构、强大的集群管理和因数据分区而增强的管理等等。自此之后的一年中，Sybase陆续发布了15.1和15.2版本，每个版本都着力于增加新的核心能力以促进更深入的高级分析。

　　SybaseIQ15.1新增了数据库内分析功能，这一功能允许用户定义模型和合作伙伴分析库并在数据库内执行。由于数据在分析结果被物化之前从来没有离开过数据库，这就大大缩短了从数据搜集到生成结果的周期，并有效提高了数据安全的级别，能够分析更大的数据集同时获得更准确的结果。与此同时，SybaseIQ15.1还提升了对数据库建模、管理与监控的工具支持。

　　在SybaseIQ15.1的基础上，SybaseIQ15.2进一步提升了分析支持，包括全文检索、联合查询以及Web分析功能。同时，它也提供了对联邦查询的支持，从而扩展了可在SybaseIQ框架内分析的数据源的范围。有了这个功能，位于远程数据库中的数据可以被检索，并可与SybaseIQ中的数据整合起来从而成为一个全面的高性能分析查询和模型执行的一部分。

　　长期以来，这些独创的技术革新使得SybaseIQ一直位于列式分析服务器市场的领导者地位。目前，全球已有2,000多名用户采用了SybaseIQ创新的列式处理方法，为其关键的分析和报表系统提供支持。在过去三年，每年都有大约200个新客户加入SybaseIQ用户阵营。目前，最新版本的SybaseIQ15.3已经发布，全新版本将性能、分析、灵活性提高到了更高的级别。

　　SybaseIQ15.3——采用“全共享”MPP架构

　　相比以往版本，为了更大限度地提升分析性能和可扩展性，采用PlexQ技术的SybaseIQ15.3使用了全共享MPP架构，扩展后可支持实时访问数千个用户、多个混合工作负载和大规模数据集，将性能、分析、灵活性提高前所未有的高度，从而重新定义企业级业务分析。它同时继续加大对高级分析开发、建模和执行的支持，而且提供了更加强健的数据管理和灵活性。

　　主题一：分析性能和可扩展性

　　由于采用了独特的Multiplex与共享存储设计，SybaseIQ15.3的性能和可扩展性达到了前所未有的新高度。同时，一直在任意服务器节点上所具有的并行查询功能，现在通过分布式查询进程可以扩展到跨多个服务器节点。而且，私有云和弹性计算也随着可动态创建以支持不同工作负载的逻辑服务器概念而被引入。

　　·加速分布式查询进程——SybaseIQ15.3引入了大规模并行处理（MPP）架构的PlexQ分布式查询平台（DQP），PlexQDQP可将一个查询分解为很多部分并将这些部分分布在多个服务器节点上，通过并行执行提高查询性能，加快高度复杂查询的速度。与无共享（Shared-nothing）MPP架构不同的是，PlexQ使用了全共享（Shared-everything）方法，可在多个计算节点中动态管理和平衡查询负载。

　　使用PlexQDQP之后，SybaseIQ可在计算能力、I/O吞吐、数据存储的所有维度上提供无与伦比的性能和可扩展能力——通过MPP架构实现计算能力的扩展；通过SybaseIQ智能化的垂直分区列存储、大页面、Bitmap索引技术保持其在IO吞吐方面的高性能；通过在多层存储环境中增加更多的磁盘来实现存储能力的扩展。

　　·逻辑服务器实现弹性计算——通过将一个个物理硬件资源组合成为一个单一的、逻辑Multiplex服务器，SybaseIQ15.3的逻辑服务器提供了一流的资源供给能力。当用户连接逻辑服务器执行某一查询时，这一执行仅仅是分发到逻辑服务器的成员节点上，而为了适应单独的应用负载需求，成员节点可以被动态的增加或删除。这种尖端的能力保证了对私有数据集市云的弹性计算，而且可以进行实时调整，确保每个应用负载总是接收最佳数量的计算和存储资源，从而以最高的性能运行。

　　SybaseIQ15.3系统测试结果证明PlexQDQP的高级分析查询等技术性能呈线性扩展。

主题二——高级分析

　　相比以往版本，SybaseIQ15.3继续通过扩大支持流行Web分析编程语言的范围以及扩展用户自定义函数中支持的数据类型，提高对分析工具支持的级别。

　　·支持Ruby编程语言——Ruby是一种常用于Web应用的开发、面向对象的类似于Python或Perl的编程语言。SybaseIQ15.3能够支持一些RubyAPI包，包括内建的Ruby驱动，允许Ruby代码与SybaseIQ数据库进行交互。

　　·支持用户自定义函数的扩展——SybaseIQ15.3允许大对象数据类型作为用户自定义函数的输入参数。通过联合SybaseIQ的大对象管理选项，可将大型非结构化数据对象作为用户自定义的分析函数输入，从而能够进行大数据对象内容和上下文的分析。这些对象类型包括：图形、地图、文本、视频和音频文件以及对分析进程具有重要价值的众多信息。

　　主题三：数据管理与灵活性

　　相比以往版本，SybaseIQ15.3在数据管理、灵活性与信息可用性三个关键特性上得到了进一步的加强——单个服务器节点间可进行更细粒度的通讯从而提供高可用性；可将Web服务作为SybaseIQ中的新数据集使用以及引入高性能的ELT从而加速了源数据的移动。

　　·Multiplex进程间通讯（MIPC）——这一通讯层技术可使Multiplex中所有节点间进行事务连接。使用该技术，每个节点可以与其他节点通讯，并且可在节点间打开私有通讯连接。这些可选的冗余私有交互允许数据共享，支持分布式查询进程，为SybaseIQMultiplex服务器提供高可用性。

　　·Web服务支持——SybaseIQ15.3支持内置Web服务，这一功能可以帮助用户听取和管理标准的SOAP和HTTP请求。该功能通过使用SybaseIQ中一个新的函数命令来实现，允许分析人员动态建立HTML内容或表格，为数据集提供控制性从而供最终用户选择。该功能现在可作为一个客户端，允许在数据库内运行“应用访问标准的Internet中可用的、或由其他SybaseIQ数据库提供”的Web服务。

　　·高性能的ELT（抽取、加载、转换）——为了更快地将数据加载到SybaseIQ，并有效利用其强大的数据转换计算能力，SybaseIQ15.3引入了ELT技术。拥有了这项技术，DBA仅通过执行一个抽取和加载任务即可将源数据和模型更快速地移动到SybaseIQ中。一旦数据被加载，它将通过自动定义并执行一个SQL转换任务将数据和模型修改为支持分析查询需求的格式。无论是在数据库内转换还是加载，SybaseIQ15.3均可高速完成，有效加速了数据准备过程。

　　·Sybase控制中心（SCC）增强的工具支持——Sybase控制中心是一个基于Web浏览器的、通用于Sybase服务器产品的管理和监控框架，它包括Syabse数据库服务器AdaptiveServerEnterprise（ASE）、Sybase复制服务器和SybaseIQ。作为SybaseIQ的控制插件，它在SybaseIQ15.1中即已引入。它能提供强健的面向任务的监控功能，如全面的系统健康监控包括热图表、KPI分析、节点层次与连接的向下钻取、对Multiplex和Simplex的SybaseIQ环境的历史数据分析等等。在SybaseIQ15.3中，该插件不仅升级了某些Sybase控制中心所支持的关键的管理任务，而且增加了对所有SybaseIQ15.3中引入的新特性的支持。新一代的Sybase控制中心将使DBA工作更加轻松。

　　SybaseIQ15、15.1、15.2与SybaseIQ15.3特性对比：

总结

　　拥有革命性全共享MPP架构的全新版本SybaseIQPlexQ平台，不仅显著提高了高度复杂查询的速度，提升了性能级别，还维持了部署和管理的简易性。同时，通过增加工具支持、基于节点间的通讯管理以及支持Web服务还进一步加强了其在高级分析上的优势。

　　由于这些特性，SybaseIQ15.3继续成为事务关键型、高性能的和低本高效的最佳业务分析信息解决方案。通过实施这一可在计算和数据资源与创新的SybaseIQPlexQ?技术之间实现共享的业务平台，企业将能够打破用户与信息壁垒，显著提升企业竞争力。

　　随着SybaseIQ15.3的发布，Sybase再次通过开发和扩展革新的数据库技术继续屹立于商业智能领域的领导者位置。