北京并行科技有限公司(以下简称并行科技)是一家专注于高性能计算机(以下简称HPC)领域的高新技术企业,业务集中在HPC机群安装实施和运行维护服务;HPC机群系统性能调优和应用系统优化服务;超算中心机时租用代理服务等。作为HPC领域的领军者之一,在应用系统层面,并行科技优化专家能够提供串行程序的并行化服务、用户应用程序的系统级优化服务。
在高性能计算系统大规模应用需求不断提升的情况下,HPC用户对大规模软件的可扩展性、性能优化以及运行效率提出了更迫切的需求,他们开始要求如何能对现有应用程序进行更大程度的并行化,也更渴望知道发生在HPC集群中每个部分的运行情况。这不仅对并行科技的现有业务提出了新的挑战,也对并行科技能够提供的业务模式提出了新的思路,并行科技需要对以下问题进行思考:
1、 用户需要更清晰把握HPC集群每个模块的运行状态;
2、 I/O密集型、计算密集行、内存密集型等多类型应用增多,如何针对不同应用所需
资源进行优化;
3、 一些HPC应用效率偏低,原有优化方式无法改进;
4、 如何充分利用现有软件工具,在多核处理器飞速发展的今天使软件更适应大规模
集群。
这些问题一旦得到解决,必然会给并行科技的业务带来质变,并带来新的业务模式。
英特尔与并行科技共同打造超大规模HPC集群监控方案
为了解决用户所面临的这些挑战,英特尔与并行科技通力合作,对HPC集群系统硬件层与应用层进行全面细致分析。在此基础上,英特尔协助并行科技推出了基于应用的全新HPC机群监控软件按Para系列产品及HPC集群系统整体优化解决方案,该产品将HPC底层硬件与应用层紧密连接,有效地提供了集群系统多个层面的监控及管理。
在整个开发过程中,英特尔软件技术团队利用其长期在HPC系统领域接触多类型用户以及对英特尔软件工具的熟练应用,提供了全面的技术指导。该解决方案目前已经应用于石油、气象、军事科研、CAD/CAE、材料科学、生命科学等行业和领域,典型用户包括大庆油田、中石油东方地球物理勘探公司、中科院大气物理所、海洋所、电力科学院、上海品源、澳门大学、清华大学等。
英特尔与并行科技工程师紧密合作,为并行科技的用户提供了一系列HPC集群系统优化服务,并提高应用并行化水平,将众多的资源进行集中管理,将系统各模块运行状况、需并行化软件、处理器利用率等详细等整合进统一管理,为用户了提供了清晰、高效的HPC系统管理:
实现系统硬件层与应用层的有效衔接
该方案填补了HPC系统硬件层与应用层之间的空白,实现了更高效的集中监控。通过此方案,可以将硬件实时状态与软件运行状态进行集中分析。
超大规模HPC集群系统的实时监控
实现了超大规模、多个集群、几千个节点的统一监控,其杰出的扩展性能使得用户可以不用安装不同软件对应每一个集群,实现了高效的资源统一管理。在同类产品中,该方案扩展性令人咂舌。
更清晰直观的资源管理
通过该解决方案,用户只需对架构有基本了解,可以帮助用户直接显示I/O、内存、存储、处理器等资源的利用情况,甚至可以细化到每个应用所使用的节点状况,并直接显示导致应用效率低下的所在和原因,对于程序出现的位置、是否需要并行化等直接分析出结果。
更高的应用效率
通过显示并解决应用所出现的问题,此方案帮助大庆油田典型应用实现50%的效率提升,将此前该应用的作业时间从12小时减少到8小时。
圆角矩形标注: 与英特尔的合作非常愉快,基于新产品的研发完全是双方互补的结果,这种合作下的产品可以提供给用户直观的感受。英特尔软件与服务部提供的MLK、编译器包括算法等都非常强大,英特尔软件技术团队对于工具和代码的理解透彻直接。这种1+1的合作结果大于2,也超出了用户的期待。
用户评论