HPC技术趋势：HPDA、深度学习、软件定义和机柜即HPC

摘要：北京航空航天大学教授钱德沛，浪潮团体高性能计算总经理刘军，IDC副总裁EarlC.JosephII解读云计算大数据时期的HPC技术趋势：HPC运用与云、大数据的结合是未来重点，同时基础架构要走向融会和软件定义。百度首席科学家吴恩达（Andrew

Ng）曾说，深度学习的前沿正转移到高性能计算（HPC），NVIDIA、AMD及Google、阿里巴巴等公司也确切都在为深度学习研发HPC的新能力。那末，深度学习任务为HPC注入了哪些新的东西？除深度学习，HPC还有哪些值得关注的技术趋势？在9月24日的2015高性能计算用户大会（HPCUF2015）上，北京航空航天大学教授、国家863计划“高性能计算机及其核心软件”重大专项整体组组长钱德沛，浪潮团体高性能计算总经理刘军，和IDC副总裁、IDCHPCUserForum履行总监EarlC.JosephII接受了CSDN的采访，对云计算大数据时期的HPC技术趋势进行了深入的解读。

在全部访谈进程中，三位专家立足运用展开回答。钱德沛表示，Top500套数的动态排名中，中国的起伏并不足虑，应当关心的是HPC的整体发展水平，更进一步地说，是要关注到底哪些领域进了Top500榜单和实际发挥的作用。他认为，HPC应当避免把自己限制到很窄的范围，要有一定的量才能增进运用的发展。

EarlC.JosephII认为，大数据时期的到来，让HPDA（基于HPC的大数据分析）运用成为HPC的下一个爆点，目前67的HPC资源用于HPDA，而机器学习/深度学习的需求是其中较为典型的运用，一个解决思路是众核扩大。另外他还谈到了云计算的趋势，认为云端HPC不宜使用虚拟化。这些都需要运用设计斟酌。

作为HPC硬件支持平台提供方，浪潮更能切身感受到云、大数据、深度学习、IoT对HPC带来的冲击，也更加需要有备无患，刘军表示，复杂的运用环境下，需要统一的计算架构能够应对多样性的计算、混合计算的场景，这就要做到基础架构的融会，进而实现软件定义HPC。硬件融会的一个典型，就是机柜即HPC。

HPDA传统的计算形态，包括寻求存储容量和寻求性能两种方式。前者是传统的互联用户所关注的，研究怎样在更低功耗情况下给出更多的存储量的计算，比如Hadoop；后者寻求在最短的时间跑出更准确的结果，即传统HPC，对计算、内存、络、I/O要求很高。但大数据打破了两者的界限，推动了HPC的演进。

EarlC.JosephII表示，大数据与HPC的结合正在衍生很多新的方案，也就是HPDA技术，比如图分析、语义分析和知识发现等。这让更多的用户加入到了HPC。IDC预测，全球HPDA服务器2015年营收可达11亿美。

EarlC.JosephII罗列了HPDA的几个典型案例：

基于超算的分析开始改变医疗行业美国邮政管理局（USPS）为HPDA转向HPCPaypal宣称更多的财富2000强公司能够从HPDA获益

USPS的TotalRevenueProtectionProgram（TRP计划），使用近实时分析指点动态路由和通过Sundaydelivery和same-daydelivery创造新的营收机会。该计划采取了MCDB（memory-centricdatabase），在6小时以内处理40亿事务。

对Paypal本身，根据IDC的估算，基于HPDA的讹诈检测已为Paypal省下了7亿美。Paypal未来希望通过HPC做全部IT基础架构的管理，和用于市场营销的Beacon计划。（链接：年交易额1800亿美，揭秘PayPal成功背后的3大热门技术）

Paypal目前的范围以下：

每天1000万 登录每天1300万 交易每天约40亿inserts每天约80亿selects

IDC认为，存储是HPDA市场增速最快的部份，与此伴随的是HPC互联技术也在变革，数据迁移/管理则是一个主要痛点。

云的架构是数据存储、数据同享的一个流行方案，在大数据时期，也确切有很多的HPC在云端（IDC最新调查结果显示25的HPC在云上），但在EarlC.JosephII看来，HPDA要能够搞定各类数据，并行算法以，数据科学家开发的算法，并且对性能非常敏感，基于虚拟化的公有云，在HPDA方面还有所欠缺。

刘军则认为，云计算、大数据与HPC之间的影响是相互的：HPC需要云解决更多的资源共享和服务、计算便利性问题，大数据需要HPC解决性能问题，同时大数据技术也为解决传统HPC不好处理的问题带来灵感。这是一个交互的作用，最后出来的形态，浪潮叫做BigComputing（大计算），他不再是传统的HPC，传统的大数据和云，而是两者的融会，是一种新的大的形态。

钱德沛也谈到，不能划分容量型运用和性能型运用的资源边界。他表示，传统超级计算主要是强调能力型运用，但在中国的国情下，超级计算机安装在通用的超算中心，能力型运用和容量型运用共存并分享系统的资源，不可能排挤容量型运用。大数据运用大多数是容量型的，包括互联运用、数据分析、数据发掘，但是也有一些是能力型的运用，而且愈来愈多的能力型运用需要超过单独服务器通过以太互联起来的资源的能力。这一类运用可能随着互联运用发展愈来愈多，并且和老百姓的生活相干，比如大量的数据发掘、金融计算和数字媒体的渲染。

从全部HPC运用的发展来看，Earl

C.JosephII谈到了以下趋势：

1.

基于众核的扩展性。运用需要设计成为更有扩展性的，不单单在一个核或几个核上，而是在众核上的扩展性。

2.

云、大数据和HPC。云一般是基于虚拟化的，但虚拟化会让HPC性能变慢，在未来HPC的运用需要结合云的运用和HPC的特点。

3.

云端可靠性。HPC的运用，特别是在云端，其设计的理念是：云端硬件故障的情况下还能继续运转，保持工作稳定性。

4.

运用的发展趋势基于运用的寿命。目前有些运用只存活几个月，而未来HPC运用应该是有五六年的寿命，56年中硬件会有一个飞速的增长，所以运用的设计考虑到这方面的需求。

5.

工业运用定制化。在CFD工业设计领域，比如汽车设计，运用一旦跑起来，工程师就能看到设计出的车的特点，以后的趋势是会有不同的运用用于汽车设计，由于汽车运用的特点非常鲜明。

深度学习依赖于数据量和计算力的深度学习，是HPDA的典型运用。根据浪潮过去这一年HPC业务接近100的成长经验，快速成长的推动力就来自于深度学习和工业运用。刘军介绍了这两种需求：

工业运用：眼下从中国制造到中国创造的转型期，工业、企业自主创新的能力越强，就越需要像HPC这样的技术来帮助提高产品设计的质量。由于要创造、要设计、分白癜风最佳治疗方法析，很多复杂的需求将需要HPC来帮助实现，比如电器、汽车、飞机的设计。深度学习：在商业上需要利用大数据做顾客信息的分析，还包括深度学习在互联的运用，比如哪些广告搜索排名靠前，这些都是HPC在商业化的运用。

但是不是应当那末单独强调深度学习呢？钱德沛认为，百度成功的经验之一是用HPC的能力进行深度学习，深度学习是HPC应当斟酌的运用之一，固然深度学习不是全部。

他表示，HPC没有固定的模式，现在要避免把自己限制到很窄的范围，由于很多运用是有发展的，可能开始的时候可能是容量型运用，到了一定的水平就变成了能力型运用。所以，运用的多样性、系统支持和适应运用是很重要的，不能把HPC做的像阳春白雪一样，要有一定的量才能增进运用的发展。

深度学习的特殊性，在于新鲜而实用，同时对计算力上限需求非常高，只要神经络模型和数据量允许，软件上还要实现数据并行和/或模型并行来加速。另一方面，深度学习的用户主要是互联公司，常常采取分布式的架构做大数据，用单机做学习，同时对HPC的解决方案流程不一定很熟习。所以，浪潮也选择深度学习作为BigComputing的一个突破点，提供一些面向深度学习的一体化HPC方案。

钱德沛认为，做机器的难处就在这里，它要适应不同类型的运用需求，同时要斟酌能够使用的技术、实现的手段，要在技术条件下和运用需求下选择最优，做工程上的折衷、权衡。换句话说，不管是流计算，还是未来的神经络芯片，只要顺应运用，也是HPC可以斟酌的体系结构。

软件定义HPC对钱德沛提到的难点，其实刘军在大会的主会演讲上也做了分析，他提出的BigComputing，就是要做到基础架构的融会，进而实现软件定义HPC，灵活地应对不同工作负载的需求。

钱德沛表示，软件定义的思想很老，但对解决当前HPC用标准化的硬件适应运用多样性的问题，技术上、商业上都具有可行性。

刘军介绍了浪潮在软件定义HPC方面的进展：

在产品技术上已做这样的布局和应对，现在这个工作没有完全完成。有的已具有产品的基础，在计算环境已完成准备好了，有的还在路上，比如64路、支持48TB大内存的主机，在明年才能发布。第二层的融会基础架构，思路上和浪潮在互联领域走的比较早的SmartRack是一脉相承的。浪潮行将推出“机柜即HPC”的产品，实现计算存储的融会，和初步的软件定义络。在软件设施层次，浪潮已分别实现了软件设施数据、服务络服务和资源服务三个层面，现在要进一步整合，相互之间买通，构成真正核心的软件定义HPC。附：中外HPC的差别谈到中外HPC的差别，EarlC.

JosephII认为，主要在于主要中国HPC的运用刚刚发展，所用的芯片和硬件都比较标准。而美日欧的HPC已有35年的历史，很多HPC运用是35年前写的，这些运用的发展，一开始就在一种或几种处理器上，现在也只能在一些已淘汰的处理器上跑。中国HPC起步比较晚，但是可以根据现在最新的技术编写运用，这些运用也都是比较标准化、商业化的。

另外，EarlC.JosephII对浪潮、曙光、华为、联想等中国公司在HPC市场的表现评价颇高。他表示：

这四个厂商都表现不错，有不同的战略。浪潮是在全球有个布局，联想买了IBM的X86的业务也表现不错。IDC拿到的数据显示，浪潮、惠普和Cray在HPC领域有很好的增长，而IBM、Hitachi和戴尔有所下落，IBM把X86业务卖了以后有5的下落。白癜风有什么症状对这些中国公司的全球化策略，他还给出了以下三个建议：

首先定位好公然市场。欧洲是一个非常好的公然市场，比如德国、英国、意大利等国家每一年有很多的需求。美国的一些市场，美国政府是非常的支持，所以可以定位在美国的工业界和美国的大学。比较有效地找到当地的合作伙伴和渠道，这样能够解决一些当地的法律、规则的问题。

本文为CSDN原创文章，未经允许不得转载，如需转载请联系market#(#换成@)