首页 > 科技未来 > 内容

Kubernetes和混合云环境中的 HPC 应用第二部分

发布于:2024-06-18 编辑:匿名 来源:网络

本文是该系列的第二篇文章。

单击此处查看第一篇文章。

作者:Daniel·Gruber、布拉克·Yenier、Wolfgang·根茨、UberCloud。

该公司成立于 2017 年,开发 HPC 容器技术和容器化工程应用程序,以方便在共享本地或按需云环境中访问和使用工程 HPC 工作负载。

在这篇文章和上一篇文章中,他们描述了过去 12 个月在 Tongue 上使用 UberCloud HPC 容器的经验。

随着云服务的兴起,首席信息官意识到在各种计算环境中运行的应用程序、中间件和基础设施需要通用的管理和操作模型。

通过为每个云提供商使用不同的专用基础设施和应用程序管理解决方案,在本地和云环境中维护不同的应用程序和中间件堆栈,在动态分配、使用和管理这些资源时会带来很多麻烦。

混合云环境中缺乏通用的管理和运营模型可能会导致: 不均匀、分散的环境,给 IT、运营和安全带来额外的复杂性。

在没有共同管理的混合环境中,创新的速度会降低。

当依赖云提供商的特定服务时,很难更改或关闭云资源。

当绑定到特定的云环境设置时,工作负载无法轻松迁移回本地环境,反之亦然。

正如上一篇文章所述,Kubernetes 已成为事实上的标准容器编排器。

所有主要公司都在随处可用的标准化 API 之上提供和构建解决方案。

Kubernetes和混合云环境中的 HPC 应用第二部分

CIO们现在正在关注Future在混合云中对HPC的适用性,因为它为每个环境提供了通用的管理和运营模型。

Kubernetes:混合云的通用管理和操作模型Kubernetes促进了在服务器群中运行的无数容器的使用和管理,是许多IT供应商和云提供商支持的混合环境的新标准平台。

现在,首席信息官可以分配一个完全配置和支持的容器编排器作为其所有应用程序工作负载的基础。

与专有基础设施解决方案不同,Kubernetes 提供可移植性、易于管理、高可用性、可集成性和监控功能。

在Kubernetes上管理资源时,CIO 不再依赖于特定的基础设施。

他们可以使用相同的应用程序堆栈为用户提供相同的功能集,无论是在本地还是在任何云中。

用户甚至不知道他们的应用程序正在Future上运行,也不知道他们正在哪个基础设施上运行:在他们自己的数据中心还是在特定的云提供商(例如谷歌、微软或亚马逊)上。

通过使用像Kubernetes这样的标准化软件堆栈来降低混合云环境的复杂性有很多优点:对一个平台所做的改进可以自动在其他平台上使用;部署和操作方面可以得到简化;安全审核更容易、更严格地实施。

Kubernetes和高性能计算Kubernetes已经是人工智能和机器学习事实上的平台,然而,当涉及到传统的高性能计算时,仍然存在一些挑战。

HPC 工作负载管理器中内置了一组功能,但Future 中尚不可用。

我们之前在第一篇文章中已经讨论过主要的区别,Kubernetes在 HPC 中的主要差距是:对分布式内存作业(即 MPI 应用程序)的原生支持,以及缺少与现有 HPC 应用程序兼容的作业队列系统。

Kubernetes在许多层都内置了高可用性。

然而,对于 HPC 作业来说,仅仅重新启动失败的容器是不够的,因为整个分布式作业本身可能已经失败。

在这种情况下,整个分布式内存作业需要自动重新调度。

这是Kubernetes无法解决的。

除了这些挑战之外,Kubernetes还给HPC带来了很多好处:例如,工程师和容器化HPC应用程序的环境始终是相同的,无论是部署在本地还是运行在基于云的环境中;从一个基础快速切换 将一种架构转换为另一种基础设施的能力使 HPC 团队能够与公司的云路线图保持一致。

基于通用 API (Kubernetes API) 在基础设施之间自由移动工作负载变得很有价值。

Kubernetes上的容器化 HPC 应用程序 在过去的五年里,数十个 HPC 应用程序已经容器化,无论是商业应用程序(例如 ANSYS、COMSOL、STAR-CCM+),还是开源软件包(例如 OpenFOAM 和 GROMACS),以及 HPC 集群调度程序(例如Univa 网格引擎和 Slurm。

得益于容器技术,它提供了持续的更新和改进,客户可以快速、无缝地更新。

此外,容器镜像允许用户随时返回到以前的应用程序版本,以便他们始终可以重现以前的结果。

同时,许多容器是通过使用基础设施和配置管理工具(如 Terraform 和 Puppet)或通过在现有门户中构建特定于云的 HPC 集成来实现的。

环境。

但随着Kubernetes的出现,容器环境变得更容易维护并且更加动态。

控制器持续驱动集群,从而将其推出,调整工作节点的大小,使用一组恒定的可抢占实例和高可用性。

因此,Kubernetes与HPC之间的主要差距已经消除。

因此,分布式内存/MPI 作业现在可以由任何提供在 HPC 容器内运行的内置 HPC 工作负载管理器集成的 Kubernetes 环境支持。

这使得传统 HPC 应用程序无需任何更改即可运行。

与此同时,基于 Ansys 和 COMSOL 的 GPU 和不支持 GPU 的应用程序已成功启动,并在内部运行高性能的支持 GPU 的 Pod。

登录桌面后,工程师可以开始提交批处理作业或分布在跨多个节点的一组 Pod 中分布的单个 MPI 应用程序。

结论 Kubernetes不仅支持基于微服务的企业应用程序,还支持自助工程HPC应用程序。

总而言之,正如本研究所示,使用 Kongfun 作为运行容器化工程应用程序的基础的主要优势是: 统一的应用程序堆栈几乎可在任何基础设施上使用;真正的混合云使用场景,满足工程工作负载的需要。

无论是在本地还是在云端运行应用程序,对于工程师来说都是透明的;通过始终分配云中最新最快的可用机器,为运行工程应用程序提供最佳性能;作为工程师自助服务、构建独立的 HPC 应用程序和计算集群并调整其大小,并且仅受每个时间段的云配额和预算的限制;强大的管理堆栈,得到众多云提供商的支持;只需按使用量付费 优化成本。

不需要闲置资源,使用前会进行分配;通过独立的专用计算集群实现高安全性;通过自配置和一次性组件,操作开销降至最低(更新只需根据命令销毁并重新创建);基于Kubernetes的工作负载更容易集成到广泛采用的持续集成和部署解决方案(例如 Tekton、Concourse 或 Jenkins 的未来版本)中。

在本研究中,基于Kubernetes的基于容器的 HPC 应用程序环境(例如,在 Google GCP 和 Amazon AWS 上)实现,并且还用作自助测试环境,可供 HPC 应用程序专家从头开始使用,而不是使用比运营商开始部署。

它还被用于 CI/CD 管道中,以自动构建测试环境,以针对现有容器解决方案运行测试,并随后关闭基础设施。

在客户环境中,IT 部门受益于使用受支持的、易于维护的、托管的Future 系统,该系统可以在几分钟内添加、调整大小和删除计算资源。

Kubernetes和混合云环境中的 HPC 应用第二部分

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 老房改造+你删不掉的智能家居APP

    老房改造+你删不掉的智能家居APP

    近日,领先的互联网O2O家居改造品牌享居派与实力智能家居品牌格通科技宣布合作。 香居派创始人和首席幸福官李斯发认为,具有互联网+传统基因的香居派以旧墙重画为切入点,进军互联网家居市场,并依托背后强大的涂料品牌提供家居更新O2O服务和线下体验。 专卖店、网上商城等创

    06-18

  • 对话刘作虎:OPPO成立AI中心手机企业不部署大机型就要倒闭了

    对话刘作虎:OPPO成立AI中心手机企业不部署大机型就要倒闭了

    又有手机厂商公布了AI领域的最新进展。 1月8日,OPPO首席产品官刘作虎推出最新款OPPO Find It时,采用的是潜望式长焦镜头机型,但刘作虎和几位同事还是花了较长时间在手机上介绍和演示了端侧大机型的应用。 这款新旗舰手机。 例如,挂断电话后,“通话摘要功能”可以快速生成

    06-18

  • 康佳集团:设立20亿元半导体产业股权投资基金

    康佳集团:设立20亿元半导体产业股权投资基金

    据12月18日消息,今日,康佳集团召开“康佳半导体显示技术与产品发布会”。 会上,康佳与重庆梁山产业投资有限公司共同发起设立20亿基金,重点关注半导体新材料、半导体设备、芯片、IC设计、封装测试等产业投资。 康佳表示,将与其他产业合作伙伴合计投资5亿元、10亿元和5亿元

    06-18

  • 广药集团投资10亿,成立全国首支乡村振兴基金

    广药集团投资10亿,成立全国首支乡村振兴基金

    投资界(ID:pedaily)据2月3日消息,广药集团近日宣布成立全国首支乡村振兴基金——“刺柠吉”1亿元乡村振兴基金。 据了解,未来五年,广药集团计划投资10亿元打造新产业、拉动新消费、开展新科研、培育新农人、塑造新文化,打造脱贫致富长效机制、推进农村农业现代化改革,

    06-17

  • “依图科技”完成数千万元天使轮融资,云栖资本领投

    “依图科技”完成数千万元天使轮融资,云栖资本领投

    投资界(ID:pedaily)12月21日消息,近日,致力于成为智能汽车提供商的依图中间件解决方案涂科技完成数千万元天使轮融资。 本轮融资由云启资本领投,基石资本、鑫商资本、启迪之星创投、卓远资本跟投。 该资金将主要用于产品研发。 业务拓展、团队建设等,“软件定义汽车”已

    06-17

  • 玖凌光宇获数千万元Pre-A轮融资,专注于高端半导体材料和光学产品

    玖凌光宇获数千万元Pre-A轮融资,专注于高端半导体材料和光学产品

    投资界(ID:pedaily)消息,近日,苏州玖凌光宇科技有限公司(以下简称“玖凌光宇”)获简称“玖凌光宇”)获得数千万元Pre-A轮融资,由元和控股旗下国创智汇基金领投,甬万资本跟投。 本轮融资将主要用于生产线设备采购和产品研发。 玖凌光宇成立于2007年,主要从事高端半导

    06-18

  • 共享衣柜风潮在英国掀起,HURR获540万美元种子轮融资

    共享衣柜风潮在英国掀起,HURR获540万美元种子轮融资

    投资界(ID:pedaily)12月15日消息,据Business Leader报道,来自伦敦的时装租赁公司“HURR”近日宣布获得1万美元种子轮融资。 本轮融资由欧洲风险投资公司 Octopus Ventures 领投,该公司此前曾投资过其他循环经济公司(包括点对点转售平台“Depop”和食品共享平台“OLIO”

    06-17

  • 致瞻科技(上海)有限公司获得亿达资本Pre-A轮投资

    致瞻科技(上海)有限公司获得亿达资本Pre-A轮投资

    11月20日消息,亿达资本近日完成对致瞻科技(上海)有限公司的Pre-A轮投资。 致瞻科技是一家专注于碳化硅器件和先进电驱动系统的高科技初创公司。 公司推出的SiCTeXTM系列碳化硅先进电驱动系统和ZiPACKTM高性能碳化硅功率模块已批量应用于燃料电池发动机、微型燃气轮机起动发

    06-17

  • 知名AI科学家、叶杰平、薄列峰加盟阿里巴巴达摩院

    知名AI科学家、叶杰平、薄列峰加盟阿里巴巴达摩院

    雷锋网(公众号:雷锋网)独家消息,近日,达摩院新增两位AI科学家,前壳牌科技副总裁而首席科学家叶杰平和前京东数字AI实验室首席科学家薄列峰最近也加入了阿里巴巴,分别担任达摩院城市大脑实验室和XR实验室(X Lab)的负责人职务。 达摩院城市大脑实验室和XR实验室的原主任

    06-18

  • Sensor Tower:《王者荣耀》6月吸金近2.77亿美元,同比增长21%

    Sensor Tower:《王者荣耀》6月吸金近2.77亿美元,同比增长21%

    Sensor Tower商店情报数据显示,腾讯《王者荣耀》全球App吸金近2.77亿美元6月份商店和Google Play相比今年6月份增长了21%,跻身全球最畅销手游之列。 腾讯《和平精英》和《PUBG Mobile》以2.13亿美元的营收位居榜单第二位,较去年6月增长11%。

    06-18

  • HHLR一季度持仓美股被披露,增持8只中概股

    HHLR一季度持仓美股被披露,增持8只中概股

    投资界(ID:pedaily)据5月17日消息,美国证券交易委员会(SEC)网站显示,HHLR顾问公布最新美股持仓数据。 一季度,美国股市持续下跌,道琼斯工业平均指数下跌4.6%,纳斯达克综合指数下跌9.1%,标准普尔指数下跌5%。 HHLR对美股持仓进行深度调整,减仓、清仓25只股票。 截

    06-18

  • 美国国防部投资半导体制造商SkyWater,开发适合在外太空工作的芯片

    美国国防部投资半导体制造商SkyWater,开发适合在外太空工作的芯片

    据外媒报道,半导体制造商SkyWater科技周一表示,将从美国国防部获得高达1.7亿美元的资金国防制造可以在外太空工作的芯片。 加工芯片并使用新材料来制造更小、更快的芯片。 这家总部位于明尼苏达州布卢明顿的公司于 2016 年从赛普拉斯半导体公司 (CY.O) 中剥离出来,并移交给

    06-06