发布询价单
您的位置:首页 > 资讯 > 企业动态 > 正文

阿基米德,让大象跳舞的秘密

2021-09-26 15:23 性质:转载 作者:京东云 来源:京东云
免责声明:AGV网(www.chinaagv.com)尊重合法版权,反对侵权盗版。(凡是我网所转载之文章,文中所有文字内容和图片视频之知识产权均系原作者和机构所有。文章内容观点,与本网无关。如有需要删除,敬请来电商榷!)

02五大技术支撑,成就领先调度能力

//  基于预测的智能调度

阿基米德在核心功能——调度方面,利用机器学习、深度学习智能算法,对应用的资源使用情况进行画像统计,并对应用的未来资源使用情况进行预测,以对应用进行合理部署,实现资源的优化调度。

具体来看,阿基米德采用强化机器学习算法,可根据应用的历史数据,提取其资源使用的特征,进而将不同的应用进行归类,形成应用画像。综合应用画像和批处理任务的描述,对未来一段时间的任务调度进行提前规划,使得业务能够正常运行的同时,资源得到充分的利用,有效防止了批处理任务与长期服务的资源竞争。

阿基米德的智能调度可以成倍提升资源利用率成倍提升,极大降低企业采购成本,以今年618为例,阿基米德调度实现CPU利用率3倍的提升。

//  基于监控数据的精准驱逐与碎片整理

资源碎片在几乎每台服务器上都有发生,不同批次采购的服务器规格性能不同,服务器上的CPU或者内存配额没有同时分配完,就会出现资源碎片。

同时在长期服务中,特别是面向用户的任务,会出现明显的高峰低谷,而且不同长期服务的资源消耗也不同,因此集群中的时空资源利用率不均是常态。

针对资源碎片和时空分布不均问题造成的资源浪费,阿基米德通过对数据进行全面监控,采用批处理任务进行统一填充式调度,完成资源碎片的充分利用、资源的时空复用,保障长期服务稳定存在,以及低频度迁移。同时阿基米德会时刻保持一定的资源 buffer 应对突发流量的资源需求。

//  调度器仿真系统及回放

为充分模拟真实事件状况和实际操作过程,阿基米德支持通过模拟器+线上数据回放,对调度请求进行仿真模拟,形成新的数据建模,并优化调度方案,为智能调度提供更优方案。

以最小成本、最快速度,阿基米德可分三步完成1:1机器资源和请求要求的调度需求模拟,培养真实复杂场景的调度能力。

仿真剧本管理模块:用以采集清洗线上真实数据,生成仿真剧本,并可以支持纯模拟剧本生成

仿真调度模拟模块:将仿真数据灌入,经过调度算法调度,模拟调度过程,最终生成调度结果

调度算法评测模块:对调度过程和结果进行监测和评测,并通过可视化图表对调度过程进行展示

//  离在线混合部署

伴随京东购物节规模指数级增长,添置服务器成为耗资巨大的烧钱工程。高出日常峰值的机器过后闲置,又不可避免地造成资源浪费。

阿基米德支持将延迟不敏感的离线计算任务和延迟敏感的在线服务,部署到同一集群上运行,让在线服务的空闲资源充分被离线计算任务所使用,在线业务、离线业务共享混合云操作系统云舰的资源池。

通过应用分级、DiskIO限速、Job调度管理、Pod流量限速等方式,阿基米德可保证离线业务不会影响在线业务,提高资源利用率。

//  多样化IP地址管理

通过用户annotation配置,阿基米德可实现多应用场景的IP地址管理,包括IP地址随机分配,用户指定pod IP地址,用户应用分组内IP保留和用户自定义私有IP池等。

03复杂场景实践

数智化基础设施降本增效

阿基米德调度系统已经全面接管京东的应用资源调度,每日调度百万台容器实例运转,服务履约率达到98.3%。

2021年618,在保证业务的正常运行下,京东超大规模集群的CPU资源利用率提升3倍,单位订单资源成本下降30%,内存平均使用率提升57%,交付效率提升150%,在11.11备战期间,阿基米德节省了数亿元的服务器采购成本。

在零售行业,针对离在线任务的不同运行需求(在线任务资源占用少、响应要求快,离线任务占用资源大、响应要求慢),阿基米德混合部署两个集群,把不同类型的任务调度到相同的物理资源上,借助智能调度及资源隔离等方式保障SLO(服务等级目标service level objective),极大降低成本。

在金融行业,尤其是支付场景,阿基米德让各种配置不同的设施能够在交易高峰期,以秒级速度将在线服务器的各种软件、应用转移到离线服务器中,极大提升资源利用率。

在互联网行业,经常出现流量高并发的业务场景,阿基米德通过冷热节点混部方式,充分释放冷节点CPU利用率,有效满足日志等数据处理需求。遇到购物节这类单量爆涨的场景,也可以通过K8S管理与调度充足计算资源支持,保证每一单平稳顺畅。

不止于资源调度,阿基米德在绿色节能方面也有卓越表现。

通常而言,机房的电力消耗主要是制冷为 CPU 降温。阿基米德会根据应用画像与调度规划,对于服务器 CPU 的主频进行相应调整,以达到节能降耗的作用,在多个核心机房进行的大规模实践中,已取得了降低能耗降低 17% 的成果。

经过多年京东业务实践,阿基米德调度系统已在大规模超复杂场景中,实现了常态化应用,并通过混合云操作系统云舰对外开放,让更多产业客户用更低的成本获得更强的计算能力,持续提升客户的数智基础设施效率。

未来,阿基米德调度系统将进一步推动优化调度算法,精确应用画像,提升调度的准确性,在整合计算、提升效率、节能降耗方面进行更多的实践,并把更多的业务一线的调度数据和模型与业界分享。

12下一页

网友评论
文明上网,理性发言,拒绝广告

相关资讯

  • Nyobolt赢得Symbotic高功率移动机器人电池订单
    近日,英国Nyobolt宣布与美国机器人企业Symbotic达成战略合作协议,将为其自主移动机器人(AMR)提供高功率、超快充电池系统。这一合作标志着 Nyobolt 首次在北美市场实现商业化落地,也是其战略...

    2025-10-15 11:13

  • 丰田物料搬运英国推行“零浪费”理念:精益驱动效率升级
    在当今仓储与物流行业竞争日益激烈的环境下,“效率”与“价值”成为客户的核心关切。丰田物料搬运英国公司(Toyota Material Handling UK,简称 TMHUK)最近全面推广其名为“Zero Muda”(零...

    2025-10-15 11:12

  • 杭叉赋能澳大利亚矿业物料搬运
    在澳大利亚矿业不断迈向高安全、高效率与低碳化的背景下,物料搬运设备正成为矿区物流体系升级的关键环节。总部位于昆士兰的Eagle Forklifts是杭叉集团股份有限公司全系列产品在澳大利亚的核心合...

    2025-10-15 11:10

  • 科尼拿下 42 台荷兰鹿特丹和记港口锂电 AGV 订单
    在全球港口自动化与绿色化转型的大背景下,荷兰鹿特丹的 ECT Euromax 码头再次加码其电动化进程。2025 年上半年,荷兰Hutchison Ports ECT Euromax 向芬兰/瑞典混合总部的Konecranes(科尼...

    2025-10-15 11:09

  • TXR 携手华睿:共建新一代机器人自动化解决方案
    近日,韩国TXR Robotics与华睿科技股份有限公司(iRAYPLE)宣布达成战略合作,双方将在高精度视觉系统、SLAM 导航算法与智能控制平台等领域展开深度协同,携手推动面向工业现场的智能机器人自动...

    2025-10-15 11:08

  • Zapi亮相北美电池展:推出高压车载充电器与电气化新能力
    近日,意大利Zapi 集团(Zapi Group)在美国底特律举办的 Battery Show North America 2025 展会上发布其最新高压车载充电能力,面向 400 V 和 800 V 电池系统推出液冷 7.2 kW 与...

    2025-10-15 11:05

  • 物料搬运的未来是智能、安全和定制的!
    随着运营模式的演变和业务需求的不断增长,物料搬运设备的角色正在经历一场重大变革。丰田物料搬运正处于这一转变的前沿,其三大支柱——安全、效率和创新——并非只是空谈。它们构成了每台叉车设...

    2025-10-15 10:55

  • 展会预告 | 智造未来 · 钱江引领——钱江机器人重磅亮相2025中国玉环国际机床展
    2025中国玉环国际机床展览会将于10月17-20日在玉环会展中心盛大启幕。作为中国智能制造领域的核心力量与国产工业机器人的领军品牌,钱江机器人将携一系列前沿技术与创新应用解决方案荣耀登场,在展...

    2025-10-15 10:46

  • 【CeMAT攻略】德马泰克展台玩转指南!
    硬核科技+沉浸体验一键拉满倒计时开启!W1馆B2展台隐藏彩蛋?:✅解锁“飞龙系统”——存取效率直接拉满!✅亚洲战略分享—— 出海秘籍大公开!✅技术咖带你逛展——直击科技前线!✅沉浸式打卡专...

    2025-10-15 10:40

  • 全球首发、中国首秀!极智嘉@2025 CeMAT邀您一起见证仓储新未来
    智能仓储新纪元,即将开启!10 月 28-31 日,一站式仓储机器人伙伴极智嘉(Geek+)将携具身智能重磅新作全球首发、三大“新一代拣选解决方案”中国首秀!诚邀您锁定极智嘉CeMAT展位,一起见证颠...

    2025-10-15 10:39

关注官方微信

手机扫码看新闻