12月17日,在中国开源云联盟举办的“第九届云计算标准和应用大会“上,华为云开源的云原生项目KubeEdge和Volcano荣获“第二届中国优秀开源项目”奖项,该奖项是对项目在实际价值、技术方面的肯定 ,也是对广大项目参与者活跃度、贡献度的认可。
云原生基金会首个智能边缘计算项目——KubeEdge
KubeEdge源自华为云智能边缘平台IEF,是基于Kubernetes构建的智能边缘计算平台项目,并于2019年3月正式被CNCF云原生基金会正式接纳,是CNCF首个也是目前唯一提供云原生智能边缘计算能力的开源项目。
KubeEdge将云原生技术应用到智能边缘计算领域,具备边云可靠协同、极致轻量、边缘智能、强劲算力、离线自治、海量边缘设备管理等能力,利用云原生生态的众多优势解决边缘计算中的挑战。
KubeEdge在100%兼容Kubernetes API的基础上,针对边缘计算场景中网络不稳定、资源受限、海量边缘设备等痛点进行特性增强和开发:
基于Kubernetes构建平台,提供云-边-端一致的业界标准云原生应用管理框架,解决云边协同架构中云平台厂商绑定问题;
大幅优化边缘节点组件资源占用,支持管理小规格边缘网关节点;
在云边之间引入双线多路复用通道,重新实现K8s控制面与节点通信机制,引入可靠校验机制,解决边缘节点与云上组件连接带宽受限、网络质量不可靠等问题;
边缘节点支持数据本地持久化,支持边缘节点离线自治;
北向基于Kubernetes CRD引入设备管理API,支持以Kubernetes的API标准管理边缘设备;南向提供物联网设备接入框架,内置多种主流物联网通信协议实现,并支持用户自定义扩展,解决异构设备接入复杂性问题
首个云原生高性能批量计算项目—— Volcano
Volcano源自华为云高性能批量计算解决方案,2019年6月正式宣布开源,是业界首个云原生批量计算项目,致力于打造一个高性能的云原生批量计算平台,开源以来吸引了来自AWS,CERN,密歇根大学, OpenAI,京东,百度,腾讯等多个公司和组织的关注和参与。
目前Volcano已经与MPI/Horovod, Kubeflow, Spark, PaddlePaddle, Cromewell, KubeGene等社区进行了广泛的合作与集成,并应用于AI领域的机器学习、深度学习,分布式计算大数据分析,生物信息学基因测序行业,在推进AI、大数据、高性能计算、基因测序等业务容器化的过程中发挥了重要作用。
Volcano针对计算型应用提供了作业调度,作业管理,队列管理等多项功能,主要特性包括:
丰富的计算框架支持:通过CRD提供了批量计算任务的通用API,通过提供丰富的插件及作业生命周期高级管理,支持TensorFlow,MPI,Spark等计算框架容器化运行在Kubernetes上;
高级调度:面向批量计算、高性能计算场景提供丰富的高级调度能力,包括成组调度,优先级抢占、装箱、资源预留、任务拓扑关系等;性能提升~30%;
队列管理:支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。