写点什么

AWS re:Invent 2019 深度观察(底层篇):两个趋势,新的革命?

  • sai

  • 2019-12-05
  • 本文字数:2306 字

    阅读完需:约 8 分钟

AWS re:Invent 2019深度观察(底层篇):两个趋势,新的革命?

根据 InfoQ 编辑在本次 AWS re:Invent大会上的观察发现,到 2019 年,AWS 的底层能力呈现出两个明显的发展趋势:

第一个趋势:超算 as a Service

AWS 正在将自己计算密集+网络密集的能力打造的越来越强,以应对越来越多的高性能计算与机器学习类应用负载的需求。这个方向目前由搭载了最新款 nitro 系统的几款 EC2 实例引领,包括但不限于 C5n、P3dn、Inf1 等系列,还有已经成为标配的万兆网卡。


特别值得注意的是 C5n 这个实例:



上图所示为美国海军研究实验室用超算 Cray XC40、c4 集群与 c5n 集群分别进行天气预报计算的性能比较:纵轴为计算用时,横轴为并行参与计算的 CPU 数量。可以看出,c4 集群(使用 TCP 协议)用到了 200 个以上 CPU 参与并行计算之后出现明显瓶颈,而 c5n 集群(开启了 EFA 网络功能绕过了 TCP 协议——这是最新款 nitro 系统提供的能力之一)即使超过 1000 核也没有呈现明显瓶颈,在计算用时方面的表现已经超越了 Cray XC40。


虽然仍不清楚是否所有现在在 超算上跑的负载都已经能够在 AWS 上面以同等的表现跑起来,但是现在已经完全可以说:AWS 的超算 as a Service 已经进入了一个新阶段。


值得注意的是,Nitro 系统给 AWS、乃至整个云计算领域带来的影响是深远的。在会议期间的一次采访中,AWS 首席云计算企业战略顾问张侠特别提醒我们关注 Nitro 系统的重要性,小编觉得他的这句提醒很有道理。在小编看来,Nitro 不仅仅是 AWS 做的一套搭载了特定软件的主板,更加是对云计算操作系统下一步该怎么做的一系列探索,而目前我们所看到的已完成的部分,很可能仅仅是一个开始。不过,这个话题在这篇文章就先不展开了。


另外还值得注意的是 Inf1 这个实例:这是一款 GPU 计算实例。也就是说,它实际上是 G 系列/P 系列的平行版本!这个系列的名字来自 AWS 自研的 GPU 芯片的名字——Inferentia,专门设计用于机器学习推断(inference)负载的优化。


(Annapurna 这场收购可真值!——Andy Jassy 如是说。)

第二个趋势:计算资源往边缘下沉

计算资源往边缘下沉的意思是,把计算节点往越来越靠近终端用户的地方延伸。这个方向目前还在较早的探索期,本次宣布的近地节点服务 Local Zones(洛杉矶的 Local Zone 现在已经可用)、近 5G 运营商末端节点服务 Wavelength(计划在 2020 年之后可用)、以及发布刚刚一年、今年刚刚进入 GA 阶段的私有云节点服务 Outposts,代表了 AWS 在这个方向做出的努力。


值得一提的是,InfoQ 编辑在大会期间采访了虎牙直播的技术负责人,他表示对 Local Zones 和 Wavelength 非常关注。原因是,为了让内容更好看,虎牙直播的内容生产过程需要对主播拍摄的视频做越来越多的加工,观众交互过程也需要越来越多的效果,于是需要的计算量就越来越大,这就意味着仅靠用户的手机/PC 的计算能力是不够用的;而无论是对虎牙直播的主播还是观众,低延时是最为至关重要的用户体验,所以也不可能把这些计算工作放在离他们很远的节点进行。


目前,可用的计算节点都在各个区域的大数据中心,这些数据中心往往盖在偏远地区,而大部分用户都是住在各地城市里的,用这些数据中心来做此类计算并不是理想的方案。


所以,对于虎牙这一类服务提供商来说,问题就很明确了:在靠近用户的地方都有哪些计算节点可用?可想而知,在全球范围内,面对这个问题的服务提供商不仅仅是虎牙直播这么一家。


对应这个问题,有很多种可能的解决方案和方案提供方;不过,由一家能够提供云计算服务的提供方来解决这个问题,从社会资源的调配来看,很可能是目前最理想的配置!


AWS 为了回应这个问题而发布的两个方案的思路也是很明确的:


  1. Local Zones,把自己原有的 CDN 节点改造成计算节点,已经包含的计算服务包括 EC2、EBS、FSx、VPC、ELB、RDS。

  2. Wavelength,把运营商合作伙伴的 5G 基站改造成计算节点,目前还不知道将会包含哪些计算服务,我想 EC2 是最起码的吧。


这就比较有意思了: AWS 从 2006 年发展至今(2019 年 12 月 4 日),一共在全球开启了 22 个区域(还有 4 个已公布),包含了 69 个可用区(还有 13 个已公布)。如果用到直连网络 Direct Connect,则有 97 个网络节点可选。此外,还有 199 个边缘站点和 11 个区域边缘缓存,遍布在 37 个国家/地区的 78 个城市。



AWS Local Zones 的数量会不会很快就发展到 210 个?我觉得这可能不会需要花费特别长的时间。


然而,5G 基站的数量,又将会达到多少?5G 基站计算节点的数量,又将会达到多少?这就是个真正有意思的问题了。


本次主题演讲上,AWS Wavelength 是作为压轴、由 AWS CEO Andy Jassy 和 Verizon CEO Hans Vestberg 联合发布的。这也从侧面体现了这一边缘计算节点的重要性吧!


(我很兴奋!——Andy Jassy 如是说。)

第三个趋势:更加精细化的使用

这其实并不是一个 2019 年的新趋势,而是一个历史悠久的老趋势,不过它的重要性摆在那里,所以还是值得讲讲。所谓精细化使用的意思就是,用户可以需要多少买多少、需要什么品质的服务就买什么品质的服务,减少浪费,可以省钱;权限也只分配需要的,需要什么权限才给什么权限,这样更加安全。在今年的发布中,权限管理工具 S3 Access Points、可以在一个计算节点上挂更多存储从而减少计算资源浪费的 Redshift RA3 实例、可以把 ElasticSearch 要分析的日志数据先放到一个不那么贵的热存储上的 UltraWarm 服务、搭载了第二代自研 ARM 芯片(graviton2)的 M6g、R6g 与 C6g 实例,均属于在原有服务上进一步提升了细粒度,给用户提供了更多的精细化操作空间。


跟前两个趋势相比,这个趋势听起来不那么让人兴奋,但是非常的实用,很期待年年都能继续看到。


今天就先分享到这里。




欲了解更多 AWS re:Invent 信息,请关注 InfoQ AWS re:Invent 2019专区


2019-12-05 09:234968
用户头像
sai 有所为,有所不为

发布了 200 篇内容, 共 89.0 次阅读, 收获喜欢 69 次。

关注
服务革新 亚马逊云科技 性能优化 操作系统 芯片&算力 汽车 后端 AI&大模型 行业深度 云计算 企业动态 大前端

评论

发布
暂无评论
  • 03|青云万里——10 分钟带你了解 Serverless 平台

    2022-09-21

  • 01|拨云见日——云上架构一点儿也不神秘

    2022-09-21

  • 45|基于 Kubernetes 的云原生架构设计

    今天,我和你聊聊什么是云原生,以及如何设计一种基于Kubernetes的云原生部署架构。

    2021-09-07

  • 02|飞云掣电——澎湃算力的云中服务器

    2022-09-21

  • 思维构建|如何在新赛道下进阶 Serverless 能力?

    Serverless思维的建立一定不是一蹴而就的,在后面的课程中,我希望你能够通过“学习-实践-总结-表达”的过程去探索这门不断延伸的技术。

    2022-08-29

  • AWS 上的计算抽象:一个视觉故事

    围绕业界在过去的20年间所见证的不同级别的计算抽象的介绍。

    亚马逊云科技 语言 & 开发 架构 性能优化 中间件 操作系统 微服务
  • AWS 中国区换帅:张文翊被任命全球副总裁及大中华区执行董事

    刚刚,AWS中国区换帅,接任者张文翊为工程师背景

    文化 & 方法 云原生 服务革新 技术管理 企业动态 亚马逊云科技 架构 行业深度
  • Amazon Aurora 读写能力扩展之 ShardingSphere-JDBC 篇

    文章来源亚马逊 AWS 官方博客

    2022-04-27

  • AWS re:Invent 深度观察(计算篇):全球计算网络正在成为兵家必争之地,啃硬骨头时代已经开始

    在AWS re:Invent 2019的主题演讲上,Andy Jassy分享了这样一个数据:尽管云计算已经如火如荼的发展了十多年,然而在当前全球的所有IT消费中,在云上的消费仅仅占了3%,其余的97%仍在企业内部(on premise)。

    服务革新 亚马逊云科技 编程语言 微服务 多云/混合云 自动驾驶 数据湖仓 技术出海 芯片与网络 汽车 企业动态 行业深度
  • AWS x 红帽 | 以客户需求为驱动,加速开放混合云落地

    通过在 AWS 上使用 Red Hat OpenShift Service on AWS,企业能够快速构建云就绪应用,更轻松地采用容器技术,并拥有额外选择,从构建到部署都可以使用集成工具。

    2021-01-09

  • 43|技术演进(上):虚拟化技术演进之路

    今天我采用技术演进的思路,来详细讲解下云原生技术栈的演进中的虚拟化技术演进部分。

    2021-09-02

  • Amazon 为 EC2 实例增加网络带宽

    Amazon宣布增加了所有AWS区域的带宽,以便在当前的EC2实例和最新的Amazon Machine Images (AMIs)之间传输数据。促使带宽增加的关键因素是弹性网络适配器(ENA)。如果客户想要更多地使用AWS平台,那么网络问题不会再成为瓶颈。

    亚马逊云科技 语言 & 开发 架构 性能优化
  • AWS 的运营管理类服务

    AWS管理运营类典型服务

    2022-06-20

  • AWS 人工智能与端到端托管机器学习服务

    本次分享解析人工智能最近的发展趋势和Amazon在AI上的最新动态,解读人工智能服务背后的核心技术和应用场景。

    QCon 亚马逊云科技 最佳实践 性能优化 行业深度
  • 云原生时代的强强联合:EMQ 映云科技正式加入 AWS 合作伙伴计划

    近日,EMQ 映云科技正式加入 AWS 合作伙伴网络 (AWS Partner Network,以下简称 APN) ,成为 AWS(亚马逊云科技)官方认证合作伙伴。

    2021-10-18

  • AWS re:Invent 第二天:SageMaker 开发者工具全家桶闪亮登场

    拉斯维加斯时间2019年12月3日,AWS re:Invent大会进入第二天。在早上的主题演讲环节,AWS CEO Andy Jassy再次发布了一连串新服务,简单挑选部分、总结如下,供各位读者参考。

    服务革新 亚马逊云科技 性能优化 框架 微服务 芯片&算力 银行
  • 你需要知道的关于高 IO EC2 的事儿

    换个更块的硬盘

    语言 & 开发 其他 亚马逊云科技 性能优化 操作系统 行业深度
  • 利用亚马逊云科技整个自用免费网盘

    现在在线网盘挺多的,用网盘在线存储的好处我也不多说了,主要就是方便,但是如果不嫌累的话,随身带个硬盘到处跑到也可以。最近发现再 AWS 上竟然可以搭建一个基础的免费网盘,感觉挺有意思,于是寻思着尝试一下,一方面是熟悉 AWS 的服务使用过程,另外一方

    2022-03-25

  • AWS CEO 再回应:不会从亚马逊剥离,可能会继续收购

    其多年来已经投资了数十家小公司。

    文化 & 方法 云原生 服务革新 企业动态 亚马逊云科技 芯片与网络
发现更多内容

直播中不可缺少的一环-rtmp直播推流

anyRTC开发者

音视频 WebRTC CDN RTC RTMP

移动生态盘点与HMS生态解析

华章IT

华为 Android Studio 移动开发 HMS

应急指挥中心平台搭建,移动可视化指挥解决方案

t13823115967

可视化数据分析搭建 应急指挥

区块链溯源平台优势,区块链溯源系统解决方案

13530558032

星域母子币系统软件开发|星域母子币APP开发

系统开发

如何基于 SDK 快速开发一款IoT App 控制智能灯(iOS 版)

IoT云工坊

ios App 物联网 IoT sdk

一线大厂开源三份JDK+Spring+Mybatis源码笔记

Java架构追梦

Java spring 源码 jdk mybatis

限时!字节Java程序性能优化宝典开源,原来这才叫性能优化

996小迁

程序员 面试 性能优化 笔记

微服务架构思考 - 理清楚,管起来

jorden wang

APICloud AVM 多端开发 |外卖 app 开发案例源码教程(上)

YonBuilder低代码开发平台

Vue 大前端 Web Worker 移动终端

面试必问的 Redis:主从复制

Java架构师迁哥

九环智能合约开发

V19927655815

APP开发

云视频技术领军人赵加雨:如何提升在线教育课堂互动体验

拍乐云Pano

音视频 在线教育 RTC 互动课堂 白板

周立齐出任电动车联合创始人:网红经济背后的病态消费心理

石头IT视角

PostgreSQL 13 RPM中有哪些新功能?

PostgreSQLChina

数据库 postgresql 开源

重磅|中国PostgreSQL分会与腾讯云战略合作协议签订

PostgreSQLChina

数据库 postgresql 软件 开源社区

扒开 SqlSession 的外衣

田维常

mybatis

如何通过 Serverless 轻松识别验证码?

Serverless Devs

人工智能 Serverless 云原生

为什么香港云服务器更适合放新网站

德胜网络-阳

用一把吃鸡的时间,免费上云搭建网站应用

华为云开发者联盟

云 服务 建站

抢先体验全新升级版Eternal Wallet!

Geek_c610c0

数字货币 数字货币钱包开发

没能进入大数据领域

escray

面试 面经

Flash Player终将成为历史,HTML5正站在舞台的中央

葡萄城技术团队

一个企业用电有多浪费?90后开发者大显身手,让每度电从此更“聪明”!

华为云开发者联盟

AI 物联网 智慧园区

高空立体云防控系统搭建,智能化平安小区建设方案

t13823115967

平安小区 智慧平安社区建设

字节二面跪拜“Redis源码”后,面试官直接推荐这份笔记!真是NB

比伯

Java 编程 架构 面试 程序人生

加密猫MIMI系统APP开发|加密猫MIMI软件开发

系统开发

为什么说rollup比webpack更适合打包库

fengxianqi

大前端 Rollup webpack

盘点 2020 | 10 天开发前台系统技术系列

老魚

CSS 大前端 全栈 js 盘点2020

智慧社区综合管理平台搭建,智慧平安城市建设

13530558032

2021 云原生走向何处?

云原生实验室

AWS re:Invent 2019深度观察(底层篇):两个趋势,新的革命?_服务革新_sai_InfoQ精选文章

玻璃钢生产厂家广州人物玻璃钢雕塑德阳公园玻璃钢雕塑青岛玻璃钢雕塑摆件供应开封不锈钢玻璃钢景观雕塑厂园林玻璃钢卡通雕塑商家北京商场创意商业美陈价格玻璃钢雕塑加盟合作福建抽象玻璃钢雕塑生产厂家广场玻璃钢雕塑供销吉安佛像玻璃钢雕塑制作氧化镁花盆与玻璃钢花盆区别吕梁玻璃钢仿真水果雕塑价格宁德玻璃钢雕塑河源玻璃钢景观雕塑贵阳玻璃钢雕塑优势马鞍山欧式玻璃钢雕塑价位夏县玻璃钢花盆花器品牌玻璃钢卡通雕塑销售厂家迪庆玻璃钢雕塑安装厦门楼盘玻璃钢卡通雕塑景德镇玻璃钢雕塑制作厂家枝江玻璃钢景观雕塑景德玻璃钢卡通人物雕塑玻璃钢人物雕塑电话澳门玻璃钢彩绘雕塑商场家电美陈布置龙岩玻璃钢牌匾雕塑平度玻璃钢花盆花器商场美陈哪种好郑州铸铜玻璃钢仿铜雕塑香港通过《维护国家安全条例》两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”19岁小伙救下5人后溺亡 多方发声单亲妈妈陷入热恋 14岁儿子报警汪小菲曝离婚始末遭遇山火的松茸之乡雅江山火三名扑火人员牺牲系谣言何赛飞追着代拍打萧美琴窜访捷克 外交部回应卫健委通报少年有偿捐血浆16次猝死手机成瘾是影响睡眠质量重要因素高校汽车撞人致3死16伤 司机系学生315晚会后胖东来又人满为患了小米汽车超级工厂正式揭幕中国拥有亿元资产的家庭达13.3万户周杰伦一审败诉网易男孩8年未见母亲被告知被遗忘许家印被限制高消费饲养员用铁锨驱打大熊猫被辞退男子被猫抓伤后确诊“猫抓病”特朗普无法缴纳4.54亿美元罚金倪萍分享减重40斤方法联合利华开始重组张家界的山上“长”满了韩国人?张立群任西安交通大学校长杨倩无缘巴黎奥运“重生之我在北大当嫡校长”黑马情侣提车了专访95后高颜值猪保姆考生莫言也上北大硕士复试名单了网友洛杉矶偶遇贾玲专家建议不必谈骨泥色变沉迷短剧的人就像掉进了杀猪盘奥巴马现身唐宁街 黑色着装引猜测七年后宇文玥被薅头发捞上岸事业单位女子向同事水杯投不明物质凯特王妃现身!外出购物视频曝光河南驻马店通报西平中学跳楼事件王树国卸任西安交大校长 师生送别恒大被罚41.75亿到底怎么缴男子被流浪猫绊倒 投喂者赔24万房客欠租失踪 房东直发愁西双版纳热带植物园回应蜉蝣大爆发钱人豪晒法院裁定实锤抄袭外国人感慨凌晨的中国很安全胖东来员工每周单休无小长假白宫:哈马斯三号人物被杀测试车高速逃费 小米:已补缴老人退休金被冒领16年 金额超20万

玻璃钢生产厂家 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化