您现在所在的位置:>首页 > 茶道 > 正文
2022亚马逊云科技re:Invent全球大会总览:云原生数据战略、全面无服务器、硬件创新加速
发布时间:2023-01-09 15:22   浏览量:199

  2022亚马逊云科技re:Invent全球大会已经结束,跟每年的re:Invent全球大会一样,今年亚马逊云科技又发布了一系列极具创造力和颠覆性的的新功能、新产品,这其中云原生数据战略、全面布局Serverless以及在硬件领域额创新都给我们留下深刻印象。我们还记得在今年re:Invent全球大会的第二天,亚马逊云科技首席执行官Adam Selipsky发表了“如何借助云的力量,在未知领域抓住机遇并茁壮成长”的主题演讲,那么在2022 re:Invent全球大会已经结束的时候,我们同样用“云的力量”来总结本次re:Invent全球大会。

  云原生数据战略全面服务化

  近些年来,企业与组织管理的数据正在经历爆炸式的增长。数据的规模在不断扩大的同时,其种类也变得越来越多样化,数字媒体与社交网络的数据、物联网的数据、在线交易、财务分析、基因组学研究的数据……如何有效利用这些数据的价值,来帮助企业做出更好、更聪明、更安全的决策,驱动业务创新,是云服务最重要的内容。

  为了帮助企业构建数据战略,更好的利用这些数据资源,亚马逊云科技提出了三个核心战略:第一,需要建设能够应对所有未来情况的策略于云原生数据基础设施。第二,需要有组织把它们连接起来,打破壁垒实现数据一体化融合。第三,需要更好的工具与措施来实现数据的普惠。

  针对第一点,亚马逊云科技基于自身的15年的数据创新经验、技术优势与客户案例积累,目前已经形成了一套完整的端到端数据战略方案。以Amazon Aurora和Amazon DynamoDB为典范的云原生数据库产品,能够助力企业搭建一套可弹性伸缩、高性能、安全的数据架构,应对跨区域部署与运维工作的挑战,并且避免传统架构在业务增长时的中断问题,实现应用伴随业务自动扩缩与低运维。 此外,针对如何让数据高效流转和实现数据普惠工具的问题,亚马逊此次推出了两款新产品,专门聚焦于解决这两方面的挑战。

  首先是亚马逊云科技首个端到端的数据治理工具——Amazon DataZone。全新的DataZone服务将允许对数据跨组织边界的大规模共享、搜索和发现,不仅可以帮助企业利用数据生成个性化视图,执行治理和合规的相关策略,同时并能够实现企业内部的跨团队无缝协作,允许以自助服务方式访问数据和分析工具。

  另一个重要产品则是Amazon Zero ETL。通常情况下,ETL会花掉企业整个项目至少1/3的时间,ETL 构建与维护机会会占据数据工程师70%工作量,费时费力。近几年来,亚马逊云科技一直在持续投入开发基于Zero ETL 理念的功能,比如 Amazon Athena 的 Federated Query 联邦查询,可以对存储在关系数据源、非关系数据源、对象数据源和外部自定义数据源中的数据运行 SQL 查询,而无需移动数据。再比如开发 Amazon Kinesis 和 Amazon MSK的流式服务,向数据存储服务(如 Amazon S3)无缝注入数据,从而助力客户及时分析数据等。

  在今年的大会上,亚马逊又再次发布了更多新的 Zero ETL 功能,来助力企业更快、更轻松、更经济地实践“数据一体化融合”。

  其中,Amazon Aurora Zero ETL to Amazon Redshift 服务,可以助力 PB 级分析交易数据进行近实时分析。用户可以将数据从多个 Amazon Aurora 数据库集群复制到同一个 Amazon Redshift 实例,跨多个应用程序获得洞察。这样一来,用户可以使用 Amazon Aurora 支持交易数据库需求、使用 Amazon Redshift 进行分析,无需构建或维护复杂的数据管道。

  在数据服务方面,最近,Stability AI 与亚马逊云科技的合作也在业界引起了广泛的关注。Stability AI等AIGC图片生成产品和最强语言模型ChatGPT先后火爆出圈,这背后,数据的处理、计算和训练起到了至关重要的作用。亚马逊云科技的Amazon SageMaker旗舰级托管式机器学习服务,开发者可以轻松和“一站式”地准备数据,并大规模地构建、训练、部署高质量机器学习模型。数据显示,在亚马逊云科技自研的Trainium训练芯片支持下,其训练时间和成本可以减少58%。

  Serverless时代已全面到来

  简单来说,Serverless无服务是一种简化的云计算架构,让开发者可以更专注于业务逻辑而不是底层架构, 提供更高效、可扩展、灵活和成本效益的云计算方式。从目前的实践来看,Serverless无服务带来了三大方面的直接作用:节省成本、降低技术和管理负担,以及加快应用交付速度。

  在2014年亚马逊云科技发布了业界第一个Serverless计算服务Amazon Lambda之后,亚马逊每年都不断在数据库、数据分析、人工智能领域扩展Serverless版图。作为无服务器技术的先驱,亚马逊云科技Amazon Lambda 在采用率方面一直保持领先地位,至今已累计发布了超过100款新的功能,活跃用户超过100万,同时每月的调用请求量超过100万亿次。

  虽然在行业内占据绝对领先优势,但亚马逊云科技对于 Lambda的维护和更新也丝毫不放松。2019年亚马逊云科技发布了 Amazon Lambda 的“预置并发(Provisioned Concurrency)”功能,允许亚马逊云科技无服务器计算用户使其函数保持“已初始化并准备好在两位数毫秒内响应”的状态,这意味着“冷启动”问题成为过去,行业达到一个成熟点。而今年,亚马逊又再进一步发布了Amazon Lambda SnapStart,能够实现高达90%的冷启动延时,让用户几乎可以无感知的实现应用扩展。以游戏行业为例,全新的Lambda SnapStart服务不仅可以为游戏玩家提供可靠的低延迟体验,同时还能实现自动弹性扩缩,以满足玩家对流量的需求。

  在去年的大会上,亚马逊云科技一口气发布了包括Amazon EMR Serverless、Amazon Redshift Serverless、Amazon MSK Serverless、Amazon Kinesis on-demand4个Serverless服务,将组件的数量推到了极致。在今年的主题演讲上,亚马逊云科技首席执行官Adam Selipsky 正式发布了Amazon OpenSearch Serverless(Preview),这意味着现在所有亚马逊云科技提供的数据分析服务已全部实现了Serverless无服务器化。也就是说,Serverless已经在数据分析PaaS服务领域实现了数据仓库、大数据平台、流式数据分析的全面无服务器化,将整个数据Serverless能力拓展到了全栈,也将将云原生数据分析的敏捷、易用、无需运维抬到了一个新的高度。

  为云而生的硬件创新进入加速期

  在2022年的re:Invent全球大会上,亚马逊云科技在硬件创新方面依旧令人惊喜:推出面向高性能计算优化的Amazon Graviton3E处理器、第五代Nitro系统,以及发布了三个基于这两个芯片和训练芯片Trainium的发布的新型云计算实例。

  亚马逊云科技在去年推出第三代Amazon Graviton处理器。Graviton3集成了大约550亿个晶体管,相比Graviton2单核性能提升25%,浮点性能提升2倍,机器学习性能提升3倍,在同样的性能上最多可以节省60%的能源 ,是ARM架构应用在云计算领域的重要实践今年。而今年发布的Amazon Graviton3E处理器是在Graviton3芯片基础上针对高性能计算所需的浮点和矢量计算进行了大幅优化,在HPL基线测试中工作负载的性能提高了35%,是一款针对高性能计算所做的定制版芯片。

  此外,今年还重磅推出了全新的Amazon Nitro v5系统。和前一代相比,Nitro v5的晶体管数量增加一倍,每瓦性能提升40%,同时还带来了50%的 DRAM 内存性能提升,2倍的PCle 带宽提升,改善30%延迟。目前,在Nitro系统的加持下,亚马逊云科技已发布超过600款计算实例,可以几乎满足一切云上负载的需求。如今每天有超过6000万个新的EC2实例在亚马逊云科技上被创建。

  面向高性能计算的 HPC7g,最多支持64个vCPU和128GB内存,适用于天气预报、生命科学、工程计算等高性能计算场景。

  针对网络密集型负载进行优化的C7gn实例,与当前一代网络优化型实例相比,为每个CPU提供了多达2倍的网络带宽,同时将每秒数据包转发性能提升50%,为网络密集型工作负载提供了超高的网络带宽、数据包转发性能和性价比。

  针对大模型的部署和训练专门开发了Trn1n实例,支持多达16颗Amazon Trainium芯片,是目前云端最快的深度学习实例。在Trn1上运行的Hugging Face BERT大模型,其性能对比GPU实例有42%的提升,成本降低了54%。值得注意的是,Trn1第一次把实例的网络带宽提高到了800GB。

  (文/利民)