内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

主页 > CDN >

数据库_阿里云个人网站_优惠券

2021-06-10 14:00 出处:欧普曼云计算 人气: 评论(0

数据库_阿里云个人网站_优惠券

今天,googlecloud宣布了cloudcomposer的beta测试版发布,悠哉返利机器人,这是一个托管的Apache气流服务,它使工作流的创建和管理变得简单、强大和一致。我们经历并研究了工作流编排的挑战,并致力于提供更好的体验,为用户节省时间和压力。

分析师、数据工程师和其他用户可以使用Cloud Composer的完全管理功能来编写、调度和监控他们的工作流。Composer为用户提供了一个独特的属性包,包括:

我们相信在平台级别应该有一个简单可靠的工作流解决方案,就像其他云服务一样。凭借上述功能和下文概述的其他功能,Cloud Composer提供了一个单一的托管解决方案来创建和管理工作流,而不管工作流位于何处,并使您能够在迁移环境时随身携带这些关键的基础设施。

在这种广泛的背景下,让我们探讨一下传统工作流的构建、Apache Airflow项目,以及Cloud Composer的更深入研究,包括如何开始以及一些早期成功的用户对该服务的体验。

传统工作流的优缺点

创建一个工作流来自动化一个流程通常非常简单。例如,八斗大数据,大数据和小数据,启动一个文本编辑器并编写一些Bash或Python来自动化一个过程是很常见的。一旦您选择通过cron这样的机制安排脚本,您就可以将时间和注意力集中在其他更重要的任务上。你尽量减少花费的时间和出错的可能性:每次都是胜利,对吧?不幸的是,一个人的自动化能力是一把双刃剑。

在创建此工作流时,作者是否使用了标准工具并通过重用其他工作流中先前开发的代码来节省时间?团队或组织中的其他人是否知道此工作流的存在及其工作方式?每个人都很容易理解这个工作流的状态,并在出现问题时进行调查吗?工作流作者是否都能轻松或立即了解创建丰富工作流所需的API?如果没有通用的工作流语言和系统,这些问题的答案通常是"否"。

考虑到这些工作流可能是任务关键型的,我们认为对所有这些问题回答"是"应该很容易。无论是分析师还是有经验的软件开发人员,都应该能够以节省时间和降低风险的方式编写和管理工作流?

当我们开始构建Cloud Composer时,我们知道我们希望将产品建立在开源项目的基础上。与GCP的"开放云"理念一致,我们必须具备的一个特性是无锁定方法。如果您在googlecloud平台(GCP)上开发工作流,那么它应该很容易移植到其他环境。同样,物联网工程课程,我们希望Composer能够跨越GCP之外的各种技术。

许多优秀的开源项目都集中在工作流上,包括apacheoozie、Luigi、Azkaban和apacheairflow。我们选择Cloud Composer基于Airflow有很多原因,但具体原因是Airflow:

如果您是Airflow的新手,您可能需要查看Airflow的核心概念。

Cloud Composer概述

在构建Cloud Composer时,我们希望将Google云平台的优势与Airflow结合起来。我们开始建立一个服务,提供最好的气流没有安装和管理气流自己的开销。因此,您将更少的时间花在低价值的工作上,例如安装Airflow,而将更多的时间花在重要的事情上:您的工作流程。

Cloud Composer的首次beta版包含了一些功能,可以节省您的时间并提高Airflow部署的有用性,包括:

此首次发行版是我们的起点,我们有一个未来计划的许多功能包括额外的Google云区域、Airflow和Python版本选择以及自动缩放。

我们热衷于成为apacheairflow社区的活跃成员。在测试版发布之前,CloudComposer团队已经向Airflow项目提交了20多个pull请求。目前,我们正在努力扩展Airflow,包括我们在KubernetesExecutor上的工作。Cloud Composer团队在core Airflow中计划了许多未来的工作,并期待着与更广泛的Airflow社区合作。

入门

如果您已经熟悉Apache Airflow,你已经知道如何使用谷歌云作曲家。如果您是Apache Airflow的新手,那么Airflow DAG教程是一个很好的起点。气流API参考也很有用,因为它解释了气流技术设计中的核心概念。

将Cloud Composer与GCP产品一起使用很容易。目前,Cloud Composer和Airflow支持BigQuery、Cloud Dataflow、Cloud Dataproc、Cloud Datastore、Cloud Storage和Cloud Pub/Sub。Airflow GCP文档包括如何为这些产品使用操作员的详细信息。

例如,假设您希望使用BigQuery运行一个查询,然后将结果导出到云存储。在Cloud Composer上运行的Airflow DAG中,只需使用BigQueryOperator和BigQueryToCloudStorageOperator运算符即可。

首先,可以配置这些运算符使用的变量,如数据集名称、查询参数和文件输出路径。这些变量可以是DAG的局部变量,也可以在环境级别定义,例如gcs\U bucket变量。

,看云
分享给小伙伴们:
本文标签: 数据库阿里个人网站优惠券

相关文章

评论

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

签名: 验证码: 点击我更换图片

评论列表