内容字号:默认大号超大号

段落设置:段首缩进取消段首缩进

字体设置:切换到微软雅黑切换到宋体

网站建设_阿里云万网主机_速度快

2021-06-11 07:30 出处:欧普曼云计算 人气: 评论(0

网站建设_阿里云万网主机_速度快

编者按:这是数据仓库现代化系列文章的第二篇。在上一篇博文中,我们讨论了为什么遗留数据仓库不再对其进行裁减,以及为什么组织将其数据仓库转移到云上。我们经常听到客户认为迁移是一场艰苦的战斗,因为迁移策略没有被刻意考虑。

从遗留环境迁移到现代数据仓库可能需要大量的时间和资源前期投资。在流程之前和过程中有很多事情需要考虑,因此您的组织必须采取战略方法来简化流程。在googlecloud,我们与企业合作,将数据转移到BigQuery数据仓库,企业内部软件,并帮助各类公司成功地迁移到云。以下是我们经常听到的关于将数据仓库迁移到云端的一些问题:

这些是在开始迁移时需要问和回答的重要问题。让我们按顺序排列。

我们如何将任何迁移风险或安全挑战降至最低?很容易认为内部数据仓库是安全的,因为它是现场的,您可以管理它的数据保护。但是,如果扩展一个on-prem数据仓库是困难的,那么随着业务的扩展,保护它也是困难的。对于企业用户,云身份和访问管理(Cloud IAM)是设置适当的基于角色的用户数据访问的关键。您还可以利用BigQuery中SQL的安全视图。所有BigQuery数据在静止和传输过程中都被加密。您可以添加对客户管理的加密密钥的保护,以建立更强大的安全措施。使用虚拟私有云(VPC)安全控制可以保护您的迁移路径,因为它有助于减少数据外泄风险。

这将花费多少钱?云数据仓库的成本与传统数据仓库的结构不同。像Teradata这样的on-prem系统可能需要IT团队每三年支付一次硬件费用,然后为需要访问该系统的用户支付许可证费用。容量的增加带来了超出硬件预算的额外成本。

有了云,你在成本和规模上有了更多的选择。与固定的成本集不同,您现在正在研究价格效用梯度,大数据收集,如果您想从数据仓库中获得更多的信息,您可以立即花费更多的钱,反之亦然。虽然云数据仓库有助于减少或消除资本和固定成本,但它们并不完全相同。您会发现不同供应商的简单性和成本节约程度各不相同,物联网是什么,因此查看每个数据仓库的运营成本与其性能之间的关系非常重要。

对于像BigQuery这样的云数据仓库,当客户迁移到BigQuery时,TCO就成了一个重要的指标(请查看ESG的报告),谷歌云的灵活性使得优化成本变得容易。

我们如何将所有数据迁移到目标数据仓库?这个问题包括将提取、转换、加载(ETL)作业和SAS/BI应用程序工作负载迁移到目标数据仓库,以及将所有查询、存储过程和其他提取、加载、转换(ELT)作业迁移到目标数据仓库。

实际上,将一家公司的所有数据迁移到云中在一开始就显得令人望而生畏迁徙之旅。我们知道,大多数企业都有大量孤立的数据。这可能是多年来为各种团队建立的多个数据湖,或者通过收购获得的系统,只处理一到两个关键应用程序。您可能正在将数据从on-prem或云数据仓库移动到BigQuery,并且类型系统或表示不匹配。

为成功迁移做准备的一个重要步骤是执行一些工作负载和用例发现。这可能涉及审核当前存在哪些用例,以及这些用例是否是更大工作负载的一部分,以及确定哪些数据集、表和模式支持每个用例。用例将因行业和工作角色而异。因此,例如,零售定价分析师可能希望分析过去的产品价格变化来计算未来的定价。用例可能包括需要从事务性数据库中摄取数据、将数据转换为每个产品的单个时间序列、将结果存储在数据仓库表中等等。

在准备和发现阶段之后,您应该评估遗留环境的当前状态,人工智能可以做什么,以规划迁移。这包括对用例进行编目和排序,企业管理软件开发,审核数据以决定哪些将被移动,哪些不被移动,评估整个组织的数据格式以决定需要转换或重写的内容。一旦决定了,选择你的摄取和管道方法。所有这些任务都需要技术和人员管理,并且需要就迁移完成后的成功情况达成一些组织共识?管理遗留数据仓库通常不是速度的同义词。性能往往以容量为代价,因此在其他查询运行完毕之前,用户无法进行所需的分析。报告和其他分析功能可能需要数小时或数天,这对于运行包含大量数据的大型报告尤其如此,例如季度末销售计算。随着数据量和用户数量的快速增长,性能开始下降,组织经常面临中断性停机。

然而,随着像BigQuery这样的现代云数据仓库,计算和存储是解耦的,BigQuery可以帮助您实现现代化,因为它使用熟悉的SQL界面,因此用户可以在几秒钟内运行查询并立即共享见解。家得宝就是这样一个例子:客户迁移了他们的仓库,将8小时的工作量减少到5分钟。

迁移到云计算可能会让人望而生畏,尤其是在迁移一个根深蒂固的遗留系统时。但它带来的好处是采用技术让业务增长,而不是简单地采用一种工具。很可能你已经看到了商业需求的存在。现在是时候停止阻碍这种需求,转而为增长让路了。

分享给小伙伴们:
本文标签: 网站建设阿里万网主机速度快

相关文章

评论

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

签名: 验证码: 点击我更换图片

评论列表