Twitter Plots Hadoop集群迁移到Google云平台
2021-07-31 15:44:14 [来源]:
Twitter已概述计划将其大量的Hadoop数据处理平台移动到Google云,以提高社交媒体网站的基础架构的弹性。
该公司众所周知,经营多个Hadoop集群,其中包含300多个PB的数据,并在2017年1月(通过其工程博客)进行了录制,以确认其中最大的节点包括10,000个节点。
这些集群传统上传统上运行在Twitter自己的数据中心,并且用于进行数据仓库和处理任务,并支持微博平台内部工作的实时方面。
在2018年5月3日发布的后续帖子中,该公司表示,它现在与谷歌合作,将其冷库和灵活的Compute Hadoop集群转移到搜索巨头的云平台中。
“在过去的几年里,我们一直在评估我们的平台和基础设施,需要确保我们能够保持越来越多的服务需求,”Twitter CTO ParagAl,在博客文章中。
“此迁移,在完成时,将启用更快的容量供应;增加灵活性;访问更广泛的工具和服务生态系统;改善安全;并增强灾难恢复能力。
“架构上,我们还将能够分开这类Hadoop工作负载的计算和存储,这具有许多长期缩放和运营效益。”
谷歌云端的Brian Stevens表示,合作伙伴关系应该为两家公司之间的更大水平的技术合作铺平道路。
“与Twitter的工程战略有强烈的一致性,以满足其平台的需求和谷歌云在全球范围内提供的服务,”史蒂文斯说。
“Google云平台的数据解决方案和可信基础设施将提供推特,其平台所需的技术灵活性和一致性,我们期待与其团队的持续技术合作。”
两家公司之间的技术合作的新闻与Twitter的入学一致,它的系统中的错误可能导致一些用户密码不安全地存储。虽然该公司声称受影响的密码没有滥用或破坏的迹象,但推特是向用户考虑将登录详细信息更改为预防措施。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如有侵权行为,请第一时间联系我们修改或删除,多谢。