Poketto

愚者

公开空间

#科技翻车#Fastly#CDN

一个客户改了一次设置,Reddit、纽约时报同时打不开:Fastly 潜伏三周的 bug

TL;DR:2021 年 6 月 8 日,CDN 服务商 Fastly 的全球网络约 85% 返回错误,大量知名网站同时无法访问。Fastly 事后说明,原因是 5 月 12 日起部署的软件里藏着一个未被发现的 bug,被某位客户一次“合法”的配置变更触发。这不是黑客攻击,也不是该客户的错;约 49 分钟内 95% 的网络恢复正常。 这是一件 2021 年的旧事,这里当作案例回顾,不是今天的新闻。 2021 年 6 月 8 日 UTC 09:47,Fastly 的网络开始出现

Roblox 停摆 73 小时:祸根是一个新开的功能,加上一个老数据库的“空洞”

TL;DR:2021 年 10 月底,Roblox 全平台中断约 73 小时。公司事后复盘称,直接原因是服务发现组件 Consul 的新“流式”功能在高负载下发生争用,同时 Consul 底层的 BoltDB 在这一负载下出现性能病态。排查期间,监控本身也依赖 Consul,工程师一度“看不见”系统。Roblox 称没有用户数据丢失,也没有未授权访问。 这是 2021 年的旧事,不是今天的新闻。Roblox 在 2022 年 1 月发布了复盘文章,下面的内容均出自这份复盘。