GitLab 误删生产数据库:备份机制逐个哑火,最后靠 6 小时前的快照直播抢救
TL;DR:2017 年 1 月 31 日,GitLab.com 的一名工程师在排查数据库复制故障时,把清空数据目录的操作做在了主库上,约 300 GB 数据被删。GitLab 事后发现,几套备份与复制手段要么没有生效,要么并非为灾难恢复设计,最终只能靠约 6 小时前的一份手动快照恢复。网站停摆约 18 小时,丢失了约 6 小时的数据,恢复过程还在 YouTube 上直播。 这是一起发生在 2017 年的老事故,不是今天的新闻,但它至今仍是“备份到底能不能恢复”的经典教材。