2023年7月11日故障公告 机房供电系统发生火灾

小樱

2023年7月11日故障公告 机房供电系统发生火灾

发生时间
中国大陆时间 2023年7月11日06点32分 到 2023年7月13日08点19分

事情原因
机房供电系统发生火灾

维护经过路线图
目前，新泽西地区正发生中断。
该设施正在调查中，整个建筑物都受到了影响。
该设施已经提供了以下信息：
我们目前在EWR1的UPS系统遇到了全站的电力问题。我们的现场人员正在调查此问题。我们已经通知我们的UPS供应商，他们正在前往现场协助我们。

更新：
直接来自Evocative：
根据当地消防局的要求，Secaucus/EWR1的数据中心仍然停电。我们的冗余UPS之一出现了电气故障，开始冒烟并在UPS机房内发生了小火灾。消防部门已经赶到并迅速扑灭了火灾。消防部门随后切断了整个数据中心的电力，并禁用了我们的发电机，以便他们和公用事业公司验证电力系统。我们一直在与消防部门和公用事业公司合作，加快此过程。我们目前正在等待消防局和当地公用事业公司重新供电。我们完全依赖于他们的检查和批准。我们希望在下一个小时内能够得到一个可以分享的更新。目前，消防部门正在控制建筑物的进入，我们将无法允许客户进入。

更新：
Evocative发布的当前状态更新：
在审查了现场后，消防局要求我们在允许重新供电之前对UPS设备和机房进行彻底清洁。我们目前有一家供应商在现场进行清洁工作。除非夜间有重大变化，我们将在东部时间早上8点提供更新。
请明确，火灾并未发生在我们的环境中，而是局限于一个电气室。此中断影响整个设施，而不仅仅是我们的环境。
我们与Evocative保持着不断的沟通。我们预计在东部时间早上8点之前会有更新。

更新-东部时间0857：
设施提供的最新更新：
我们预计在上午8点进行清理，之后由消防局进行检查。我们将在整个过程中向您提供最新信息。

更新-东部时间1103：
我们的修复供应商和我们的团队整夜清洁UPS设备，以满足消防局的要求。他们取得了重大进展，希望在中午前完成清洁工作，届时我们将请消防局对现场进行审查。在他们的审查之后，我们希望能够得到他们的批准，以便开始重新供电过程。重新供电过程可能需要4-5个小时，因为我们需要先启动关键基础设施，然后再启动任何服务器。

更新-东部时间1643：
Secaucus的EWR数据中心目前仍然停电，根据消防局的要求。
我们刚刚完成了与消防局、电气检查员和我们现场管理团队的会议。我们在清洁方面取得了良好的进展，并在与消防局审查后，他们要求我们清洁额外的空间，并要求我们更换一些消防系统的组件。他们安排了时间在东部时间周三上午9点返回并审查这些要求。我们正在与这些供应商全力合作并在现场增加清洁人员以满足消防局的最后期限。
为了准备客户上门，消防局表示我们需要在恢复公用事业电力和更换消防系统组件之后进行消防/生命安全系统的全面测试。我们已经请来这些供应商明天进行这项工作。

更新-东部时间1052- 7月12日：
我听说初步检查结果良好，我们正在采取措施重新供电。
我正在等待数据中心运营部门的官方更新。敬请期待更多信息。

更新-东部时间1836
我们的现场团队正在使我们的UPS系统上线。我们的UPS供应商正在现场协助我们。我们已经启用了UPS-4，并正在充电其相关的电池系统。在启动UPS-R时，我们遇到了一个小问题，目前正在调查。
我们目前完成了35%的工作，将站点恢复在线的预计时间是大约5小时。我们仍计划在晚间允许客户返回现场。
在重新供电过程中，我们也在处理我们的消防系统。我们目前正在寻找材料，以使我们的消防系统完全上线，并没有完成的预计时间。由于这个原因和消防局的合规要求，当我们完成关键基础设施系统的启动时，我们只能允许有监督的护送客户进入现场。我们目前正在寻找额外的人员来协助我们执行这项护送政策。

更新-东部时间0201- 7月13日：
电力已恢复。
如果您的服务器仍处于离线状态，请告知我们。

YII

小樱家烧起来了，烤樱烤樱。

qqwwe123008

怪不得前几天都上不了....

小樱

qqwwe123008 发表于 2023/7/13 21:29
怪不得前几天都上不了....

要是火扑不灭就只能带着每日备份换服务器了

STeveBlocks

草，燃起来了（指机房）

明湖

我以为只是临时故障，着火是我万万没想到的

smilesadness

想开点，至少不是找不到服务器（物理）

小樱

smilesadness 发表于 2023/7/14 13:06
想开点，至少不是找不到服务器（物理）

有每日备份，问题不大，顶多丢一天存档

刘包子

服务器着火这是说论坛要火啊，大吉（手动滑稽）

Hileb

樱酱火了

WildernessRgr

好离谱

acalism

YII 发表于 2023/7/13 18:47
小樱家烧起来了，烤樱烤樱。

烤樱是 coin 吗？

acalism

刘包子 发表于 2023/7/16 23:02
服务器着火这是说论坛要火啊，大吉（手动滑稽）

点赞👍

Dow

这真的是，天降横祸