AWSの大規模障害は空調設備の障害が原因だった（☆）
借金エンジニアです。
今日はAWSなお話。
AWSの大規模障害は空調設備の障害が原因だった
AWSで大きな障害がありましたね。
私も自社サービスが落ちたり、使用しているサービスが不安定になるなど、少し影響を受けました。
当初、AWSからのアナウンスでは、東京リージョンの一つのAZ（アベイラビリティーゾーン）のEC2とRDSの一部で障害が起きている、だったと思います。
AWSで障害が発生している時はAWSからのアナウンスの他に、Twitterなどでも情報収集したりします。
情報収集している感じと、自分の管理しているEC2インスタンスで落ちたものを見る限り、障害が起きたAZは「ap-northeast-1a」だったんだと思います。
落ちた自社サービスはap-northeast-1aのインスタンス1台だけで動かしているものだったので、まぁ落ちて当然です。
当初は接続性が。。。というAWSからのアナウンスで、試しにAMIを作ってインスタンスを複製し、置き換えただけで復旧したので、運が良かったのでしょう。
単一AZだけでサービスを提供するのはダメですね。
で終わる話かと思ったら、そうでもないみたいです。
ALBの障害！？！？
これが本当だと、けっこう深刻な問題です。
ALBの障害対策なんてユーザー側ではできないので、ALBに頼らない構成にする必要があります。
今回はALBの分散対象から障害が起きていたAZを取り除けば解消できたみたいですが、そんなのALB側で自動でやってくれよと思ってしまいます。
AWS依存症な感じですね。
先ほど、AWSのアナウンスを再度確認すると、今回の障害の根本原因が発表されていました。
日本時間 2019年8月23日 12:36 より、AP-NORTHEAST-1 の単一のアベイラビリティゾーンで、一定の割合の EC2 サーバのオーバーヒートが発生しました。この結果、当該アベイラビリティゾーンの EC2 インスタンス及び EBS ボリュームのパフォーマンスの劣化が発生しました。 このオーバーヒートは、影響を受けたアベイラビリティゾーン中の一部の冗長化された空調設備の管理システム障害が原因です。日本時間 15:21 に冷却装置は復旧し、室温が通常状態に戻り始めました。温度が通常状態に戻ったことで、影響を受けたインスタンスの電源が回復しました。日本時間 18:30 より大部分の EC2 インスタンスと EBS ボリュームは回復しました。 我々は残りの EC2 インスタンスと EBS ボリュームの回復に取り組んでいます。少数の EC2 インスタンスと EBS ボリュームが電源が落ちたハードウェア ホスト上に残されています。我々は影響をうけた全ての EC2 インスタンスと EBS ボリュームの回復のための作業を継続しています。 早期回復の為、可能な場合残された影響を受けている EC2インスタンスと EBS ボリュームのリプレースを推奨します。いくつかの影響をうけた EC2 インスタンスはお客様側での作業が必要になる可能性がある為、 後ほどお客様個別にお知らせすることを予定しています。
「空調設備の管理システム障害が原因です」
AWSも日本の夏の暑さにやられていましたか〜
空調設備もAmazonが管理しているんですかね？？？
さすがに外部に委託しているのかな？？？
冬だったらもう少し影響範囲が小さくなってたかもしれませんね。
冷却装置の冗長化として、空冷と水冷を組み合わせを検討してみても良いかもしれませんね。
今回のAWS障害の影響を受けて、トラブル対応をされていたエンジニアの方も大変だったと思いますが、AWSの中の人はそれ以上に大変だったかもしれませんね。
8月23日は「白虎隊の日」
8月23日は「白虎隊の日」とカーナビが教えてくれました。
？？？
1868年の8月23日に戊辰戦争で会津藩の白虎隊２０人の隊員が城下の飯盛山で自刃した、ようです。
歴史？？？
記念日じゃないような。。。
日本記念日協会は認定していないようです。
おわりに
AWSも音を上げたこの暑さ。
ピークは過ぎた感じもしますが、でも暑い。
来年の東京オリンピックは涼しい部屋のテレビの前で鑑賞しましょう。
以上です。
読者登録していただけると励みになりますので、ぜひお願いいたします。
ブログ村のリンクもクリックしていただけると、さらに励みになりますので、ぜひぜひお願いいたします。
にほんブログ村
閲覧ありがとうございました！
