Facebookのデータセンタについて

Facebookが自社のデータセンタを更新するにあたって、設備の情報を資料付きで公開した。
Home » Open Compute Project
建屋も含めて新設するなんていうのは日本のサービス事業者にはなかなか出来ない規模だが、個々のテクノロジーは参考になるものが非常に多くて興味深い。

サーバ

外装なしの板金の上にマザーボードを乗せているのみの、いわゆる自作サーバ系を主力にしているようだ。外装がないとはいえ、横板はあるし上下で間を詰めてマウントするのでエアフローは板金上に搭載されているファンで十分に確保できそう。物理的な高さは66mm(2.60inch)なので、Unit数換算では1.5U
シャーシ上にはマザーボードの他、ディスクが6本と電源が搭載できる。この辺は市販の1Uサーバとほとんど同じ構成、もちろん外装がないのはかなり特異だ。単なる板きれと市販サーバのどちらに近いかと言えば、外装が無いだけで市販サーバに近い作り込みがされていると感じる(板の上に乗せているだけのサーバが悪いと言っているわけではない)。
マザーボードはプロセッサタイプに応じてIntel系とAMD系を併用している。汎用品ではなくそこそこ手の入った特注品であるようだ。キャパシタが固体コンデンサを使っているなどはやはり耐久性などを考慮してだろう。基板は大きめだが、機能は市販品よりも削っているようで部品実装点数も少なめ。
面白い機能としては、Reboot on LANというのがある。通常のWakeup On LANの逆でマジックパケットを受けとるとNICが本体をリブートさせる機能だ。確かにソフト的にハングアップなどしたときはリモートから再起動だけするようなオペレーションをすることはよくある。リモートから管理画面をとって確認するまでもないときはこの機能は便利かもしれない。
写真ではIntel系には1つのRJ-45の口しかないように見えるが、ドキュメントにはいずれのタイプでもNICは3つ搭載しているらしい。最近のコントローラは1つで2個の口を提供するタイプが多いので、搭載NIC数も2か4というのが多いのでちょっと珍しい。実装されている写真ではEthernetが1本しか結線されていない物もあるので、ある程度バリエーションがあるのかもしれない。
電源はAC/DC変換の12.5Vの単一給電。DC給電にしてしまわないのはちょっと意外だったが、12.5Vの単一給電はGoogleも提唱しているものなのでやはりそこに落ちつくようだ。UPS(後述)からのDC給電を受ける口もある。

ファシリティ

エネルギー効率を重視しているのは今時のデータセンタの流儀の通り。従来Facebookが使っていたのはPUE1.5だったところを、今回のデータセンタでは1.07という驚異的な高効率になっている。国内のデータセンタが新しいところでも1.5以上、古いところなら2や3を超えているなかでは凄い数字だ。
LED照明やバックアップ電源、高効率配電などは定石通り。LED照明はPower over Ethernetで給電しているとある。アラートと照明を連動させているのは面白い。Facebookをcrackする照明をチカチカさせることが出来るわけですね ;-P
先日見学させていただいたIIJの新型コンテナDCと同様に外気冷却を中心とした冷却システムを使っているが。今回建設したオレゴンの環境条件は高温多湿の日本とは違うため、より長い期間で外気での冷却が可能なようだ。
湿度に関しては日本と違い低すぎるときもあるため、加湿機構を持っている。外気が低すぎるときはサーバ排気を混合して温めるなどは、IIJのケースと同様だ。サーバに給気する条件としてASHRAEの基準を使っているのも同じ。
ラックについては3連の独自な作りを採用している。通常のデータセンタが1ラック単位で設置するのに対してまとまった規模で自社利用する場合はこのような構造の方が空間効率が良さそう。バッテリによるUPSはこの3連ラックのペアに対して1つの割り合いで設置されており、左右の3連ラックに対して給電するようになっている。これも通常の設置単位とは違うためにできる技だ。
3連ラック自体の高さは42Uと一般的な高さ。上に2つのスイッチを置き、残りの空間を30台のサーバが占めている。