Googleのサイトへの経路が切り替わった件
id:halfrackｾﾝｾｲが面白い事象を観測したようなので、これを機にGoogleの内部ネットワークを邪推
以下、OCN東京収容ユーザからwww.google.comへのtraceroute
(snip) 9 61.126.89.38 (61.126.89.38) 11.850 ms 6.207 ms 6.406 ms 10 209.85.241.90 (209.85.241.90) 6.077 ms 6.173 ms 5.031 ms 11 209.85.255.58 (209.85.255.58) 8.598 ms 209.85.255.56 (209.85.255.56) 7.837 ms 7.441 ms 12 209.85.255.217 (209.85.255.217) 37.527 ms 209.85.255.39 (209.85.255.39) 39.231 ms 38.913 ms 13 209.85.250.101 (209.85.250.101) 37.954 ms 209.85.250.103 (209.85.250.103) 39.401 ms 209.85.243.21 (209.85.243.21) 40.219 ms 14 72.14.238.42 (72.14.238.42) 38.647 ms 38.723 ms 49.272 ms 15 tz-in-f99.1e100.net (64.233.183.99) 37.057 ms 36.803 ms 38.059 ms
9までがOCNの網内
10がGoogle側の対向ルータ。恐らく対外BGPを話すボーダールータ。RTTからすると大手町か少なくとも東京近郊であるようだ。
11から先はper packetかper flowでバランスされた2つの経路を通っている。IPアドレスの近さからいってActive/Activeの冗長化をしていると思われる。
12で急にRTTが30msぐらい増える。ここでちょっとRTTの話。光ファイバ回線は高速とはいえ距離に応じて伝送に時間がかかる。ざっと目安は国内なら20ms以内、アジア圏内で十分に直接経路がある場合で50ms以内、日本と北米で100ms前後。近距離であればルータのバッファリングや一時的な混雑でRTTで大きく影響を受けるが、遠距離になるほどケーブルの伝送遅延が効いてくる。ntt.netがSLAのために自身の網内でRTTを測定しており、その結果が一般でも見ることができる。
グローバルIPネットワークサービス | NTTコミュニケーションズ 法人のお客さま
この結果からすると30msというのは国内であればかなり遠方である。よほど光ファイバが物理的に変な経路を回っているか、常時混雑でもしているのではない限りは考えられない。いずれも可能性は低そうなので、恐らく国内ではないだろう。北米にしては速すぎるので、アジア圏と推測される。
上の結果と同じsrcからpingでRTTを測ったところ、台湾の最大手ISPであるHiNetのホストがRTTが35ms前後であるとわかった。対象にしたホストはHiNetのウェブサイト
その他、香港やシンガポールも幾つか測ってみたが経路にも依るがこれよりはややRTTが長かった。よって、tracerouteの結果の12以降は恐らく台湾ではないかと推測される。
注目すべきは、GoogleのASの内部で日本から台湾への回線を使っているということ。その経路は素直に読む限り2経路以上に冗長化されている。
13までは複数の経路でバランスしているのが見えるが14から先は1経路のみに見える。ホストの手前はL2で冗長化している可能性がある。
www.l.google.com. 5 IN A 72.14.203.147 www.l.google.com. 5 IN A 72.14.203.99 www.l.google.com. 5 IN A 72.14.203.103 www.l.google.com. 5 IN A 72.14.203.104 www.l.google.com. 5 IN A 72.14.203.105 www.l.google.com. 5 IN A 72.14.203.106
手元のDNSから引くとwww.google.comのA レコードには6レコード登録されている。いずれも同じ/24以下にいる。上記の結果と合わせれば最終段では経路冗長化よりはDNSラウンドロビンによる冗長化を図っているのではないか。また、これほど特定のIPアドレスブロックに集中しているホストだけでサービスを行うのは可用性の点で考え難いのでGSLB的な仕組みで分散しているのではないかと推測される。
AkamaiのGSLBはパテントが絡むのでどうやって住み分けしているかは謎
まとめ
追記(5/10)
id:halfrackｾﾝｾｲのgoogle.comへのRTTの長期的な観測結果によれば
とあるので、京都からは従来10ms強で落ちついていたものが3月の末ぐらいで40msぐらいに上昇している。東京は従前から40msなのでもともと国内ではなかったようだ。つまり3月末で国内のサイトが選択されなくなったと見える。RTTからするとどちらも現在は台湾のホストが選択されているようだ。
これがGSLBの調整の結果なのか、そもそも国内から撤退したのかは不明
