Twitterのネットワーク構成を調べてみた

2009/8/7-1

8月6日、日本時間23:30頃から1時間ほどTwitterが落ちていました。どうもDoS攻撃が原因のようです。

で、「Twitterってどういうネットワーク構成なんだろう？」と不思議に思ったので調べてみました。まあ、「ネットワーク構成」と言えるほどの情報ではありませんが、情報として公開されているものを色々漁ってみました。

AS番号は？

まず最初に、Twitterほど大規模だったらきっと自前でASを運用しているに違いない、と思ってAS番号リストからTwitterを探しました。でも、発見できませんでした。

「Multicast Technologies : asn_expand.txt」

私は何を見てるの？

次に、「いつも自分が見ている物の実態は何だろう？」と思いました。 CDNを使っていると、国や地域毎に見ている場所が違うということもあり得るからです。

そこで、手元で「nslookup twitter.com」とやってみました。その結果出て来たIPアドレスをARIN(American Registry for Internet Numbers)のWhoisに入れてみました。

「ARIN WHOIS Database Search」

すると、出て来たのはNTT AmericaのIPアドレスでした。以下、twitter.comの名前解決をした結果のIPアドレスを使ってARIN Whois検索を行い、出て来たNTT Americaの情報です。

OrgName:    NTT America, Inc. 
OrgID:      NTTAM-1
Address:    8005 South Chester Street
Address:    Suite 200
City:       Centennial
StateProv:  CO
PostalCode: 80112
Country:    US

ReferralServer: rwhois://rwhois.gin.ntt.net:4321/

NetRange:   168.143.0.0 - 168.143.255.255 
CIDR:       168.143.0.0/16 
NetName:    NTTA-168-143
NetHandle:  NET-168-143-0-0-1
Parent:     NET-168-0-0-0-0
NetType:    Direct Allocation
NameServer: AUTH21.NS.GIN.NTT.NET
NameServer: AUTH22.NS.GIN.NTT.NET
NameServer: AUTH23.NS.GIN.NTT.NET
NameServer: AUTH24.NS.GIN.NTT.NET
NameServer: AUTH25.NS.GIN.NTT.NET
Comment:    
Comment:    Reassignment information for this block is
Comment:    available at rwhois.gin.ntt.net port 4321
RegDate:    1994-05-13
Updated:    2007-06-14

RTechHandle: VIA4-ORG-ARIN
RTechName:   VIPAR 
RTechPhone:  +1-877-688-6625
RTechEmail:  vipar@us.ntt.net 

OrgAbuseHandle: NAAC-ARIN
OrgAbuseName:   NTT America Abuse Contact 
OrgAbusePhone:  +1-877-688-6625
OrgAbuseEmail:  abuse@ntt.net

OrgNOCHandle: NASC-ARIN
OrgNOCName:   NTT America Support Contact 
OrgNOCPhone:  +1-877-688-6625
OrgNOCEmail:  support@us.ntt.net

OrgTechHandle: VIPAR-ARIN
OrgTechName:   VIPAR 
OrgTechPhone:  +1-877-688-6625
OrgTechEmail:  vipar@us.ntt.net

# ARIN WHOIS database, last updated 2009-08-05 20:00
# Enter ? for additional hints on searching ARIN's WHOIS database.

つい最近、次のようなニュースもありましたが、それとも一致しています。「japan.internet.com:Twitter と NTT America、イラン抗議活動のためにメンテ予定を変更」

CDN

「dig twitter.com」を行ってみると、Name Serverとして「xxxx.dynect.net.」という結果が返ってきます。 dynectと書いてある部分がCDNに関連しているっぽいと思って調べてみると、DynectというCDN屋さんがありました。

「DYNECT」

さらに、事例紹介としてTwitterが掲載されています。「DYNECT:Twitter Case Study (PDF)」

DYNECT社はDNSを活用したAnycastサービスと書いてあり、世界の10拠点のデータセンターがあるとも書いてありますが、具体的には良くわかりませんでした。 Webブラウザを持っているクライアントPCの所在地を考慮してDNSの結果を変更して、世界10カ所にあるデータセンターに分散させるということですかね？？？

Twitterの持っているIPアドレス

ふと不思議に思ってARIN WhoisでTwitterに関して調べてみました。 Twitterが会社として持っているIPアドレスって、/29一つなんですね。。。ちょっとビックリでした。

いかにも「自前では抱えてません！」という雰囲気の結果でした。

CustName:   Twitter Incorporated
Address:    164 South Park Ave.
City:       San Francisco
StateProv:  CA
PostalCode: 94107
Country:    US
RegDate:    2007-09-05
Updated:    2007-09-05

NetRange:   65.98.184.232 - 65.98.184.239 
CIDR:       65.98.184.232/29 
NetName:    NETBLK-65-98-184-232
NetHandle:  NET-65-98-184-232-1
Parent:     NET-65-98-128-0-1
NetType:    Reassigned
Comment:    
RegDate:    2007-09-05
Updated:    2007-09-05

RTechHandle: ONE-ARIN
RTechName:   NetEng, Option One 
RTechPhone:  +1-888-444-1111
RTechEmail:  ipadmin@o1.com 

OrgAbuseHandle: OAB-ARIN
OrgAbuseName:   Abuse, Option One 
OrgAbusePhone:  +1-916-554-2121
OrgAbuseEmail:  abuse@o1.com

OrgTechHandle: ONE-ARIN
OrgTechName:   NetEng, Option One 
OrgTechPhone:  +1-888-444-1111
OrgTechEmail:  ipadmin@o1.com

# ARIN WHOIS database, last updated 2009-08-05 20:00
# Enter ? for additional hints on searching ARIN's WHOIS database.

65.98.184.232をwww.radb.netで検索してみると以下のような回答が来ます。 01 Communications(AS19864)の中にTwitter社は居るようです。

Results for Whois Query:

   65.98.184.232

Number of objects found: 1

route:              65.98.128.0/18
descr:              O1 Communications Subnet Block
origin:             AS19864
mnt-by:             MAINT-AS19864
changed:            jkramer@o1.com 20051017
source:             EPOCH

Googleもついでに調べてみた

仮に、全然関係無いのですが、Googleの検索結果です。「じゃあ、Googleは？？？」と思って調べたのでついでに掲載します。

ASは8個持っているし、IPv6アドレスを持ってるし、IPv4アドレスは色々持っているし。。。何かこうやって見てみるとやっぱり規模が全然違うと思いました。

Google Inc. (GOGL) 
Google Incorporated (GOOGL-1) 
Google Inc.  (ZG39-ARIN)     arin-contact@google.com +1-650-318-0200
Google Inc. (AS15169) GOOGLE    15169  
Google Inc. (AS36039) GOOGLE    36039  
Google Inc. (AS36040) GOOGLE    36040  
Google Inc. (AS15169) GOOGLE    15169  
Google Inc. (AS36039) GOOGLE    36039  
Google Inc. (AS36040) GOOGLE    36040  
Google Incorporated (AS36384) GOOGLE-IT    36384  
Google Incorporated (AS36385) GOOGLE-IT    36385  
Google Inc. GOOGLE (NET-216-239-32-0-1) 216.239.32.0 - 216.239.63.255
Google Inc. GOOGLE (NET-64-233-160-0-1) 64.233.160.0 - 64.233.191.255
Google Inc. GOOGLE (NET-66-249-64-0-1) 66.249.64.0 - 66.249.95.255
Google Inc. GOOGLE (NET-72-14-192-0-1) 72.14.192.0 - 72.14.255.255
Google Inc. GOOGLE (NET-209-85-128-0-1) 209.85.128.0 - 209.85.255.255
Google Inc. GOOGLE (NET-74-125-0-0-1) 74.125.0.0 - 74.125.255.255
Google Inc. GOOGLE (NET-216-239-32-0-1) 216.239.32.0 - 216.239.63.255
Google Inc. EC12-1-GOOGLE (NET-64-68-80-0-1) 64.68.80.0 - 64.68.87.255
Google Inc. GOOGLE-2 (NET-66-102-0-0-1) 66.102.0.0 - 66.102.15.255
Google Inc. GOOGLE (NET-64-233-160-0-1) 64.233.160.0 - 64.233.191.255
Google Inc. GOOGLE (NET-66-249-64-0-1) 66.249.64.0 - 66.249.95.255
Google Inc. GOOGLE (NET-72-14-192-0-1) 72.14.192.0 - 72.14.255.255
Google Inc. GOOGLE-IPV6 (NET6-2001-4860-1) 2001:4860:0000:0000:0000:0000:0000:0000 - 2001:4860:FFFF:FFFF:FFFF:FFFF:FFFF:FFFF
Google Inc. GOOGLE (NET-209-85-128-0-1) 209.85.128.0 - 209.85.255.255
Google Inc. SAVV-S232078-1 (NET-216-33-229-144-1) 216.33.229.144 - 216.33.229.151
Google Inc. SAVV-S232078-2 (NET-216-33-229-160-1) 216.33.229.160 - 216.33.229.167
Google Inc. SAVV-S232078-3 (NET-209-185-108-128-1) 209.185.108.128 - 209.185.108.255
Google Inc. SAVV-S232078-11 (NET-216-109-75-80-1) 216.109.75.80 - 216.109.75.95
Google Inc. SAVV-S232078-26 (NET-64-68-88-0-1) 64.68.88.0 - 64.68.95.255
Google Inc. SAVV-S232078-24 (NET-64-68-64-64-1) 64.68.64.64 - 64.68.64.127
Google Inc. SAVV-S232078-21 (NET-64-41-221-192-1) 64.41.221.192 - 64.41.221.207
Google Inc. GOOGLE (NET-74-125-0-0-1) 74.125.0.0 - 74.125.255.255
Google Incorporated LVLT-GOOGL-1-209-247-159-144 (NET-209-247-159-144-1) 209.247.159.144 - 209.247.159.159
Google Incorporated LVLT-GOOGL-1-63-211-200-72 (NET-63-211-200-72-1) 63.211.200.72 - 63.211.200.79
Google Incorporated LVLT-GOOGL-1-209-245-184-136 (NET-209-245-184-136-1) 209.245.184.136 - 209.245.184.143
Google Incorporated LVLT-GOOGL-1-166-90-148-64 (NET-166-90-148-64-1) 166.90.148.64 - 166.90.148.79
Google Incorporated LVLT-GOOGL-1-8-6-48 (NET-8-6-48-0-1) 8.6.48.0 - 8.6.55.255
Google Incorporated LVLT-GOOGL-1-64-154-178-208 (NET-64-154-178-208-1) 64.154.178.208 - 64.154.178.223
Google Incorporated GOOGLE-IT-IPV6 (NET6-2620-1000-1) 2620:0000:1000:0000:0000:0000:0000:0000 - 2620:0000:10FF:FFFF:FFFF:FFFF:FFFF:FFFF
Google GOOGLE (NET-70-89-39-152-1) 70.89.39.152 - 70.89.39.159
Google GOOGLE (NET-70-90-219-72-1) 70.90.219.72 - 70.90.219.79
Google GOOGLE (NET-70-90-219-48-1) 70.90.219.48 - 70.90.219.55
GOOGLE ABOV-T324-64-124-112-24-29 (NET-64-124-112-24-1) 64.124.112.24 - 64.124.112.31
GOOGLE ABOV-T324-209-249-73-64-29 (NET-209-249-73-64-1) 209.249.73.64 - 209.249.73.71
GOOGLE ABOV-T324-64-124-229-168-29 (NET-64-124-229-168-1) 64.124.229.168 - 64.124.229.175
GOOGLE UU-65-214-255-96 (NET-65-214-255-96-1) 65.214.255.96 - 65.214.255.111
Google UU-65-245-24-8 (NET-65-245-24-8-1) 65.245.24.8 - 65.245.24.15
GOOGLE UU-65-211-194-96-D8 (NET-65-211-194-96-1) 65.211.194.96 - 65.211.194.111
GOOGLE UU-65-223-8-48-D6 (NET-65-223-8-48-1) 65.223.8.48 - 65.223.8.63
Google UU-65-221-133-176-D6 (NET-65-221-133-176-1) 65.221.133.176 - 65.221.133.191
GOOGLE UU-63-84-190-224-D4 (NET-63-84-190-224-1) 63.84.190.224 - 63.84.190.255
Google TWTC-GOOGLE-01 (NET-64-128-207-160-1) 64.128.207.160 - 64.128.207.175
GOOGLE UU-65-196-235-32-D4 (NET-65-196-235-32-1) 65.196.235.32 - 65.196.235.47
Google TWTC-ATLA-C-GOOGLE-0 (NET-66-192-134-32-1) 66.192.134.32 - 66.192.134.47
GOOGLE UU-65-214-112-96-D21 (NET-65-214-112-96-1) 65.214.112.96 - 65.214.112.127
GOOGLE UU-65-210-56-208-D5 (NET-65-210-56-208-1) 65.210.56.208 - 65.210.56.223
Google GOOGLE (NET-70-89-39-152-1) 70.89.39.152 - 70.89.39.159
Google GOOGLE (NET-70-90-219-72-1) 70.90.219.72 - 70.90.219.79
Google GOOGLE (NET-70-90-219-48-1) 70.90.219.48 - 70.90.219.55
GOOGLE CHILDREN CARE-050119015545 SBC06923603306429050119015554 (NET-69-236-33-64-1) 69.236.33.64 - 69.236.33.71
GOOGLE CHILDREN CARE-050119015545.568301 SBC-76-242-87-248-29-0709182611 (NET-76-242-87-248-1) 76.242.87.248 - 76.242.87.255
Google Corporate IT GOOGLE-CORP-REMOTES (NET-72-14-224-0-1) 72.14.224.0 - 72.14.231.255
Google Inc SBC067126100008030728 (NET-67-126-100-8-1) 67.126.100.8 - 67.126.100.15
Google Inc GOO20050928-CA (NET-67-69-26-16-1) 67.69.26.16 - 67.69.26.23
GOOGLE INC 216-235-136-72-29 (NET-216-235-136-72-1) 216.235.136.72 - 216.235.136.79
Google Inc (Hybrid) NET-GOOGINC004 (NET-206-186-136-192-1) 206.186.136.192 - 206.186.136.255
GOOGLE INC-040731031303 SBC06922402120829040731031306 (NET-69-224-21-208-1) 69.224.21.208 - 69.224.21.215
GOOGLE INC-040731032731 SBC06922403108829040731032734 (NET-69-224-31-88-1) 69.224.31.88 - 69.224.31.95
GOOGLE INC-040731032750 SBC06922403110429040731032753 (NET-69-224-31-104-1) 69.224.31.104 - 69.224.31.111
GOOGLE INC-041208041250 SBC06922807021629041208041255 (NET-69-228-70-216-1) 69.228.70.216 - 69.228.70.223
GOOGLE INC-041208041841 SBC06922807022429041208041844 (NET-69-228-70-224-1) 69.228.70.224 - 69.228.70.231
GOOGLE INC-041208042600 SBC06922807023229041208042603 (NET-69-228-70-232-1) 69.228.70.232 - 69.228.70.239
GOOGLE INC-041209044712 SBC06922807024829041209044715 (NET-69-228-70-248-1) 69.228.70.248 - 69.228.70.255
GOOGLE INC-041210150104 SBC06922807610429041210150108 (NET-69-228-76-104-1) 69.228.76.104 - 69.228.76.111
GOOGLE INC-050209021649 SBC06923712022429050209021705 (NET-69-237-120-224-1) 69.237.120.224 - 69.237.120.231
GOOGLE INC-050527011628 SBC07113003422429050527011636 (NET-71-130-34-224-1) 71.130.34.224 - 71.130.34.231
GOOGLE INC-050527011810 SBC07113003423229050527011818 (NET-71-130-34-232-1) 71.130.34.232 - 71.130.34.239
GOOGLE INC-050527011817 SBC07113003424029050527011827 (NET-71-130-34-240-1) 71.130.34.240 - 71.130.34.247
GOOGLE INC-050527013743 SBC07113010300829050527013746 (NET-71-130-103-8-1) 71.130.103.8 - 71.130.103.15
GOOGLE INC-050527013913 SBC07113010301629050527013916 (NET-71-130-103-16-1) 71.130.103.16 - 71.130.103.23
GOOGLE INC-050527013926 SBC07113010302429050527013929 (NET-71-130-103-24-1) 71.130.103.24 - 71.130.103.31
GOOGLE INC-050527014231 SBC07113010303229050527014236 (NET-71-130-103-32-1) 71.130.103.32 - 71.130.103.39
GOOGLE INC-050527014403 SBC07113010304029050527014409 (NET-71-130-103-40-1) 71.130.103.40 - 71.130.103.47
GOOGLE INC-060616081951 SBC07501704820029060616082030 (NET-75-17-48-200-1) 75.17.48.200 - 75.17.48.207
GOOGLE INC-060711235135 SBC07502305718429060711235200 (NET-75-23-57-184-1) 75.23.57.184 - 75.23.57.191
GOOGLE INC-060829070127 SBC07503725318429060829070142 (NET-75-37-253-184-1) 75.37.253.184 - 75.37.253.191
GOOGLE INC-061122060029 SBC07505224803229061122060126 (NET-75-52-248-32-1) 75.52.248.32 - 75.52.248.39
GOOGLE INC-061122061203 SBC07505214212829061122061243 (NET-75-52-142-128-1) 75.52.142.128 - 75.52.142.135
GOOGLE INC-061203180838 SBC07505224420829061203180849 (NET-75-52-244-208-1) 75.52.244.208 - 75.52.244.215
GOOGLE INC-061207060345 SBC07505224605629061207060425 (NET-75-52-246-56-1) 75.52.246.56 - 75.52.246.63
GOOGLE INC-061207060713 SBC07505224606429061207060755 (NET-75-52-246-64-1) 75.52.246.64 - 75.52.246.71
GOOGLE INC-061207060811 SBC07505224607229061207060842 (NET-75-52-246-72-1) 75.52.246.72 - 75.52.246.79
GOOGLE INC-061207061127 SBC07505224608029061207061207 (NET-75-52-246-80-1) 75.52.246.80 - 75.52.246.87
GOOGLE INC-070327203037 SBC-76-200-97-96-29-0703273044 (NET-76-200-97-96-1) 76.200.97.96 - 76.200.97.103
GOOGLE INC-070509182733 SBC-76-220-105-184-29-0705092742 (NET-76-220-105-184-1) 76.220.105.184 - 76.220.105.191
Google Inc-070816111718 SBC-76-246-222-104-29-0708161729 (NET-76-246-222-104-1) 76.246.222.104 - 76.246.222.111
GOOGLE INC-071011143940 SBC-99-163-5-80-29-0710113951 (NET-99-163-5-80-1) 99.163.5.80 - 99.163.5.87
GOOGLE INC-071221024458 SBC-99-144-150-32-29-0712214510 (NET-99-144-150-32-1) 99.144.150.32 - 99.144.150.39
GOOGLE INC-080116191906 SBC-99-148-13-24-29-0801161920 (NET-99-148-13-24-1) 99.148.13.24 - 99.148.13.31
GOOGLE INC-090625165727 SBC-70-239-229-224-27-0906255800 (NET-70-239-229-224-1) 70.239.229.224 - 70.239.229.255
GOOGLE INC-090626092655 SBC-99-40-120-224-27-0906262726 (NET-99-40-120-224-1) 99.40.120.224 - 99.40.120.255
Google Inc10988888 SBC06911114115229040325120125 (NET-69-111-141-152-1) 69.111.141.152 - 69.111.141.159
Google Inc10988957 SBC06911114116029040325120238 (NET-69-111-141-160-1) 69.111.141.160 - 69.111.141.167

# ARIN WHOIS database, last updated 2009-08-05 20:00
# Enter ? for additional hints on searching ARIN's WHOIS database.