こんにちは、インフラエンジニアのryuです。
プライベートサブネットに置いたEC2で dnf update を打ったら、いつまでも返ってこない。curl で外のサイトを開こうとしても、しばらく待ったあとにタイムアウトする。AWSでVPCを組み始めた人が、かなりの確率で一度は出会う症状です。
結論から書くと、この症状の原因はほとんどの場合、次の4か所のどこかにあります。サブネットのルートテーブル、NATゲートウェイの置き場所と状態、セキュリティグループとネットワークACL、そしてDNSの設定です。この記事では、この4か所を通信が外へ出ていく順番に沿って確かめる手順をまとめます。
対象は、パブリックサブネットとプライベートサブネットに分けたVPCで、プライベート側のEC2からインターネットへ出たい人です。AWS CLIのコマンドを例に使うので、CLIが使える環境と、VPCやEC2の情報を読み取るIAMの権限があることを前提にします。
プライベートサブネットのEC2が外に出る仕組み¶
確認の手順に入る前に、正常なときにパケットがどこを通るのかを整理しておきます。ここが頭に入っていると、どこを調べればいいかが自然に決まります。
プライベートサブネットのEC2は、パブリックIPアドレスを持っていません。そのため、インターネットへ出るときは、パブリックサブネットに置いたNATゲートウェイに送信元のアドレスを変換してもらいます。AWSの公式ドキュメントでは、パブリックなNATゲートウェイはパブリックサブネットに作り、作成時にElastic IPアドレスを関連付けると説明されています。
通信の流れを表にすると、次のようになります。
| 順番 | 通る場所 | そこで必要な設定 |
|---|---|---|
| 1 | EC2のセキュリティグループ | アウトバウンドで目的のポート(HTTPSなら443)が許可されている |
| 2 | プライベートサブネットのネットワークACL | 送信と、戻りの通信の両方が許可されている |
| 3 | プライベートサブネットのルートテーブル | 0.0.0.0/0 の行き先がNATゲートウェイ |
| 4 | NATゲートウェイ | パブリックサブネットにあり、状態が available で、Elastic IPを持っている |
| 5 | パブリックサブネットのルートテーブル | 0.0.0.0/0 の行き先がインターネットゲートウェイ |
| 6 | インターネットゲートウェイ | VPCにアタッチされている |
この表の1から6のどこか1か所でも欠けると、外への通信は止まります。逆に言えば、上から順に1つずつ確かめていけば、必ずどこかで原因に当たります。NATの考え方そのものを復習したい人は、NATとは?を先に読んでおくと理解が早いと思います。VPCの全体像はVPCとは?で説明しています。
まずEC2の中で、名前解決か接続かを切り分ける¶
AWSの設定を見に行く前に、EC2の中で1つだけ確かめておくことがあります。それは、名前解決で失敗しているのか、名前は引けたうえで接続できないのか、という区別です。原因の場所がまったく違うので、ここを最初に分けておくと遠回りをしなくて済みます。
getent と curl で症状を分ける¶
まず、名前解決ができているかを確かめます。
getent hosts aws.amazon.com
IPアドレスが表示されれば、名前解決はできています。何も表示されずに終わる場合は、DNSの問題を疑います。この場合はルートテーブルやNATゲートウェイより先に、後で説明するVPCのDNS設定とEC2の /etc/resolv.conf を見に行きます。Linuxがどの順番で名前を引いているかは、Linuxが名前を引く順番にまとめています。
名前が引けている場合は、次に接続できるかを確かめます。
curl -sS -o /dev/null -w '%{http_code}\n' --max-time 10 https://aws.amazon.com/
HTTPのステータスコードが返ってくれば、外への通信はできています。--max-time で指定した時間を過ぎてタイムアウトのエラーになる場合は、パケットが途中で止まっています。この「名前は引けるのに、つながらずに時間切れになる」という症状が、ルートテーブルやNATゲートウェイの設定漏れでよく見る形です。
ちなみに、相手から拒否されたときのように、すぐにエラーが返ってくる場合は少し事情が違います。AWSの経路の問題ではなく、接続先や途中のプロキシの問題であることが多いので、エラー文をよく読んでください。通信がどの層で止まっているかを見分ける考え方は、疎通トラブルを層ごとに切り分けるでも説明しています。
サブネットのルートテーブルを確かめる¶
名前は引けるのに外へつながらない場合、最初に見るのはプライベートサブネットのルートテーブルです。設定漏れがいちばん多いのがここです。
明示的な関連付けが無いときはメインルートテーブルが使われる¶
まず、EC2が置かれているサブネットに、どのルートテーブルが関連付けられているかを調べます。
aws ec2 describe-route-tables \
--filters Name=association.subnet-id,Values=subnet-xxxxxxxx \
--query 'RouteTables[].Routes[].[DestinationCidrBlock,NatGatewayId,GatewayId,State]' \
--output table
ここで1つ、つまずきやすい点があります。このコマンドの結果が空になっても、サブネットにルートテーブルが無いわけではありません。明示的に関連付けられていないサブネットは、VPCのメインルートテーブルに暗黙に関連付けられます。 AWSの公式ドキュメントにも、describe-route-tables は暗黙の関連付けについてはサブネットIDを返さないと書かれています。
結果が空だったときは、メインルートテーブルの中身を確かめます。
aws ec2 describe-route-tables \
--filters Name=vpc-id,Values=vpc-xxxxxxxx Name=association.main,Values=true \
--query 'RouteTables[].Routes[].[DestinationCidrBlock,NatGatewayId,GatewayId,State]' \
--output table
VPCを作ったあとにプライベートサブネット用のルートテーブルを別に作ったのに、サブネットとの関連付けを忘れていた、というのはよくある失敗です。この場合、サブネットはメインルートテーブルを使い続けるので、せっかくNATゲートウェイへの経路を書いたルートテーブルが使われていません。
0.0.0.0/0 の行き先と状態を読む¶
関連付けられているルートテーブルが分かったら、0.0.0.0/0 の行を探します。読み方は次のとおりです。
| 見えた内容 | 意味 | 対処 |
|---|---|---|
0.0.0.0/0 の行が無い |
外へ出る経路がない | NATゲートウェイを行き先にした行を追加する |
行き先が nat- で始まり、状態が active |
経路は正しい | 次のNATゲートウェイの確認へ進む |
行き先が nat- で、状態が blackhole |
行き先のNATゲートウェイが削除されている | 新しいNATゲートウェイを作り、経路を付け替える |
行き先が igw- で始まる |
プライベートサブネットからインターネットゲートウェイへ向けている | パブリックIPの無いEC2はこの経路では外に出られない。NATゲートウェイに向け直す |
最後の行は、設定を急いで直したときに起こりがちです。パブリックIPアドレスを持たないEC2は、ルートテーブルをインターネットゲートウェイに向けても外へは出られません。プライベートサブネットのまま外へ出したいなら、行き先はNATゲートウェイにします。ルーティングの基本的な考え方はルーティングとは?で解説しています。
NATゲートウェイの置き場所と状態を確かめる¶
ルートテーブルが正しくNATゲートウェイを向いているなら、次はNATゲートウェイそのものを確かめます。
aws ec2 describe-nat-gateways \
--nat-gateway-ids nat-xxxxxxxx \
--query 'NatGateways[].[State,ConnectivityType,SubnetId,NatGatewayAddresses[0].PublicIp]' \
--output table
見るところは4つあります。状態が available であること、接続タイプが public であること、置かれているサブネットがパブリックサブネットであること、そしてパブリックIPアドレス(Elastic IP)が付いていることです。
接続タイプが private のNATゲートウェイは、ほかのVPCやオンプレミスのネットワークにつなぐためのもので、Elastic IPを関連付けられません。インターネットへ出る用途には使えないので、作るときの選択を間違えていないか確認してください。
置き場所も大事です。NATゲートウェイをプライベートサブネットに作ってしまうと、NATゲートウェイ自身がインターネットゲートウェイへたどり着けません。AWSのトラブルシューティングのページでも、パブリックなNATゲートウェイは、インターネット向けの通信をインターネットゲートウェイへ送るルートテーブルを持つパブリックサブネットに置く必要がある、と書かれています。NATゲートウェイがいるサブネットのルートテーブルも、先ほどと同じコマンドで確かめておきましょう。
最後に、インターネットゲートウェイがVPCにアタッチされているかも見ておきます。
aws ec2 describe-internet-gateways \
--filters Name=attachment.vpc-id,Values=vpc-xxxxxxxx \
--query 'InternetGateways[].[InternetGatewayId,Attachments[0].State]' \
--output table
何も返ってこなければ、そのVPCにはインターネットゲートウェイがありません。VPCを手で作った場合に抜けやすい手順です。VPCを作る流れを一度おさらいしたい人は、VPCの作成手順を見てください。
セキュリティグループとネットワークACLを確かめる¶
経路が正しくても、途中のフィルタで止められていれば通信は通りません。ここで見るのは、EC2のセキュリティグループと、2つのサブネットのネットワークACLです。
セキュリティグループは、ステートフルです。EC2から出ていく通信がアウトバウンドのルールで許可されていれば、その戻りの通信はインバウンドのルールに関係なく受け取れます。新しく作ったセキュリティグループは、アウトバウンドがすべて許可された状態で始まります。アウトバウンドのルールを自分で絞った覚えがある場合は、HTTPSの443やHTTPの80が許可されているかを見てください。
注意が必要なのはネットワークACLです。ネットワークACLはステートレスなので、出ていく通信と戻ってくる通信を別々に許可する必要があります。 外へ出る443番は許可していても、戻ってくる通信の宛先になる一時ポート(エフェメラルポート)を許可していないと、応答が入ってこられません。AWSのドキュメントの例では、この戻りの通信のために 1024-65535 の範囲を許可しています。
ネットワークACLは、EC2のいるプライベートサブネットと、NATゲートウェイのいるパブリックサブネットの両方に関わります。既定のネットワークACLはすべて許可になっているので、自分でカスタムのACLを作って関連付けた場合だけ、両方のサブネットで送信と受信のルールを見直してください。
DNSの設定を確かめる¶
最初の切り分けで名前解決ができなかった場合は、ここを見ます。VPCには、AWSが用意するDNSを使うかどうかを決める enableDnsSupport という属性があります。
aws ec2 describe-vpc-attribute \
--vpc-id vpc-xxxxxxxx \
--attribute enableDnsSupport
この属性が有効なら、VPCのアドレス範囲の先頭に2を足したアドレスと、169.254.169.253 にあるAmazonのDNSで名前を解決できます。CloudFormationのリファレンスでは既定で有効とされているので、無効になっていたら、誰かが意図して変えた可能性があります。変える前に、社内で独自のDNSサーバーを使う設計になっていないかを確かめてください。
あわせて、EC2の中の /etc/resolv.conf に書かれているDNSサーバーのアドレスも見ておきます。独自のDNSサーバーを指している場合は、そのDNSサーバーがインターネットの名前を引けるかどうかも、確認の対象になります。
自分で追い切れないときはReachability Analyzerを使う¶
ここまでの確認を順に進めれば、多くの場合は原因が見つかります。それでも分からないときや、確認するリソースが多いときは、VPCのReachability Analyzerが役に立ちます。
Reachability Analyzerは、実際にパケットを送るのではなく、設定から通信の経路を組み立てて、送信元から宛先へ届くかを調べるツールです。届かない場合は、セキュリティグループ、ネットワークACL、ルートテーブルなど、止めている部品を示してくれます。送信元にEC2、宛先にインターネットゲートウェイを指定すると、今回のような経路を一度に確かめられます。分析は1回ごとに料金がかかるので、手での確認で当たりを付けてから使うのがよいと思います。
実際に流れたパケットの記録を見たいときは、VPCフローログを有効にする方法もあります。どちらも、手でコマンドを打つ確認の代わりというより、手で追い切れないときの助けとして使うと考えてください。
直したあとの確認と、料金の注意¶
原因を直したら、最初に打った2つのコマンドをもう一度実行します。getent hosts でIPアドレスが表示され、curl でステータスコードが返ってくれば、外への通信は戻っています。そのうえで、最初に困っていた dnf update などを改めて実行してください。
最後に、料金のことも書いておきます。NATゲートウェイは、作ってある時間に対する料金と、通った通信量に対する料金がかかります。単価はリージョンによって違うので、AWSの料金ページで確認してください。学習用に作った場合は、使い終わったらNATゲートウェイを削除し、関連付けていたElastic IPも解放しておきましょう。パブリックIPv4アドレスも課金の対象です。
S3への通信が多いだけなら、ゲートウェイ型のVPCエンドポイントを使う方法もあります。AWSの料金ページでは、ゲートウェイ型のVPCエンドポイントには時間料金もデータ処理料金もかからないと説明されています。
ちなみに、パブリックサブネットのEC2へSSHでつながらないという逆向きの問題は、EC2への接続方法と、接続できない場合の対処で扱っています。権限のエラーで操作自体ができない場合は、AWSのAccessDeniedの原因を絞る順番も参考にしてください。
まとめ¶
プライベートサブネットのEC2が外に出られないときは、まずEC2の中で名前解決か接続かを分けます。そのうえで、サブネットのルートテーブル、NATゲートウェイ、インターネットゲートウェイ、セキュリティグループとネットワークACLの順に、通信が出ていく道筋をたどって確かめます。
特に見落としやすいのは、ルートテーブルの暗黙の関連付けと、ネットワークACLの戻りの通信です。どちらも、設定画面を眺めているだけでは気づきにくいところなので、今回のコマンドで実際の値を確かめる習慣を付けておくと安心です。
VPCのネットワークは、ルーティングやNATといったネットワークの基礎の上に成り立っています。InfraAcademy のAWSのロードマップでは、VPCやEC2を含むAWSの学習を順番に進められます。ルーティングやサブネットから学び直したい人は、ネットワークのロードマップも合わせて使ってみてください。設定を一つずつ確かめていけば、必ず原因にたどり着けます。
参考¶
- NAT gateways - Amazon Virtual Private Cloud
- Troubleshoot NAT gateways - Amazon Virtual Private Cloud
- Subnet route tables - Amazon Virtual Private Cloud
- describe-route-tables - AWS CLI Command Reference
- Control subnet traffic with network access control lists - Amazon Virtual Private Cloud
- Control traffic to your AWS resources using security groups - Amazon Virtual Private Cloud
- AWS::EC2::VPC - AWS CloudFormation
- What is Reachability Analyzer? - Amazon Virtual Private Cloud
- Amazon VPC Pricing



