一から負荷テストについて学んだ話 / 開発者向けブログ・イベント

初めまして！GMOインターネットグループ株式会社、新卒2年目の江﨑です。
今回は初心者が一から負荷テストについて学び、実施した経験についてお話しします。

はじめに

今回、オンプレミスのサービスのクラウドリフトに伴って負荷テストを行う必要がありました。
私は普段、フロントエンドエンジニアとしてサービスのUI改善を行っており、負荷テストは未開の領域でした。
そのため、一から負荷テストについて学び、多くの知見を得ることができたのでこれから学ぶ方の参考になればと思い、執筆させていただきました。

使用ツール

Distributed Load Testing on AWS
Apache JMeter

今回はAWSが提供する Distributed Load Testing on AWS を用いて実行環境を簡単に構築し、細かいシナリオは Apache JMeter で作成しました。

■Distributed Load Testing on AWS
Distributed Load Testing on AWS ソリューションは、大規模および負荷時のソフトウェアアプリケーションテストを自動化して、リリース前に性能上の潜在的なパフォーマンスの問題を特定するのに役立ちます。このソリューションは、一定のペースでトランザクションレコードを生成する数多くの接続ユーザーを作成およびシミュレートします。サーバーをプロビジョニングする必要はありません。また、このソリューションでは、複数の AWS リージョンにまたがってテストを実行することができます。
詳細：https://aws.amazon.com/jp/solutions/implementations/distributed-load-testing-on-aws/

公式では上記のように紹介されています。

サーバーレスな負荷生成コントローラー・エンジン & Web UI を提供しています。（コントローラーは Taurus を使用）
既存サービス（負荷テスト先）のクラウドリフトで忙しい中、負荷テスト元の実行環境を一から構築するとなると途方に暮れてしまいます。そんな手間を省いてくれる便利なツールとなっています。
下記公式ガイドから簡単に環境構築できる AWS Cloud Formation を立ち上げることができます。実装方法の詳細については公式ガイドをご覧ください。
https://d1.awsstatic.com/Solutions/ja_JP/distributed-load-testing-on-aws.pdf

■Apache JMeter
Apache JMeter™ アプリケーションはオープンソースソフトウェアであり、機能動作の負荷テストとパフォーマンスの測定を行うために設計された100%純粋なJavaアプリケーションです。元々はWebアプリケーションのテスト用に設計されましたが、その後他のテスト機能にも拡張されました。
詳細：https://jmeter.apache.org/

公式では上記のように紹介されています。
GUIで直感的に操作ができ、プラグインを用いて様々なシナリオを作成できます。メジャーなツールであるため、ネット上に多くの記事が公開されています。また、日本語にも対応しているため英語が苦手な私でも難なく利用することができました。

シナリオ作成

シナリオは負荷テスト先のアプリケーションによって異なるので、今回は使われる機会が多いと思われる機能を抜粋して紹介します。

Thread Group

・スレッド数や Ramp-up 期間、ループ回数を設定する機能
・今回は Distributed Load Testing on AWS で設定するため全て 1 に設定

HTTP Cookie Manager

・Cookie を使用する場合に必要となる機能
・自動取得された Cookie はスレッドごとに管理される

HTTP Request

・GET や POST などアプリケーション内で想定するユーザーのリクエスト内容を設定
・ユーザーが行う一連の流れを作成することで解像度の高いシナリオを作成できる

Regular Expression Extractor

・HTTP Request で取得した Body や Response Header から値を正規表現抽出する
・上の画像では input 要素から value 属性の値を抽出して TOKEN 変数に代入している

他にも様々な機能があるので負荷テスト先のアプリケーションに合ったシナリオを作成してみてください。

負荷テスト実施

Distributed Load Testing on AWS に作成したシナリオをアップロードして負荷テストを行っていきます。

Task Count
・負荷エンジンとなる Fargate タスク数
Concurrency
・タスク毎に生成される仮想ユーザー数
・Task Count × Concurrency = 同時接続数
Ramp Up
・Concurrency に達するまでの時間（0 以上, 単位：秒 or 分）
・Ramp Up 時間を増やすと徐々に負荷がかかる
Hold For
・Concurrency を維持し続ける時間（1 以上, 単位：秒 or 分）
・Ramp Up 10分 + Hold For 50分 = 負荷テスト 1時間

上記項目入力後、Apache JMeter で作成したシナリオをアップロードして実行するだけで負荷テストが行われます。

負荷テスト結果

Avg Responce Time
・すべてのリクエストの平均応答時間（秒）
Avg Latency
・すべてのリクエストの平均レイテンシ（秒）
Avg Connection Time
・すべてのリクエストについて、ホストへの接続にかかった平均時間（秒）
Avg Bandwidth
・すべてのリクエストの平均帯域幅
Total Count
・リクエスト総数
Success Count
・成功したリクエスト総数
Error Count
・エラー総数
Requests Per Second
・すべてのリクエストの 1 秒あたりの平均リクエスト数
Percentile Responce Time
・テストの応答時間のパーセンタイル値（最大応答時間は 100%、最小応答時間は 0%）

Error が発生していたり、Responce Time が異常に遅い場合は負荷テスト先のアプリケーションでボトルネックが発生しているため解消する必要があります。
今回は Amazon CloudWatch や AWS X-Ray でボトルネックを確認し、クラウド環境の構成を見直し、修正しました。
その後再負荷テストを行い、問題が無いことを確認してからアプリケーションのリリースを行いました。

おわりに

今回の経験を通して、負荷テストはお客様に安定したサービスを提供するための指標となることを学びました。
正常に稼働しているシステムでも、負荷の大きいリクエストを送られたり、長時間稼働し続けるとエラーを出してしまいます。そういった不測の事態を避けたり、システムの限界を把握しておくためにも、リリース前の負荷テストは重要です。
今回ご紹介したように、面倒な環境構築を行わずとも負荷テストを実施できる便利なツールが世の中には存在しますので、皆さまも是非、自身のサービスに対して負荷テストを行ってみてはいかがでしょうか。