この記事では、Androidエミュレーターを使ったUIテスト(Espresso)を分割・並列実行することによって、実行時間を短縮する方法についてわかりやすくご紹介します。

はじめに

Android アプリケーション開発において、品質を継続的に向上させるために、自動テスト・CircleCI などのCI/CDツールの導入は、もはや欠かせないものとなりました。

そして、自動テスト・CI/CDを1回導入するだけでなく、継続的に改善していくことが重要です。

例えば、アプリケーション規模や自動テストの数、開発規模が大きくなっていくと、CI/CD におけるビルド・テストの実行時間は長くなってしまい、結果として開発スピードを低下させてしまいます。

特に 今回紹介する Espresso などのUIテストでは、実際に Android 実機や Android エミュレーターを動かしてテストを実行する必要があるため、実行時間が長くなりがちです。

CircleCI では Android アプリケーション開発で、実行時間を短縮するためのさまざまな機能が揃っています。

今回は CircleCI のテスト分割・並列実行を活用して、UIテスト(Espresso)の実行時間を短縮する方法について紹介します。

まずは、CircleCIに無料で登録してこのチュートリアルを実行して行きましょう。

無料で新規登録

目次

CircleCI を使って UIテスト(Espresso)を分割・並列実行する方法(概要)

こちらが、今回紹介する Android アプリケーションのサンプルコードです。

GitHub - tadashi0713/circleci-demo-android

複数の UIテスト(Espresso)が用意されており、実行しているテスト内容は一緒ですが、Thread.sleep() を入れることによって実行時間を変えています。

Thread.sleep() を入れる

CircleCI でこのテストを実行する際には、Android Orb を使うことによって、下記のように簡潔にパイプラインを作ることが可能です。

CircleCI Developer Hub - circleci/android

Android Orbの使用

android/start-emulator-and-run-tests には以下が含まれています。

  • AVD(Android仮想デバイス)の作成・Androidエミュレーターの起動
  • Gradle のキャッシュを利用
  • UIテストを実行するための事前ビルド(./gradlew assembleDebugAndroidTest)
  • Android エミュレーターが起動するまで待機
  • UIテスト(Espresso)の実行(./gradlew connectedDebugAndroidTest)

この複数ある UIテスト を分割・並列実行する手順としては、以下になります。

  1. UIテストを実行するための事前ビルド(./gradlew assembleDebugAndroidTest)を行う
  2. 複数のLinux VM・ Android エミュレーターを起動する
  3. (実行時間に応じて) テストを分割する
  4. 分割されたテストを並列実行する
  5. 実行時間が含まれるテスト結果をアップロードする

UIテストを実行するための事前ビルドを行う

Espresso を含め、Android アプリケーションでテストを実行する際には、実行前にアプリケーションのビルドが必要になります。

今回は、後ほど複数のAndroidエミュレーターで並列でテストを実行させるために、ビルドの部分のみ(./gradlew assembleDebugAndroidTest)を事前に行います。

CircleCI のジョブ(build_for_integration_test)は以下になります。

CircleCI のジョブ

以下の手順を行っています。

  • Gradle のキャッシュを利用(Android Orb を利用)
  • 事前ビルドの実行(./gradlew assembleDebugAndroidTest)
  • 事前ビルドの成果物を次のジョブで利用できるようにする(persist_to_workspace)

UIテストを分割・並列実行する

事前ビルドのジョブ(build_for_integration_test)が完了したら、実際にテストを分割・並列実行するジョブ(integration_test_parallel)を実行します。

テストを分割・並列実行するジョブ

まず、並列でテストを実行するために、複数の Linux VM を立ち上げます。

parallelism を指定することで、並列で実行する Linux VM の数を増減することが可能です。

次に以下の手順を実行しています。

  • 事前ビルド成果物を利用(attach_workspace)
  • AVD(Android仮想デバイス)の作成・Androidエミュレーターの起動(Android Orb を利用)
  • (実行時間に応じて) テストを分割、Gradle コマンドに渡すパラメーターを作成
  • 分割されたテストを並列実行
  • 実行時間が含まれるテスト結果をアップロード(store_test_results)

テスト分割、並列実行の部分を詳しく解説します。

UIテスト(Espresso)を実行するGradleコマンド(./gradlew connectedDebugAndroidTest)はデフォルトで全てのテストを実行します。

特定のテストを実行したい場合には、クラス名を使って以下のようなパラメーターを指定する必要があります。

パラメーターの指定

実際にテストファイルを分割して、上記のパラメーターを作成している部分が以下になります。

circleci tests split分割

CircleCI CLI である、circleci tests glob によって対象となるテストクラスを取得し、circleci tests split によって分割しています。

circleci tests split には --split-by=timings フラグを付けています。

後の store_test_results で JUnit 形式のテストレポートをアップロードしているのが確認できると思います。

--split-by=timings フラグを有効にすることによって、テストレポートに含まれるタイミングデータを利用して均等にテストを分割しようとします。

これによって、より全体のテスト実行時間を短縮させることが可能です。

テスト実行時間を短縮

実際の並列化されたテストの実行時間については、CircleCI の UI (TIMING タブ)から見ていただくことが可能です。

CircleCI の UI

実行時間の異なるテストを6並列で実行していますが、テスト実行時間にばらつきが少ないことが確認できると思います。

おわりに

この記事では、Androidエミュレーターを使ったUIテスト(Espresso)を分割・並列実行することによって、実行時間を短縮する方法について紹介しました。

今回紹介したソリューションには以下の特徴があります。

  • 各テストの実行時間に応じてテストを分割・並列実行することができるため、より短時間でテスト実行を終了させることができる
  • parallelism を増やすだけで、CircleCI のクラウド上で簡単に並列数をスケールさせることができる

CircleCI では、並列数による課金ではなく、1分毎の Linux VM の使用量(クレジット)によって課金されます。

今回のような複数の Linux VM を並列で実行した場合でも、コストパフォーマンスが高い形でご利用していただくことが可能です。

料金プラン情報 - CircleCI

今後より Android アプリケーション開発のパフォーマンスを上げたい方は、是非参考にしていただければと思います。

関連記事