CircleCI には、みなさまのデリバリーの効率の改善に役立つ Insights ダッシュボードが備わっています。 このダッシュボードは、パイプラインの最適化に役立つ実用的なデータを提供するため、1 年前にリリースされたものです。

リリース以来、CircleCI はみなさまのフィードバックを真摯に受け止めています。 現在のところ、最も多いご要望は、テストのパフォーマンスをさらに詳しく可視化する機能が欲しいというものです。 そこで、この度、クラウド版 CircleCI の全ユーザー様を対象として、テスト インサイトの正式リリースを決定いたしました。さらに、今後数か月以内に、CircleCI Server のお客様もご利用いただけるようアップデートを行う予定です。

テスト インサイトを利用することで、指定したテスト スイートのうちで成功率、実行時間、結果の安定性に問題があるテストを可視化できます。他にも次のような機能も備わっています。

  • 最近実行されたワークフローを振り返るための画面を拡張
  • テスト スイートのパフォーマンスの概要から、ひと目で重要事項を把握
  • 開発ブランチ全体にわたって、テスト パフォーマンスを調査

最近実行したテストのパフォーマンスを分析し、最適化の余地の把握にお役立てください。 これらの機能は、Insights ダッシュボードからアクセスできるほか、実行中または完了済みのパイプラインの [Tests (テスト)] ビューから直接確認することもできます。

ホーム画面から [Tests (テスト)] ビューに移動する

結果が不安定なテスト (Flaky Test) の検出

テスト インサイトには、結果が不安定 (コードを変更していないのに実行のたびに成否が変わる) テストを主対象とした新しい検出・分析機能が搭載されています。 このようなタイプのテストには、Insights ダッシュボード上で 「FLAKY (不安定)」とラベルが付くので、簡単に見分けられます。

テスト インサイト

今後の Insights 機能の展開

CircleCI では、テスト パフォーマンスのオブザーバビリティがあらゆる開発者にとって非常に重要であると考え、この領域に重点的に投資しています。

Insights 機能について、現在は以下の方針で鋭意取り組んでいます。

  • 最近実行したテストを可能な限り大量に見直せるように、データの表示期間をさらに拡大する
  • CircleCI Server のお客様にもテスト インサイトを提供する
  • Insights API ですべてのメトリクスとデータをインポートできるようにする
  • 結果が不安定なテストの検出について、ラベルの手動付与やカスタム モデルのサポートなどの機能強化を加える (予定は変更される可能性があります)
  • テスト ファイルの集約と最適化の提案機能を実装する

機能改善のため、今後もぜひフィードバックをお寄せください。 フィードバックの送信には Canny をご利用ください。Insights の使い方や、今後使いたい新機能などについてのご投稿をお待ちしています。