Insights のメトリクスの用語集
概要
このドキュメントでは、CircleCI Insights で使用されるすべてのメトリクスの定義を説明します。 メトリクスは、Insights ダッシュボードと Insights API で確認できます。
共通メトリクス
共通メトリクスは、Insights 機能のさまざまな場面で登場します。これらのメトリクスが指すエンティティは、コンテキストによって異なる可能性があります。 たとえば、Runs (実行回数) メトリクスは、コンテキストによって、ワークフローの実行回数を指す場合も、ジョブの実行回数を指す場合もあります。
| 用語 | 定義 |
|---|---|
Runs (実行回数) | 選択した期間内の実行回数。 |
Total Duration (合計実行時間) | プロジェクトに含まれるすべてのワークフローの実行時間を合計した時間。 |
P95 Duration (95 パーセンタイル実行時間) | 選択した期間における、エンティティの実行時間の 95 パーセンタイル (実行のうち 95% がこの時間内に完了する)。 _95 パーセンタイルは、パフォーマンス データの解釈に使用される一般的な評価基準です。 外れ値や一時的な値を除いた場合の最大値に相当します。 |
P50 (median) Duration (50 パーセンタイル (中央値) 実行時間) | 実行時間の中央値。 _中央値は、データセットの歪度 (分布の非対称性を示す指標)の影響を受けにくいので、算術平均よりも適切に中心傾向を測ることができる評価基準です。 _ |
Total Credits (合計クレジット) | 実行中に消費されたクレジットの合計。 |
Success Rate (成功率) | 選択したプロジェクトとワークフローのすべての実行のうち、正常に完了した実行の割合 (100 x (すべての成功した実行回数/すべての実行回数) で計算されます)。 |
組織レベルのメトリクス
組織レベルのメトリクスは、組織のパフォーマンス分析に利用できます。
| 用語 | 定義 |
|---|---|
Workflow Runs (ワークフロー実行回数) | 選択したプロジェクトの、選択した期間における組織のすべてのワークフロー実行回数。 |
Total Workflow Duration (合計ワークフロー実行時間) | 選択したプロジェクトの、選択した期間における組織のすべてのワークフロー実行時間を合計した時間。 |
Total Credits (合計クレジット) | 組織の選択したすべてのプロジェクトにおいて消費されたクレジットの合計。 |
Overall Success Rate (全体成功率) | 選択したプロジェクトとワークフローにおけるすべての実行回数に対して実行が正常に完了した割合。 100 x (成功した実行回数/すべての実行回数) で計算されます。 |
ワークフローのメトリクス
| 用語 | 定義 |
|---|---|
Time to Recovery (復旧時間) | 失敗した実行が次に成功するまでにかかった合計時間。 |
Mean Time to Recovery (平均復旧時間) (MTTR) | 失敗した実行が次に成功するまでにかかる平均時間 (合計復旧時間/失敗数で計算します)。 _選択した期間に失敗したビルドがなく復旧が行われなかった場合、MTTR 値は空になります。 傾向の計算時には、空の MTTR 値は 0 として扱われます。 |
Throughput (スループット) | 1 日あたりのビルド回数 (状態は問わない) の平均 (算術平均)。 合計ビルド数/日数で計算されます。 |
傾向
一般に、未処理のメトリクス値だけを使って解釈を行うのは困難です。 傾向は、以前のパフォーマンスと比較した相対的なベンチマークを示すことで、Insights のメトリクスにコンテキストを追加します。 たとえば、過去 7 日間のビューには、傾向として、その前の 7 日間と比べた値の変化や差が表示されます。
注意: 傾向を利用できるのは、24 時間、7 日間、30 日間の期間だけです。
傾向は、100 * (現在の値 - 以前の値)/以前の値で計算されます。
傾向の近似
実行時間などのパーセンタイル メトリクスでは、以前の期間のベンチマークは近似手法により求められます。
実行時間
P95 Duration (95 パーセンタイル実行時間)
95 パーセンタイル実行時間の傾向データは、以前の期間の最も悪いパフォーマンスをベンチマークとして使用して計算します。
たとえば、過去 7 日間の傾向情報を計算する場合、その前の 7 日間における各日の 95 パーセンタイル実行時間のうち最も悪い (長い) ものがベンチマークとして選択されます。 過去 24 時間の傾向の場合、その前の 24 時間における毎時間の 95 パーセンタイルのうち最も悪いものがベンチマークとして選択されます。
P50 Duration (95 パーセンタイル実行時間)
50 パーセンタイル実行時間の傾向は、現在の実行時間を、その前の期間のパフォーマンスの中央値と比較して求めます。 たとえば、過去 30 日間の 50 パーセンタイル実行時間の傾向は、各日の 50 パーセンタイル値の中央値をベンチマークとして使用して計算します。
傾向データの表示方法
ここでは、さまざまなメトリクスの傾向データの表示方法を説明します。
- 緑: このメトリクスは改善傾向にあります。
- 赤: このメトリクスは悪化傾向にあります。
- 灰: このメトリクスは良い/悪いを評価できないため、増加/減少の傾向のみが示されます。
赤と緑は、Success Rate (成功率)、Throughput (スループット)、および MTTR の各メトリクスの傾向を表します。 灰色の矢印は、Runs (実行回数)、Duration (実行時間)、および Total Credits (合計クレジット) の傾向に使用されます。
パーセンテージ
パーセンテージは、選択した期間とその前の期間のメトリクスを比較した相対的な変化の割合を示します。 たとえば、過去７日間のワークフローの成功率がその前の 7 日間の 40% から60% に増加していた場合、現在の期間には+50% の変化が傾向として表示されます。
倍数
倍数は、選択した期間の相対的な変化が大きいことを示します。
矢印
値がなく、傾向の矢印だけの場合、その前の期間に実行が行われなかったか、その前の期間のデータが存在しないことを示します。
傾向データなし
傾向データの値が空の場合、2 つの期間の間でデータが変化していないことを示します。