CircleCI のグロース (Growth。”成長” や “発展” の意) エンジニアリング チームでは、UI の実験を定期的に実施しています。実験はシンプルなものもあれば複雑なものもあり、規模も大小さまざまです。実験のたびに、お客様が CircleCI を使用している状況や方法に対する理解が深まり、どうすればエクスペリエンスを向上できるかが見えてきます。
実験を計画する際に私たちチームが順守している軸が 3 つあります。それは、”少しずつ改善する”、”好奇心を持つ”、”ユーザーにとって本当に価値あるものを追加する” です。
今日は、これらの軸がどんなふうに実験に活かされているか、各実験からどんな学びがあるかがわかる例をご紹介します。
少しずつ改善する: 小さな UX のいらだちでも大きな影響を生む
グロース エンジニアリング チームに新しくエンジニアが加わるたび、私たちはオンボーディングとして、CircleCI でプロジェクトのセットアップ操作を行い、混乱した点やいらっとしたところをすべて書き出してもらっています。
あるエンジニアから、ジョブ ページで並列処理のツールチップにカーソルを合わせたときに、ポップアップ表示されるまでに数秒かかったと指摘されたことがありました。
このツールチップは、過去の別の実験で組み込んだものでした。ただ、小さな規模で少しずつ改善することを優先していたため、その時点では (フィードバックが早く得られるように) 独自のツールチップ コンポーネントは開発せず、ブラウザーに標準搭載された機能を使用していました。その実験の成果として、並列処理に関する追加情報をユーザーに提供すると、並列処理のレベルが高い組織を増やせるということがわかっていました。
そこで、ツールチップの表示速度を高めれば、並列処理の利用をさらに促進できるのではないかと考えました。
私たちは、(暫定的に使用していた) ブラウザー搭載のツールチップを、瞬時にポップアップ表示されるカスタム ツールチップに置き換えて、A/B テストを実施しました。
すると、被験グループ (新しいツールチップを使用するユーザーのグループ) では対照グループに比べ、並列処理の利用率が大きく増えることを確認できました (12.5% に対して 14.9%、p 値 = 0.00。これ以上、統計的に有意と言える結果はありません！)。
これは UX のちょっとした調整でしたので、最初はテストを実施するべきかどうかさえ迷うところがありました。たいした影響はないだろうと思っていたのですが、実際には大きな向上につながりました。
このケースから、少しずつ改善することで、ユーザーがジョブ ページでどのような体験をしているかに気付くことができました。これをもっと普遍的な学びにつなげるなら、”UX の改善はほんの小さなものでも、大きな変化を生む” となるでしょう。
好奇心を持つ: ユーザーが何をしようとしているかを知り、実現時間を短縮する
私たちはこれまで長きにわたり、ユーザーの生産性向上を後押しようと取り組んできましたが、いつもうまくいくわけではないことにも気付いています。たとえば、私たちにとってはとても魅力的だと思える知識拡充キャンペーンを実施したことがあります。このキャンペーンでは、コミットのサイズを小さくして実行回数を増やしたほうが、パイプラインが失敗したときのリカバリ時間を短縮できることを伝えようとしました。
しかし、予想に反して、キャンペーンを見た被験グループでは見なかった対照グループに比べて、パイプラインの平均実行回数が減ったように感じられました。
私たちは、この結果が、ユーザーの既存ワークフローを高速化するのではなく、変更しようとしたことに関係があるのではないかと思いました。そこで、ユーザーの既存のフローを変えない実験をあらためて行ったら、結果が改善されるのではないかと考えました。
ユーザーは一般的に、パイプラインは再実行したいと思いつつも、そのためにクリック回数が増えるのは望まないことを私たちは知っていました。そこで、新しい A/B テストとして、ユーザーが最も頻繁に使用するページであるダッシュボードの最上部に “パイプラインの再実行” ボタンを配置することにしました。このボタン自体は新しい機能ではありません。このテストでは、ボタンをもっと目立つ位置に配置すればユーザーのパイプラインの再実行回数が増えるのではないかというひらめきの検証が関心の対象でした。
結果を見ると、私たちの直感は間違っていなかったようです。この変更により、パイプラインの再実行率が向上しました。
また、再実行ボタンを目立つ場所に配置することで、再実行という選択肢があることに気付く組織が増えることもわかりました。初めてこの機能を使用する組織の数が、統計的に有意に増加したのです。
前段階の結果と今回の結果から、ユーザーに新しいことやこれまでとは違うことをやってもらおうとするよりも、ユーザーの既存ワークフローに合わせて実験を調整したほうが、効果は高まることがはっきりとしました。この学びは、さらに実験を重ねるたびに強く裏付けられています。
価値あるものを追加する: 準備時間を短縮する
データと UX 調査結果の両方から、新規ユーザーの中にはセットアップにかなり時間のかかる方がいることがわかりました。そうしたユーザーは、パイプラインの最適化に役立つエンジニアリング リソースを十分に活用できておらず、場合によってはプラットフォームの利用を完全にやめてしまっていました。
私たちはデベロッパー リレーションズ チームから意見をもらって、UI の右側パネルに [Getting started (利用開始)] チェックリストを追加することにしました。チェックリストには、[run your first pipeline (パイプラインを初めて実行する)] や [run your first green workflow (ワークフローの実行で初めて成功する)] といった、新規ユーザーのやる気を後押しする項目や、CircleCI の設定に関するさらに高度なドキュメントへのリンクを含めました。
この実験の目標は、ユーザーが CircleCI の価値をすべて引き出すのにかかる時間を短縮すること (チーム内での呼称は “フル活用までの準備時間の短縮”) でした。
実験の結果、プラットフォームの利用開始から 3 週間以内でエンゲージメントしきい値に到達する組織が 27% 増えました。
フル活用までの準備時間の短縮が、ユーザーに大きな影響を与えるとわかりました。オンボーディング プロセスにかかる時間を削るだけでなく、その過程でやる気が途切れようにすることで、ユーザーが実際の作業に取りかかるまでの時間を縮められます。それはユーザーにとっても、チームにとっても、組織全体にとっても本当に価値のあることです。
これは何より重要です。私たちがこれらのエンゲージメントの実験を通して目指しているのは、CircleCI をユーザーにとってより良くする方法について理解を深めることなのです。実験を続けながら、私たちはユーザーの生産性向上、目的の達成、満足度アップに必要なことを学び続けています。
これらの価値を届けることをすばらしいと感じていただけるでしょうか。もし、このような実験に興味をお持ちではあれば、チームでは今、新しいエンジニアを募集しています。CircleCI グロース エンジニアリング チームで現在募集している職種について、こちらでぜひ確認してみてください。
