AI導入の効果測定｜何を数えるか

「便利になりました」は、続ける理由にも、やめる理由にもなりません。翌年の予算も、次に手を付ける業務も、これでは決まりません。 効果を語れるかどうかは、賢い測り方を知っているかではなく、着手前に数字を取ったかどうかでほぼ決まります。取っていなければ、後からは作れません。 この章は、2章で記録した着手前の数字を使って、続ける・広げる・やめるを判断するための章です。

この章で分かること

• 着手前に取る3つの数字と、取り忘れたときの対処
• 時間だけを数えると効果が消える理由（確認時間・やり直し・待ち時間）
• 効果が出なかったときに、何のせいかを切り分ける4つの型

「便利になった」では決まらない3つの場面

数字が要るのは、報告のためではありません。決められなくなる場面が3つあるからです。

場面	数字が無いとどうなるか
来期の予算を決める	金額の根拠が無く、削減対象の候補に入る
次の業務に広げる	どの業務で効いたのかが分からず、勘で広げることになる
やめる判断をする	効いていない状態が、誰にも指摘されないまま続く

3行目が実は一番重要です。効果測定は、続けるための道具ではなく、やめるための道具でもあります。 やめる判断が下せない会社では、使われていない道具の利用料が、何年も払われ続けます。

着手前に取る3つの数字

2章の点検項目8で取ってあるはずの数字です。取っていない場合は、広げる前に1ヶ月だけ取り直してください。

3つに絞っているのは、これ以上増やすと取られなくなるからです。着手前の記録は、まだ成果が何も出ていない時期に、通常業務の片手間で取ることになります。その段階で10項目の記録用紙を配れば、数週間で埋まらなくなります。所要時間・件数・やり直しの3つは、どれも担当者がその日のうちに答えられる範囲にあり、かつ後から効果を語るときに必ず要る数字です。

逆に、この3つが揃っていれば、効果の話はほぼ足ります。時間だけを見ていると件数の増減に振り回され、件数だけでは1件あたりが軽くなったのかが分からず、やり直しを見なければ「速くなったが雑になった」を見逃します。3つは互いの弱点を補う組み合わせとして選んでいます。

#	数字	取り方
1	所要時間	1件あたり何分か。ストップウォッチではなく、担当者が業務日誌に書く形でよい
2	件数	月に何件発生しているか
3	やり直しの回数	直近1ヶ月の差し戻し・書き直しの件数（2章の探し方と同じ指標）

1件あたりと1ヶ月あたりの、どちらで数えるかを先に決めてください（点検項目2）。ここが揃っていないと、前後で比べられません。 件数が月ごとに増減する業務では、1件あたりで数えます。月合計だけを見ていると、件数が増えただけで「効果が出た」ように見えたり、逆に見えたりします。

取り忘れた場合の対処は1つだけです。「効果は分からないが、続けている理由はこれ」と書いて残す。 無い数字を推計で作らないでください。推計は、後から根拠として使えません。

時間だけを数えると、効果が消える

最も多い失敗は、作業時間だけを比べて、確認時間を足し忘れることです。

数えるもの	足し忘れるとどうなるか
作業時間	—
確認時間（6〜8章で決めた確認）	効果を過大に見積もる。実際には全体で遅くなっていることがある
やり直しの回数	一発で通るようになったかが分からない
待ち時間	「誰かの手が空くまで止まっていた時間」が消える。ここが縮むことは多い
できる人の数	1人しかできなかった業務が2人になった変化が見えない（9章）

当社の決めごと：効果は「作業時間＋確認時間」の合計で比べる。 理由は、確認を省けば必ず速くなるからです。確認を抜いた比較は、効果ではなく手抜きの記録になります。 逆に、4行目の待ち時間は見落とされがちな伸びしろです。下書きが当日中に出るようになると、作業時間は変わらなくても、業務の終わる日が早くなります。 これは件数ではなく、リードタイム（着手から完了までの日数）で数えます。

費用は全部足す

利用料だけを見ると、実際の負担より安く見えます。

費目	中身
利用料	道具の月額・従量分。人数で増えるのか使った量で増えるのかを確認する（4章の点検項目7）
人件費	確認にかかっている時間ぶん。ここが最も大きいことが多い
学習の時間	最初の1〜2ヶ月、担当者が慣れるまでの時間
作り直しの費用	指示文の作り直し、道具の乗り換え
外部に頼んだ費用	導入支援・開発の委託費

2行目を金額に換算してください。 「誰かが空き時間にやっている確認」は、費用として見えないまま増えていきます。 道具ごとの費用の見方は記事に譲ります（AI導入の費用比較｜ツール別の料金とROI）。この章で決めるのは、自社で何を足して比べるかです。

使われているかを見る（効果より先に）

効果が出ていないのではなく、そもそも使われていないことがあります。これは効果測定より先に確認します。

見るもの	確認の仕方
利用の記録	管理者が利用状況を見られるか（3章の点検項目9・4章の点検項目4）
実際に回した件数	対象業務のうち、AIを使って処理した件数
使っている人	担当者本人が使っているか。別の人が代わりにやっていないか
使っていない理由	使っていない場合、本人に聞く（「難しい」「確認が面倒」「業務が変わった」）

3行目に注意してください。 詳しい人が代わりに回している状態は、効果が出ているように見えて、9章の属人化そのものです。数字の上では成功、運用としては失敗という形になります。

効果が出なかったときの切り分け

「効果が出ない＝AIが使えない」ではありません。型は4つです。

型	見分け方	打ち手
業務の選び方が合っていない	月の件数が少ない、毎回やることが違う	2章に戻る。別の業務を選ぶ
確認が重すぎる	確認時間が作業時間を超えている	6〜8章に戻る。確認の場所を絞る。無理なら段階を下げる
使われていない	利用記録が少ない、本人が使っていない	9章に戻る。2人目を作る。手順書を直す
元データが整っていない	毎回、整形の手間がかかる	7章に戻る。元データの側を直す。場合によっては業務システムの話になる

この表は、上から順に当てはめてください。並びは打ち手の重さの順ではなく、確認の速さの順です。1行目（業務の選び方）は月の件数を数えるだけで判定でき、2行目（確認が重すぎる）は、すでに取ってある時間の記録で分かります。3行目と4行目は、現場に聞いたり元データを開いたりする必要があるので、先に上2行を潰しておくと、調べる範囲がそのぶん狭くなります。

当てはまる型が2つ以上あることもあります。そのときは、上にある型から手を付けてください。下の型は、上の型を直した結果として消えることがあります。件数の少ない業務そのものをやめれば、その業務の元データを整える話も同時に消えます。

この切り分けを1回やってから、やめる・続けるを決めてください。 4つのうち3つは、AIの問題ではなく、こちら側の段取りの問題です。 そして、切り分けた結果が「業務の選び方が合っていなかった」なら、それは失敗ではなく、2章の判定が1つ進んだということです。9章の点検項目7（うまくいかなかった記録）に1行残します。

やめる基準は、着手前に決めたものを使う

2章の点検項目12で「◯◯なら元に戻す」を書いてあるはずです。ここで使います。

判定	条件の例（自社の言葉で決める）
続ける	合計時間が減り、やり直しが増えていない
直して続ける	時間は減っていないが、使われていて、切り分けの型が分かっている
元に戻す	合計時間が増えている。または、確認が回らず出力を確かめずに使い始めている

3行目の後半が最も危ない状態です。 「確認が面倒なので見ずに使っている」は、効果が出ている状態ではなく、事故の手前です。見つけたら、効果の議論より先に止めてください。 やめる判断は、着手前に決めた条件で機械的に下します。始めた後に条件を緩めると、何も判定できなくなります。

数字に出ないものは、現場に聞く

数字だけでは判断を誤ります。3つだけ聞いてください。

聞くこと	なぜ聞くか
「前と比べて楽になりましたか」	時間が同じでも、負荷が下がっていることがある（白紙から書く負担など）
「面倒だと感じるのはどこですか」	次に直す箇所が具体的に出る
「無くなったら困りますか」	続けるかどうかの判定に、最も近い答えが返る

3つ目が効きます。 「無くなっても困らない」なら、数字が良くても定着していません。

測らないほうがよい場合

何でも測ると、測ること自体が仕事になります。

対象	判断
月1〜2件しかない業務	測らない。件数が少なく、比べても差が出ない
測る手間が、削減できる時間を超える	測らない。所要時間の記録だけ残す
試している最中（1ヶ月未満）	判定しない。慣れの影響が大きすぎる
複数の変更を同時に入れた業務	効果を分けて語らない。「何が効いたか」は言えない

4行目を守ってください。 業務の手順を変え、担当を変え、同時にAIを入れたのなら、どれが効いたかは分かりません。分からないことを分かったように書くと、次の業務で同じことをして再現しません。

よくある間違いを5つ

「着手前の数字を取らずに始めた」 ——後から作れません。推計で埋めると、根拠として使えない資料ができます。直し方：広げる前に1ヶ月だけ取り直す。取れないなら、効果を語らずに「続けている理由」を書いて残す。

「作業時間だけを比べた」 ——確認時間を足すと、全体では遅くなっている場合があります。直し方：作業時間＋確認時間の合計で比べる（点検項目4）。

「効果が出たので、すぐ全社に広げた」 ——うまくいったのは、その業務・その担当者の条件が揃っていたからかもしれません。直し方：切り分けの4つの型で、何が効いたのかを確かめてから広げる。

「利用記録を見ずに、感想だけで判断した」 ——使われていないのに「便利らしい」で続いている状態が、最も長く残ります。直し方：管理者が利用状況を見られる状態にする（3章・4章）。件数で確かめる。

「効果が出なかったので、AIは自社に合わないと結論づけた」 ——4つの型のうち3つは段取りの問題です。直し方：切り分けを1回やる。業務の選び方が原因なら、2章に戻って別の業務を選ぶ。

この章の出口

この章を終えたとき、手元に残っているべきものは3つです。

1. 着手前と着手後の数字（所要時間・件数・やり直し。確認時間を含む合計）
2. 費用の合計（利用料・人件費・学習・委託）
3. 続ける／直して続ける／元に戻す の判定と、次に手をつける業務名

1業務の効果は測れました。最後は、これを会社の能力として持つ話です。 外に頼み続けてよい部分と、自社が持たなければならない部分は決まっています。次の章で、その線を引きます。

次の章へ：12章 AIの内製化｜外注で終わらせない道筋