f:id:sugimomoto:20180707214339p:plain

先々月に行われたAPI x PM #01で「APIを公開したけど、KPI,KGIをどう測るか？　何を指標にするかが難しい」というお話がサイボウズの北川さんからありました。（公開するの忘れてた）

kageura.hatenadiary.jp

確かに指標としてアクセス数やコール数、接続先のドメイン数など、ある程度考えられるものはありましたが、はっきりとKPIとはこう捉えるべきだ、という指針・ナレッジは私の中にもありませんでした。

せっかくなので、と思い調べていたところ、以下のドキュメントにめちゃくちゃ感動！　しまして、これはもっと広まるべきだ！　と思い、慣れないながらも和訳を実施してみました。

KPIs for APIs (and how API Calls are the new Web Hits, and you may be measuring all wrong) from John Musser

www.slideshare.net

なお、ただスライドベースで載せても伝わりづらいので、結構私なりの解釈も交えながら意訳している部分もあります。また、日本でも一般的になっているようなキーワードはあえて和訳していません。

和訳全文

KPIs for APIs

なぜAPIが新しいWebのアドバンテージであり、あなたが間違った測定をしているのでしょうか？

f:id:sugimomoto:20180707214339p:plain

Webの移り変わり

1995年なぜ私達にWebサイトが必要なのですか？　という声が多く聞かれました。

2000年になると、誰もがWebサイトを持っています。

2005年今度は、なぜ私達にAPIが必要なのですか？　という声が多く聞こえるようになりました。

2010年私達は誰もがAPIを持つようになりました。

そして私達は今 2015年、誰もがAPIを持つようになった時代に居ます。
あなたは「アクセスカウンター（英名：hit counters）」を覚えていますか？

f:id:sugimomoto:20180707213701p:plain

Webサイトのメトリクスは以下のように進化してきました。
1. Hits
2. Page Views
3. Visitors
4. Conversions

f:id:sugimomoto:20180707213729p:plain

それではAPIのメトリクスはどのように進化するのでしょうか？
1. Calls
2. ？
3. ？
4. ？

f:id:sugimomoto:20180707213759p:plain

優れたAPIは正しいメジャー（測定方法）を必要としています。

しかし、メジャーとはなんでしょうか？

それは状況に大きく左右されます。

まず考えてほしいのは、あなたはなぜAPIを持っているのか？　ということです。
Web APIを持っている理由は様々あるでしょう。
- Drive innovation
- Marketing channel
- BizDev / LeadGen
- User acquisition
- New line of business
- Upsell opportunity
- API as Product
- Increase footprint
- Device and mobile support
- Destribution channel
- Content acquisition
- Drive traffic
- Increase stickiness
- Accelerate internal projects
- Extend product
あなたのAPIは誰のためにありますか？

API consumer continuum APIのユーザーの総体は以下のようなイメージです。

↑ Internal / You ↑ ・ Private / Your partners & customers ↓ ↓ Open / Everyone else

f:id:sugimomoto:20180707210059p:plain

誰が？　なぜ？　あなたのKPIを動かすべきか？　があなたの答えとなります。
次にAPIのKPIを考えるための様々な指標を見てみましょう。
- Traffic
  - Total calls
  - Top methods
  - Call chains
  - Quota faults
- Developers
  - Total developers
  - Active developers
  - Top developers
  - Trending apps
  - Retention
- Service
  - Performance
  - Availability
  - Error rates
  - Code defects
- Marketing
  - Dev registrations
  - Dev portal funnel
  - Traffic sources
  - Event metrics
- Support
  - Support tickets
  - Response times
- Business
  - Direct revenue
  - Indirect revenue
  - Market share
  - Costs
さらにAPIのKPIを別カットから考えると以下のようなものもあります。
- Customer Satisfaction
- NPS
- ChurnCommunity
- Forum activity
- Social Media（APIとアプリの両方がその上に構築されています）
- Quality
- Defects
- Error prone APIs
- Repair rateAPI Maturity
- Stability
- Maturity metric
- Change rateInnovation
- Number of products
- Number of apps
- Speed to marketChannel
- Call volume: Mobile, Web, Others
- Revenue by channel
これらのように、あなたが測定できるAPIのKPIは多くあります。
しかし、ちょっと待ってください。

このように数多あるAPIのKPIに溺れないでください。

f:id:sugimomoto:20180707214935p:plain

KPI SECRET #1優れたAPIは「どんなメジャー」を優先するのか？
そこであなたは考える必要があります。どの"KPI lens"をあなたは選択するのか？

CFO lens / CMO lens / CEO lens / DevOps lensQA lens / CRO lens / PM lens / PR lens
CFO lens / financial metrics であれば
- Total direct and indirect revenue
- Margin
- ROI
- Marginal cost
- Capex / Openx Inverstment
- CLTV per develop
DevOpst lens / operational metrics であれば
- Performance
- Availability
- Error rates
- Faults by API type
- Defect backlog
- API traffictrends
CMO lens / marketing metrics であれば
- Developer acquisition cost
- Developer demographics
- Portal visitor count & traffic sources
- SEO / SEM metrics
- Social media metrics
- Evangelism and event metrics
KPI SECRET #2

ディベロッパーファネルを知る

※ファネル：漏斗　マーケティング用語で見込み顧客の発掘から商談・成約に至るまで段々と少数になっていることを言う。
Webサイトのファネルは以下のようになります。
- Acqusition（取得）：ユーザーはどのようにあなた（そのWebサイト）を見つけますか？
- Activation（有効化）：ユーザーは最初にいい経験を得られますか？
- Retention（保持）：ユーザーはあなたの元へ戻ってきますか？
- Revenue（収入）：あなたはどのように利益を得られますか？
- Referral（紹介）：そのユーザーは他のユーザーへ勧めたくなりますか？
引用元：Dave McClure's "Startup Metrics for Pirates"

f:id:sugimomoto:20180707212845p:plain

APIのファネルも以下のようになるでしょう。
- Acqusition（取得）：開発者はどのようにあなた（そのWebサイト）を見つけますか？
- Activation（有効化）：開発者は最初にいい経験を得られますか？
- Retention（保持）：開発者はあなたの元へ戻ってきますか？
- Revenue（収入）：あなたと開発者はどのように利益を得られますか？
- Referral（紹介）：その開発者は他の開発者へ勧めたくなりますか？

f:id:sugimomoto:20180707212918p:plain

KPIのポテンシャルに照らし合わせると以下のようになるでしょう。
- Acqusition（取得）：開発者ポータルサイト：Sources, traffic vol, uniques
- Activation（有効化）：開発者登録, API Keys の発行
- Retention（保持）：アクティブな開発, API Callのボリューム
- Revenue（収入）：開発者の利益、APPの利益 , エンドユーザー数
- Referral（紹介）：開発者の紹介、開発者とAPPの成長率、NPS
※NPS：Net Promoter Score：ネットプロモータースコア：顧客ロイヤリティを数値化する指標

f:id:sugimomoto:20180707213003p:plain

KPI SECRET #3API エコシステムを測定する
- App Users
  - Total app users：アプリの合計ユーザー数
  - Revenue per user：ユーザー数あたりの収益
  - User growth rate：ユーザー増加率
  - User churn：ユーザーチャーンレートApps
- Apps
  - Total apps
  - Trending apps
  - Revenue per app
  - Channel: mobile/web
- Developers
  - Total developers
  - Active developers
  - Revenue per developer
  - Top developers
  - Stuck developers
- Your APIs
  - Total API calls
  - Top API calls
  - Top API packages
  - Internal usage
- You
  - Total revenue
  - Partnerships
  - Market share
  - Innobation

f:id:sugimomoto:20180707213128p:plain

KPI SECRET#4

ほとんどのAPIはべき法則に従う

API call volume とDeveloper数の関係性

APIのトラフィック、収益、成功は2割のデベロッパーで占められている

量ではなく質を考える必要がある

API KPIを使用して「誰が、どのように、いつ、どこで」を見つけることができる

f:id:sugimomoto:20180707213339p:plain

KPI SECRET #5　（ちょっとここのスライドは自信が無い）

API KPIにはサポート・コンセンサスが必要（API KPIs need buy-in）
API KPI を空虚にしないでください。

あなたのステークホルダーは誰か？あなたのスポンサーは誰か？

それらを意識し、あなたの3-5個のKPIでエグゼクティブの協力を得る必要があります。
KPI SECRET #6

外部APIと同じくらい重要な内部APIの使用方法を測定する
Guardianによると

70%は内部APIのコールで占められている

30％が外部からの使用70％が内部アプリケーションからの使用

f:id:sugimomoto:20180707213409p:plain

Evernoteでは「99%」が内部コールで占められている

f:id:sugimomoto:20180707213426p:plain

Netflix: においては99.9%までもが内部コールで占められている

f:id:sugimomoto:20180707213447p:plain

なぜNetflixは99.9%までもが内部コールで占められているのか？

なぜ？：Netflixエクスペリエンスが有効だから

誰が？：Neflix デバイスとUIチーム
KPI WARNING #1

無駄なAPIメトリクスに注意してください
APIビリオネアクラブ

Twitter：130億 API コール / 日（2011年5月） Google：50億 API コール / 日（2010年4月） facebook：50億 API コール / 日（2011年10月） ACC Weather：11億 API コール / 日（2011年4月） KLOUT：10億 API コール / 日（2012年5月） ebay：10億 API コール / 日（2012年Q1） Sabre：10億 API コール / 日（2012年1月）
Netflixは5億APIコール / 日

仮に、このすべてのAPIコールの価値が平等であるとした場合月に300億のAPI呼び出しの代わりに、50億のサービスを提供しますか？
KPI WARNING #2API KPI トラップに注意してください
3つの一般的なAPI KPI トラップ

2.メトリクスプロセスはありません。（メトリクスの計画とフィードバックループがあるだけです）

2.不適切な指標を使用しています。（追跡するものを変更することを恐れてはいけません。）

2.非現実的な期待を持つこと。（確かに、XデーでXデベロッパーをオンボードにする予定です、等）
また、あなたが逃したかもしれない重要なメトリックがあります。

それが「TTFHW」
TTFHWって何？

それは「Time to first "Hello World"」

あなたのAPIを開発者が使った場合「TTFHW」はどのくらい？
つまり「Developer experience（DX）」を意識すること。

あなたのAPIはDXを作ることも壊すこともできる。

それはあまりにも主観的な測定だと思いますか？

もちろん、定性的な指標は忘れないでください。
例えば

ユーザーテストサーベイフォーラムソーシャルメディア

DXを測るための指標はいくつもあります。
実際のAPI KPI
EvernoteのKPI：Conversions

”Evernoteで別のアプリを使用する人が、プレミアム（有料）サービスに移行する可能性は「50％」高い傾向が見られています"
EvernoteのKPI：Engagement

"EvernoteとAPIを統合したアプリケーションには、はるかに多くの用途があります。例えば「Pocket」は通常、保存したものの15％を読みますが、Evernoteのユーザーが「Pocket」から保存したものを80％を読み込んでいます。参考：PocketとEvernoteを連携させてスマートな｢あとで読む｣システムを構築するアイデア

参考：「Pocket：https://www.lifehacker.jp/2014/02/140206pocket_evernote.html」
JustGivingのKPI：Revenue

APIは現在、慈善団体の年間収益の20?25％を占めています。

https://www.justgiving.com/

f:id:sugimomoto:20180707213539p:plain

AviaryのKPI：Apps

2013年3月時点で3,500 Apps

https://www.aviary.com/

f:id:sugimomoto:20180707213600p:plain

nprのKPI：Impressions

彼らのゴール「私達のコンテンツにもっと目を向ける」

さらにKPIとして

API コール数レスポンスボリューム（例えばストーリーの数） Impressions（イメージビーコン経由）ロイヤリティ

npr / national public radiohttps://www.npr.org/
ABSOLUT VODKAのKPI：Recipe delivery

”我々はウォッカを販売している。しかし、人々は飲み物を買います。”

ゴール：「Absolutに遭遇した場所に関係なく、一貫して人々に届けられる最高品質の飲み物を確実にする」
APIを使用すると、顧客がどこにいるかを知ることができます。
それでは最初の質問に戻りましょう。APIのメトリクスはどのように進化するのでしょうか？
1. Calls
2. ？
3. ？
4. ？