モバイル・ネットワーク・エクスペリエンスへの理解： Opensignalのメトリックの意味とは？

このブログでは、Opensignalの中核を探ってみることにしましょう。使用するメトリックとは何なのか、ユーザーが実際に体験しているような実世界のモバイル・ネットワークを測定するうえでの役割について説明します。

そもそもどのようにしてデータを収集しているのか？

世界中の1億台以上のスマートフォンから毎日数十億もの個別測定値を収集しています。実際に人々が住んで、働いて、移動している場所において365日24時間、データを収集しています。データは、シミュレーションでも、予測でも、テスト条件を理想化したものでもありません。当社のデータは実際のスマートフォン・ユーザーから収集し、ユーザーの実際のネットワーク・エクスペリエンスを報告します。ユーザーが室内にいようが室外にいようが、せわしない都市部にいようが郊外にいようが同様です。

当社の大部分のデータは、バックグラウンドで作動する自動化テストを通して収集されます。それによって、業界の頻度と大きな規模において、ユーザーの実世界でのモバイル・エクスペリエンスを報告できるようになります。これらの自動化テストは、ランダムな時間で作動するため、あらゆる時間におけるユーザーの典型的なエクスペリエンスを表すことができます。

ビデオ・エクスペリエンス - 実世界のモバイル・ビデオ・ストリームを測定

Opensignalのビデオ・エクスペリエンス・メトリックは、3Gあるいは4Gネットワークでの実世界のビデオ・ストリームを測定することでモバイル・デバイスにおけるビデオ・ストリーミングリーミングの品質を定量化します。メトリックは、国際電気通信連合（ITU）基準のアプローチを採用しており、画質、ビデオ読み込み時間、失速率と実際の人々から報告されるビデオ・エクスペリエンスとの関係を導く調査の上に成り立つアプローチになります。ビデオ・エクスペリエンスを計算するため、0から100までの値で各事業者による一般的なビデオ・エクスペリエンスを測定するようなITUアプローチを用いて、エンドユーザーのデバイスからビデオ・ストリームを直接測定します。テストされたビデオには、様々な解像度を含め、直接世界大手のビデオコンテンツ業者からストリーミングされます。

以下の尺度によって、ユーザーが実際に受け取っているビデオ・エクスペリエンスの得点と関連付けています：

• 75点以上　素晴らしい：

すべてのユーザーに対して、一貫したエクスペリエンスを提供し、ビデオ・ストリーミング業者の解像度テストにおいても読み込み時間が短く、失速はほとんどない。

• 65～75　とても良い：

全体的に読み込み時間が短く、時々失速程度だが、ユーザー、ビデオ業者／解像度間でエクスペリエンスが多少異なることがある。

• 55～65　良い：

同じビデオ・ストリーミング業者の高解像度の場合でも、一貫したエクスペリエンスが得られず、読み込み時間が著しく遅くなり、失速が珍しくない。

• 40～55　普通：

ビデオ・ストリーミング業者にも高解像度のビデオ（読み込み時間が非常に長く、失速が長引く）にも、良くないエクスペリエンス。ただし、低解像度ビデオの業者にとってのエクスペリエンスとしては十分。

• 40以下　悪い：

すべての業者で低解像度ビデオを使用する場合でも、望ましくないエクスペリエンス。とても遅い読み込み時間と失速が頻発。

モバイル・ネットワークで実行されるシングル最大カテゴリのトラフィック であり、消費者の需要に対応するために消費が増加すると予想されるため、非常に関連性の高いメトリックです。モバイル・ネットワークにおける実際の消費者エクスペリエンスを測定するためのOpensignalで進行中のミッションにおける重要な要素になります。

ビデオ・エクスペリエンスに加え、ビデオに関連する2つのサポート指標について報告します。

• 4Gビデオ・エクスペリエンス：

4G/LTE接続全般の平均ビデオ・エクスペリエンス得点

• 3Gビデオ・エクスペリエンス：

3G接続（例：UMTS/HSPA または CDMA 1X EV-DO など）全般の平均ビデオ・エクスペリエンス得点

ゲーム・エクスペリエンス

Opensignalのゲーム・エクスペリエンス・メトリックは、事業者のネットワーク上でモバイルユーザーがどのようにリアルタイムでマルチプレイヤーのモバイル・ゲームを体験しているかを示す測定です。0から100の値で測定し、マルチプレイヤー・モバイル・ゲーム・エクスペリエンスがモバイル・ネットワーク条件（遅延、パケットロス、ジッターを含む）の影響を受けているのかを分析し、ゲームプレイとマルチプレイヤー・ゲーム・エクスペリエンス全体への影響を判断します。

ゲーム・エクスペリエンス・メトリックは、世界中にあるサーバーにモバイル・デバイスを接続した状態で、リアルタイム・マルチプレイヤー・モバイル・ゲームをプレイしている際のエクスペリエンスを定量化します。このアプローチ方法は、数年に渡ってテクニカル・ネットワーク・パラメーターと実際のモバイルユーザーから報告を受けたゲーム・エクスペリエンスの間の関係性を調査した結果に基づいています。このパラメーターには遅延（往復時間）、ジッター（遅延の変動性）、パケットロス（宛先に到達しないデータパケットの割合）が含まれています。また、ネットワーク条件への平均感度を測定するため、複数のマルチプレイヤー・モバイル・ゲームのジャンルも考慮しています。このゲームテストには、世界中でプレイされている最も人気のあるリアルタイム・マルチプレイヤー・モバイル・ゲーム（Fortnite, Pro Evolution Soccer, Arena of Valor等）が含まれています。 

ゲーム・エクスペリエンスを計算するためには、ユーザーのデバイスからリアルゲームをホストしているエンド・ポイントのインターネットまでのエンド・ツー・エンドのエクスペリエンスを測定するところから始まります。次に、0から100までの値で得点付けされます。 

Opensignalのモバイル・ゲームム・エクスペリエンスは、以下の評価に分けられています：

• 85～100 素晴らしい：

大多数のユーザーが、このネットワーク・エクスペリエンスを受け入れられると感じている。ほぼすべての回答者がゲームにおいてコントロールを保てる状態であり、アクションに対してすぐに応答が来る状態を表しています。このほぼすべての場合において、顕著な遅延は生じません。

• 75～85 良い：

多くのユーザーが、このエクスペリエンスを受け入れられるものとして感じている。ゲームプレイのエクスペリエンスは、概ねコントロールが保てる状態であり、アクションに対してすぐさま応答が来る状態を表しています。アクションとゲームの返答の間において、多くのユーザーが遅延を感じることはありません。

• 65～75 普通：

ユーザーは、「平均的」なエクスペリエンスをしている状態です。多くの場合、ゲーム内ではプレイヤーのアクションに対して応答があり、ユーザーがゲームにおいてコントロールを保てていると感じている状態です。アクションとゲームの返答の間において、ユーザーの大半が遅延を感じていると報告しています。

• 40～65 悪い：

多くのユーザーが、このネットワーク・エクスペリエンスを受け入れられないと感じました。大多数のユーザーがゲーム中に遅延を感じ、アクションに対してすぐに応答が返ってこないと感じています。多くのユーザーは、このエクスペリエンスに関して、ゲーム上でのコントロールの欠如を感じました。

• 0～40 とても悪い：

ほぼすべてのユーザーが、このネットワーク・エクスペリエンスを受け入れられないと感じています。ゲーム内に多くの遅延を感じ、その多くがゲームにおけるコントロールを保てていないと感じています。大多数のユーザーがアクションに対してすぐ応答が返ってこないと感じています。

ボイス・アプリに対するエクスペリエンス－ボイス品質を測定

Opensignalのボイス・アプリに対するエクスペリエンスは、オーバー・ザ・トップ（OTT）ボイスサービスのエクスペリエンス品質を測定するものであり、国際電気通信連合（ITU）から発生したモデルを使用するWhatsApp、Skype、Facebookメッセンジャー等のモバイル・デバイスアプリを元にして、全体的な通話品質と一連の調整された技術的パラメーターを測定します。このモデルは、知覚される通話品質と技術的測定の間に生じる正確な関係を特徴付けます。各事業者のボイス・アプリ・エクスペリエンスは、0から100までの値で得点付けられます。

• 95点以上：素晴らしい：

ほとんどのユーザーが非常に満足している状態です。事業者は顧客に対して常に良いOTT音声品質エクスペリエンスを提供している状態です。

• 87～95　とても良い：

ほとんどのユーザーが満足している状態です。事業者は、顧客に対して全体的に良いOTT音声品質エクスペリエンスを提供している状態です。時々、通話に障害が入りますが、主に音量に関連したものになります。 

• 80～87　良い：

多くのユーザーが満足している状態です。一部のユーザーが軽度の品質障害を感じる状態です。時々バックグラウンドがはっきりせず、十分に音が聞こえない状態があります。ごく稀にクリック音や歪みが発生することがあります。 

• 74～80　普通：

ユーザーが満足している状態です。一部のユーザーが知覚可能な通話品質障害を感じる状態です。クリック音や歪みのある短い音が聞こえ、音量も十分に大きい状態ではありません。聞き手は通常、繰り返しをお願いすることなく、会話を理解できる状態です。 

• 66～74：悪い：

多くのユーザーが不満な状態です。通話品質障害を感じる状態です。歪み、クリック音、無音状態が通話中に続き、鬱陶しい状態になります。

• 60～66：とても悪い：

ほとんどのユーザーが不満な状態です。重大な通話品質障害を感じる状態です。時折、歪み、クリック音、無音状態が通話中に続きます。繰り返すようお願いしないと、会話の一部が理解できない状態です。

• 45～60：聞き取れない：

ほぼすべてのユーザーが不満な状態です。頻繁に長いポーズ、クリック音、歪みが通話中に続きます。会話を理解するために頻繁に聞き返さなければならない状態、あるいは繰り返して会話をしなければならない状態です。  

• 45以下　コミュニケーション不可能： 

ボイス・アプリ・エクスペリエンスに加えて、関連する2つのサポート指標について報告します。

• 4Gボイス・アプリ・エクスペリエンス：

このメトリックは、Opensignalユーザーによって測定された、各事業者を介するLTE接続におけるモバイル・ボイス・サービスのエクスペリエンスを示すものになります。

• 3Gボイス・アプリ・エクスペリエンス：

このメトリックは、Opensignalユーザーによって測定された、各事業者を介する3G接続におけるモバイル・ボイス・サービスのエクスペリエンスを示すものになります。

ダウンロード速度に対するエクスペリエンス－ユーザーが体感している本当の速度

Mbpsで測定されるダウンロード速度に対するエクスペリエンスは、事業者のモバイル・データ・ネットワークを通してユーザーが体感する典型的な毎日の速度を示しています。ダウンロード速度のエクスペリエンスに加えて、ダウンロード速度に関連する３つのサポート指標について報告をします。

• 4Gダウンロード速度：

4G/LTE接続全体の平均的なダウンリンク速度

• 3Gダウンロード速度

 3G接続（例：UMTS/HSPA or CDMA 1X EV-DO）全体の平均的なダウンリンク速度

• ピーク時ダウンロード速度：

実世界のネットワーク上でOpensignalのユーザーが体感している最速のダウンロード速度の測定です。最速テストのみに注目することで、技術的または混雑時の制限の影響を最小限に抑えることが可能となり、代わりに実世界の状況でOpensignalユーザーが体感している最適速度の推定値を提供することができます。ここで注意したいのは、理想的な状態で測定された最良速度や実世界の状態では、ユーザー自身が体感することのない理論上の最大速度とは異なるということです。ピーク速度を評価するには、ユーザーの98パーセンタイルによって体感された速度を使用します。

アップロード速度に対するエクスペリエンス

アップロード速度エクスペリエンス・メトリックは、各事業者のモバイル・データ・ネットワーク上での平均アップロード速度を測定するものです。現在のモバイル・ブロードバンド技術は、ユーザーに各デバイスでコンテンツを消費してもらうために出来る限り速いダウンロード速度を提供することに焦点を当てているため、通常アップロード速度はダウンロード速度よりも遅くなっています。モバイルインターネットの傾向がコンテンツのダウンロードからコンテンツの作成、リアルタイム通信サービスのサポートへと移行するにつれて、アップロード速度がより重要になり、アップストリーム能力を高める新しい技術も出てきています。

アップロード速度のエクスペリエンスに加えて、関連する３つのサポート指標を報告します。

• 4Gアップロード速度：

4G/LTE接続全体の平均的なアップリンク速度

• 3Gアップロード速度：

3G接続（例：UMTS/HSPA or CDMA 1X EV-DO）全体の平均的なアップリンク速度

• ピーク時アップリンク速度：

実世界のネットワーク上でOpensignalのユーザーが体感している一番早いアップロード速度の測定です。最速のテストのみに注目することで、技術的または混雑時の制限の影響を最小限に抑えることが可能となり、代わりに実世界の条件でOpensignalユーザーが体感している最適速度の推定値を提供することができます。ここで注意したいのは、理想的な状態で測定された最良速度や実世界の状態では、ユーザー自身が体感することのない理論上の最大速度とは異なるということです。ピーク速度を評価するには、ユーザーの98パーセンタイルによって体感された速度を使用します。

待ち時間に対するエクスペリエンス－遅延を測定する

データがネットワークを通り往復している時間としての遅れ時間を「遅延」と示します。ネットワークの待ち時間が長い場合、ネットワークの応答が遅く、ユーザーのリクエストに対しての反応が遅くなります。当社は、待ち時間に対するエクスペリエンスを1/1000秒単位で測定し、事業者の3Gもしくは4Gネットワークに接続する際にユーザーが体感している典型的な遅延を示しています。一般的なユーザーが各ネットワークの接続に費やす時間の割合に基づいて、個別の3Gおよび4Gの待ち時間を加重平均として計算します。

ダウンロード、アップロード、待ち時間に対する速度テストのすべては、最も一般的なインターネット目的地（専用テストサーバー上ではなく、リクエストが通常のトラフィックとは異なるルートをたどるか、実際には代表的ではない方法で優先順位が付けられる場合）をホストするコンテンツ配信ネットワーク（CDN）上で行われ、典型的なユーザー・エクスペリエンスをより正確に理解することができます。

待ち時間に対するエクスペリエンスに加えて、関連する2つのサポート指標について報告します。

• 4G待ち時間：

4G/LTE接続においてユーザーが体験している平均的な待ち時間

• 3G待ち時間：

3G接続（例：UMTS/HSPA or CDMA 1X EV-DO）においてユーザーが体験している平均的な待ち時間
 

更新：2020年5月以降、公開レポートで遅延エクスペリエンスの4G遅延及び3G遅延を取り上げなくなりました。
 

4G利用率－ユーザー中心のアプローチ

4G利用率メトリックは、ユーザーが４GデバイスでそのユーザーがLTE接続を行っている時間の割合を示しています。4Gの平均利用率が75％であると報告された場合、LTEユーザーは平均して75％の時間でネットワーク上のLTEサービスに接続されていたことを意味します。

利用率は、ネットワークの地理的範囲やカバレッジの測定を示しているわけではありません。遠く離れた地域を訪れる予定がある場合に、カバレッジを受ける可能性があるかどうかについて言及するものではありません。代わりに、従来のカバレッジ・メトリックにおいては見過ごされていたような、人々が頻繁にいる場所におけるネットワーク接続の時間の割合を測定します。「どこ」ではなく、「いつ」LTE接続を有しているのかを見ることができるので、実際のユーザー・エクスペリエンスを正確に反映できます。

また、モバイルユーザーが最も不満を抱かせている時、つまり接続できる信号がまったくない場合でも追跡します。最も一般的なデッド・ゾーンとして、ユーザーは屋内での接続に苦労しています。利用率データのほとんどは屋内から収集されるため（ユーザーがほとんどの時間を費やす場所であるため、驚くことではありません）、カバレッジがゼロのエリアを検出することに特に気をつけています。

4Gカバレッジ・エクスペリエンス 

Opensignalの4Gカバレッジエクスペリエンス・メトリックは、事業者のネットワーク上でどのようにモバイル購読者たちが4Gカバレッジをどのように体験するかを示す測定です。0から10で測定され、すべてのネットワーク事業者のユーザーが訪れた場所に関連して、4G電波を受信した場所を分析するものです。 

簡単にいうと、4Gカバレッジ・エクスペリエンスはユーザーが毎日過ごすようなすべての場所におけるモバイル・カバレッジ・エクスペリエンスを測定しています。ユーザーが住んでいる場所や働いている場所、移動している場所等です。Opensignalユーザーが訪れるすべてのエリア、4Gがユーザーにとって利用可能な場所の割合、より多くのユーザーが重要だと感じて訪れる場所のすべてを考慮しています。
 

信頼区間

各メトリックに対して、グラフ上に示されているような統計的信頼区間を計算しています。信頼区間が重なり合う際、測定結果は勝者を宣言するには近すぎるという事になります。この場合、我々は統計的ドローを示します。このような理由から、いくつかのメトリックにおいては複数のオペレーター勝者がでる事になります。
棒グラフにおいては、信頼区間を棒グラフの各サイドにある境界として捉えています。
サポート・メトリック・チャートにおいては、信頼区間を+/-数値として表しています。