Methodology Overview - JP

Opensignalの目的は、モバイル・ネットワーク・ユーザーが記録した実際のモバイル・エクスペリエンスをできるだけ正確に報告することです。

また、弊社はそう強く信じています。：  

• ネットワーク・パフォーマンスを評価する際に最も重要なのは、加入者自身がどのように体感するかです。これは、ユーザーが生活し、働き、移動するすべての場所でネットワークと相互作用する際の実世界の体感を捉えることによって最もよく理解できます。 
• この情報を透過的に利用できるようにすることで、消費者がネットワーク・パフォーマンスの最も関連性の高い側面、つまりユーザー・エクスペリエンスにどのように反映されるかを理解するという重要なニーズに対応します。 

オペレーターは、最初のネットワークが構築されたときからパフォーマンスをモニターしてきましたが、エンジニアリング・テストと日常的なユーザーの一般的な体感との間には、依然として断絶があります。

弊社のプロセスは、世界中の1億台以上のデバイスから毎日何十億もの測定値を収集することから始まります。

弊社のソフトウェアは、自社およびパートナーのアプリにインストールされます。弊社が提携するパートナーは、幅広いユーザー層、属性、デバイスをカバーするよう戦略的に選ばれています。

他の情報源から公表されているスピード・テストの中には、自社のアプリからのデータのみを使用しているものもあり、これはサンプルを特定のタイプのユーザーに制限しています。また、データ収集を最新のデバイスのみに制限しているものもあり、これもまたユーザーベースを制限しています。

• Opensignalは、世界中のスマートフォンから、屋内と屋外の両方の場所での測定を含む、通常の使用状況下で、毎日数十億の個々の測定値を収集しています。ユーザーはほとんどの時間を屋内で過ごすため、測定値のほとんどは屋内から収集されます。
• Opensignalは、専用のテストサーバーを使用していません。弊社は、エンド・ツー・エンドの消費者ネットワーク・エクスペリエンスと、ユーザー・デバイスからGoogle、Akamai、Amazonなどのコンテンツ・デリバリー・ネットワーク（CDN）までのフルパスを測定します。
• ビデオ・エクスペリンスを計算するために、典型的なユーザー・エクスペリエンスを表すように選択されたビデオ・コンテンツ・プロバイダーを使用します。弊社の測定は、オペレーターがネットワークを最適化して私たちのトラフィックを異なる方法で処理することが出来ないように設計されており、そのため、実際にネットワークを改善することなく結果に影響を与えます。

どのようなアプリケーションでも、データをダウンロードする際には、接続が確立されるまでの最初のランプアップ期間があり、ダウンロード・スピードは、ダウンロードが進行した後に達成される安定したスピードとは異なります。

今日のネットワークでは、ユーザー・エクスペリエンスの観点から、ストリーミング・ビデオや大容量ファイルのダウンロードのようなスピードに敏感なアプリケーションは、主に安定したスピード（「グッドプット」と呼ばれることもある）に影響され、立ち上がり時間のスピードは影響されません。逆に、ウェブ・ブラウジングのようなアプリケーションは、立ち上がり時間と待ち時間の影響を大きく受けます。

スピード・エクスペリエンスの測定： Opensignalのダウンロード・スピード・エクスペリエンスは、主に安定したスピードに影響されるストリーミングや大容量ファイルのダウンロードなど、これらのアプリケーションのユーザー・エクスペリエンスを測定することに重点を置いているため、単純な固定ファイルサイズのダウンロードではなく、固定時間のテストを使用しています。一定期間であれば、測定されるスピードは、ユーザーがアプリケーションを通じて体感する安定したスピードをより正確に表すことができます。

Opensignalのビデオ・エクスペリエンス測定では、一般的なコンテンツ・プロバイダのサンプル・ビデオを直接ストリーミングし、画質やビットレートを変えて、読み込み時間（ビデオが開始するまでの時間）やビデオ失速率（ビデオのストリーミング開始後に再生が中断するユーザーの割合）など、ユーザー・エクスペリエンスに直接影響を与えるさまざまなパラメータを測定します。

Opensignalは、生の測定値を取得し、堅牢で代表的なメトリックを計算する厳格な後処理システムを使用しています。これには、測定の品質を保証するためのいくつかのステップが含まれます。たとえば、ユーザーがコンテンツのダウンロードに失敗した場合、この測定値は平均スピードの計算には含まれず、「テストに失敗した」ものとして扱われます。

デバイスごとの値：デバイスごとの値は、単純平均を使用して結合され、レポートや分析で見られるOpensignalのメトリックが得られます。各レポートでは、結果を算出するためにサンプリングしたアクティブ・ユーザー・ベースの詳細を示しています。ユーザーが測定できるのは自分のネットワーク・プロバイダーのパフォーマンスだけなので、サンプル・サイズはオペレーターごとに異なります。

信頼区間 ：弊社は、測定値のサンプル・サイズに基づき、認知された標準的手法を用いて算出した、オペレーターごとの信頼区間の上限および下限の推定値を提供します。信頼区間は、誤差のマージン、またはメトリック計算の精度に関する情報を提供します。これは、データの測定範囲全体を考慮した上で、真の値である可能性が非常に高い範囲を表しています。

統計的に有意な結果： 信頼区間 の2つ以上の演算子の信頼区間が特定のメトリックで重なるときはいつでも、結果は統計的に同点でとなります。これは、測定の不確かさが考慮されると、あるオペレーターの見かけ上のリードが真実でなくなる可能性があるためです。このため、レポートでは複数の受賞者を出すこともあります。

Opensignalのビデオ・エクスペリエンスは、オペレーターのネットワークを介した実世界のビデオ・ストリームの測定によって、モバイル・デバイスに配信されるビデオ品質を定量化します。メトリックは国際電気通信連合 (ITU) アプローチをベースに、画質、ビデオ読み込み時間、失速率とユーザーが実際に体感したビデオ・エクスペリエンスの関係を導く詳細な分析の上に成り立つアプローチです。

Opensignalのライブ・ビデオ・エクスペリエンスは、オペレータのネットワーク上のビデオ・ストリームを測定することにより、モバイル・デバイスにストリーミングされるリアルタイム・ビデオの品質を定量化します。このメトリックは、Opensignalのオンデマンド・ビデオ・エクスペリエンスに使用されている既存の国際電気通信連合（ITU）のアプローチを拡張したもので、ライブ再生のオフセット、画質、ビデオの読み込み時間、失速率などの技術的パラメータと、実際の視聴者が報告するライブ・ビデオ・エクスペリエンスの認知度との関係を導き出した詳細な研究に基づいています。

Opensignalのゲーム・エクスペリエンスでは、オペレーターのネットワーク上でどのようにモバイル・ユーザーがリアルタイム・マルチプレイヤー・モバイル・ゲームを体感しているかを測定します。0～100ポイントで測定されたユーザーのマルチプレイヤー・モバイル・ゲーム・エクスペリエンスが、遅延、パケット損失、ジッターなどのモバイル・ネットワーク条件によってどのような影響を受けるかを分析します。

ゲーム・エクスペリエンスは、世界中にあるサーバーにモバイル・デバイスを接続した状態で、リアルタイム・マルチプレイヤー・モバイル・ゲームをプレイの際の体感を数値化しています。このアプローチは、数年に渡る技術ネットワーク・パラメーターと実際のモバイル・ユーザーから報告を受けたゲーム・エクスペリエンスの関係性を数値化した結果に基づいています。このパラメーターには待ち時間（往復時間）、ジッター（待ち時間の変動性）、パケット損失（宛先に到達しないデータパケットの割合）が含まれています。

Opensignalの音声アプリ・エクスペリエンスは、オーバー・ザ・トップ（OTT）音声サービスの体感品質を測定するものであり、国際電気通信連合（ITU）から発生したモデルを使用するWhatsApp、Skype、Facebookメッセンジャー等のモバイル・デバイス・アプリを元にして、全体的な音声通話品質と一連の校正された技術的パラメーターを測定します。

Opensignalのグループ・ビデオ通話エクスペリエンスは、通話中の全ユーザーが少なくとも十分またはそれ以上のビデオ通話エクスペリエンスを得た割合を測定します。

簡単に言えば、グループ・ビデオ通話エクスペリエンスは、グループ・ビデオ通話に参加したすべてのユーザー（少数のユーザーだけではありません）が、十分な（またはそれ以上の）ビデオ品質と音声品質の両方を備えていたかどうかを測定します。そのため、1人または複数のユーザーの体感が低いと、電話会議に参加しているすべてのユーザーに影響が及ぶことを考慮し、グループ・ビデオ通話ですべてのユーザーに一貫した体感を提供することが重要です。

Opensignalの利用率は、ネットワークの地理的範囲を測定するものではありません。これらのメトリックでは、都会から離れた地方やほぼ無人の地域を訪れる場合、信号を受信できるかどうかわからないからです。その代わり、従来のカバレッジ・エクスペリエンスにおいては見過ごされていたような、人々が頻繁にいる場所におけるネットワークに接続している時間の割合を測定できます。ユーザーが「どこ」ではなく「いつ」接続しているのかを見る事ができるので、実際のユーザー・エクスペリエンスをより正確に反映させることができます。

またモバイル・ユーザーが最も不満を抱える状況についても確認する事ができます：それは、接続できる信号が全くない時です。最も一般的なデッド・ゾーンとしては、ユーザーは屋内での接続に一番苦労していると分かります。利用率データのほとんどは屋内で収集されるため（ユーザーが最も長い時間を過ご為している）、信号ゼロのエリアを検出することに特に気をつけています。

Opensignalの到達率は、モバイル・ユーザーがオペレーターのネットワークの地理的範囲をどのように体感しているかを測定します。ユーザーが訪れたすべての場所のうち、ネットワークに接続された場所の平均的な割合を分析しています。

簡単に言えば、到達率は、日常的なユーザーにとって最も重要なすべての場所、つまり、彼らが生活し、働き、移動するすべての場所でのモバイル・エクスペリエンスを測定します。各オペレーターの到達率は、0から10までの尺度で測定されています。

到達率は、利用率が提供するユーザー中心の時間ベースのメトリックを補完するために、ユーザー中心の地理ベースのメトリックを提供します。

Opensignalのカバレッジ・エクスペリエンスは、人々が生活し、働き、移動するすべての場所におけるモバイル・ネットワークの範囲を測定します。このメトリックは、電波が届くと合理的に予想される地域をユーザーが移動する際の体感を表しています。

従来の対象範囲のメトリックは通常、対象となる土地面積の割合、または対象となる人口の割合のいずれかを推定します。多くの場合、どちらもユーザーの真の期待や体感を正確に測定することはできません。多くの市場では、人口密度も地理的な面積も、ユーザーにとってのカバレッジの重要性を反映していない地域があります。例えば、大きな山脈では、ほとんどのユーザーは荒野でのカバレッジを期待しませんが、スキーリゾートの比較的狭いエリアでのカバレッジの悪さは、休暇を楽しむためには致命的です。純粋に人口に基づく推計では、人口密度の高い地域のカバー率が過度に重視されます。

Opensignalの一貫性した品質とは、一般的なモバイル・アプリケーションの要件をサポートするのに十分なネットワークであるかどうかを測定するもので、ユーザーが自分のデバイスでさまざまな典型的なタスクを維持（または完了）するのに「十分」なレベルであることを意味しています。

ダウンロード・スピード、アップロード・スピード、遅延、ジッター、パケット廃棄、最初のバイトまでの読み込み時間など、さまざまなメトリックを組み合わせて、一貫した品質を算出します。これらのコンポーネントは、さまざまな一般的なタスクに使用される、より要求の厳しい一般的なアプリケーションが推奨する閾値に対して評価されます。

Opensignal の信頼性エクスペリエンスは、Opensignal ユーザーが通信サービスプロバイダー（ CSP ）のネットワークに接続し、タスクを正常に完了する能力を測定します。これは、無線アクセスとコア・ネットワークによって Opensignal ユーザーのエクスペリエンスがどの程度影響を受けるか、また、CSP のネットワークに接続していてもインターネットに接続できない問題を分析します。また、SD ビデオ、オーバー・ザ・トップの音声通話、Web ブラウジングなど、パフォーマンスの低いアプリケーションを正常に使用できるユーザーの能力も考慮に入れます。

これは、CSP のネットワークを介して直接実行される標準的な音声通話、つまりスマートフォンの内蔵通話機能を介して実行される標準的な音声通話はテストしません。

信頼性エクスペリエンスは、全世代のモバイル・テクノロジーにわたって 100〜1000 の尺度で計算されスコアが高いほど優れています。信頼性エクスペリエンスは、次のコンポーネントで構成されています。

弊社の測定は、典型的な実際のユーザー・エクスペリエンスを可能な限り正確に捉えるように設計されており、幅広いユーザーとデバイスを代表する実際のユーザーのトラフィックに影響を与えるすべての要因の影響を受けます。

弊社の科学的分析では、これらの測定値を処理して、ユーザー・エクスペリエンスと、それがオペレーター、地域、国によってどのように異なるかを、実際のユーザーからの測定値のみに基づいて可能な限り正確に把握します。