なぜ信頼区間がモバイル・ネットワーク・エクスペリエンスの分析に不可欠か

科学実験の世界には、精密測定というものはありません。むしろ、標準的な科学的アプローチでは信頼度を扱います。信頼度が高いものを高い精度で言明できるわけですが、いくら精密に測定しても絶対数で表せるところまで達することは決してありません。科学者はこの精度を「信頼区間」と呼ばれるもので表現します。世界中のあらゆる業界や領域で採用されている規格です。日常生活で信頼区間の最も良く知られている例が、よく世論調査で開示される 誤差の範囲 です。

それでは、信頼区間とは何でしょうか？これは、データ測定値のプールを考慮して、真の値が入っている可能性が高い範囲を表します。信頼区間は特定の範囲に確定されず、複数の要素よりデータ・セット毎に決定されます。最も顕著な要素が測定値の数とばらつきです。つまり特定のメトリックに関してデータ測定値が多ければ多いほど、信頼区間が平均値に近くなります。同様に、測定値のばらつきがあまりないと、信頼区間は狭くなります。したがって、信頼区間は狭ければ狭いほど良いのです。比較可能な2つの値が重複する場合は、この2つの値の間で有意な差がないことを意味し、この結果を弊社レポートでは「joint winner（共同受賞者）」と表現しています。

測定値の不確定度、例えば信頼区間を無視してしまうと、偽の、誤解を招く結論を導き出してしまう可能性があります。Opensignalではオペレーターを公平に扱うことを信条としているため、結果に統計的有意差がなかった場合は不正確に単一の受賞者に軍配を上げるのではなく、「共同受賞者」として公表しています。弊社では信頼区間の計算に標準的な統計的アプローチを使用し、弊社データに基づいた堅牢で透過的な情報を報告するとの弊社の言質の一環として取り込んでいます。

Opensignalの分析では、信頼区間を対戦組み合わせグラフ上の各グラフ項目の端に「H」を引き延ばして表示しています。一例が2021年6月のモバイル・ネットワーク・エクスペリエンス : SINGAPOREレポートにあり、SingtelとStarHubが ゲーム・エクスペリエンス・アワードでし烈な競争の結果首位を分けました。

また、信頼区間はサブ・メトリックにも入っており、ここでは±値で表現しています。具体的な例として2021年8月のモバイル・ネットワーク・エクスペリエンス : CANADAレポートで確認できます。

特定のメトリックで2社以上のオペレーターの信頼区間が重複する場合は必ず、結果として統計的には首位に並びます。これは、測定値の不確かさを考慮に入れると、一社のオペレーターが明らかにリードしているとは言えなくなるからです。一社のオペレーターがもう一社より優位にあるように見える場合でも、専門用語では、この差について「統計的有意差」が認められないと言います。弊社では、このデータの透明性が、最も客観的で信頼できるモバイル・エクスペリエンスのゴールド・スタンダードなるという弊社のミッションに不可欠だと確信しています。

弊社のメトリックに関して追加のご質問がありましたら、 弊社の方法論に関するブログ投稿をご覧ください。また、 信頼区間について説明しているショートビデオもご視聴ください。