Methodik-Übersicht

Das Ziel von Opensignal liegt darin, so genau wie möglich über die tatsächlichen mobilen Erlebnisse zu berichten, die von den Nutzer*innen der Mobilfunknetze aufgezeichnet wurden.

Wir glauben fest daran:

• Am wichtigsten bei der Beurteilung der Netzleistung ist, wie sie von den jeweiligen Kund*innen selbst wahrgenommen wird. Dies versteht man am besten, indem man das tatsächliche Erlebnis der Nutzer*innen erfasst, wenn sie an den Orten, an denen sie leben, arbeiten oder reisen mit dem Netzwerk interagieren.
• Indem diese Informationen transparent verfügbar gemacht werden, sprechen wir das wichtige Bedürfnis der Verbraucher*innen an, den relevantesten Aspekt der Netzwerkleistung in Bezug auf sie zu verstehen, vor allem wie sich dies auf das Erlebnis der Nutzer*innen auswirkt.

Obwohl Betreiber die Leistung seit dem Bau der ersten Netzwerke überwachen, bleibt eine Diskrepanz zwischen ihren technischen Tests und den tatsächlichen Erfahrungen der täglichen Nutzer*innen.

Die öffentlichen Berichte von Opensignal enthalten die Sätze an Metriken, von denen wir glauben, dass diese das Erlebnis der Nutzer*innen im Hinblick auf den Zugriff auf tatsächliche Leistungen am besten darstellen. Wir investieren ständig in Forschung und Entwicklung, um neue Maßnahmen zu finden. Zum Beispiel starteten wir 2018 die erste unabhängige Messung von tatsächlichen mobilen Video-Erlebnissen, die sich über mehrere Videoplattformen erstreckte.

Unser Vorgang beginnt mit der Erfassung von Milliarden von Messungen täglich von über 100 Millionen Geräten weltweit.

Unsere Software wird innerhalb unserer eigenen und unserer Partner-Apps installiert. Die Partner, mit denen wir arbeiten, werden strategisch ausgesucht, um eine große Bandbreite von Nutzer*innen, Demographien und Geräten abzudecken.

Einige Geschwindigkeitstests, die von anderen Quellen veröffentlicht werden, verwenden Daten nur von den eigenen Apps, welche die Stichprobe auf einen bestimmten Nutzer*innentyp einschränkt und einige beschränken die Datenerfassung allein auf die neuesten Geräte, was ebenfalls die Nutzer*innenbasis begrenzt.

• Opensignal sammelt jeden Tag Milliarden von individuellen Messungen von mehr als 100 Millionen Geräten weltweit, unter den Bedingungen des normalen Gebrauchs, einschließlich Messungen in Innenräumen und im Freien. Da die Nutzer*innen ihre Zeit meistens in Innenräumen verbringen, erfolgen die meisten unserer Messungen entsprechend aus Innenräumen.
• Um unsere Videometrik zu berechnen, verwenden wir Anbieter von Videoinhalten, die so ausgewählt werden, dass sie typische Nutzer*innenerfahrungen repräsentieren. Unsere Messungen sind so konzipiert, dass Betreiber ihre Netzwerke nicht optimieren können, um unseren Traffic anders zu behandeln und damit die Ergebnisse zu beeinflussen, ohne ihre Netze tatsächlich zu verbessern.
• Opensignal erfasst Messungen der Netzgeschwindigkeit, basierend auf benutzer*inneninitiierten und automatisierten Tests. Die Mehrheit der Messungen wird durch automatische Tests generiert (keine Nutzer*inneninteraktion), die unabhängig und in zufälligen Abständen ausgeführt werden, um zu erfassen, was Nutzer*innen zu einem typischen Zeitpunkt erleben. Dieser Ansatz wird von einer Reihe von offiziellen Stellen als beste Praxis anerkannt, einschließlich der FCC in den USA.

Wenn eine Anwendung Daten herunterlädt, gibt es eine anfängliche Hochlaufphase beim Herstellen der Verbindung, in der die Download-Geschwindigkeit nicht der stabilen Geschwindigkeit entspricht, die erreicht wird, sobald der Download läuft.

Bei den heutigen Netzen kommt es aus Sicht der Nutzer*innen bei geschwindigkeitsabhängigen Anwendungen wie dem Streaming von Videos oder dem Herunterladen großer Dateien vor allem auf eine stabile Geschwindigkeit an (manchmal als "Goodput" bezeichnet), nicht auf die Geschwindigkeit während der Hochlaufzeit. Hingegen werden Anwendungen wie das Surfen im Internet stark von der Anlaufzeit und der Latenzzeit beeinflusst.

Messung des Geschwindigkeitserlebnisses:

Da die Metrik des Opensignal Download-Geschwindigkeitserlebnisses auf die Messung des Benutzer*innenerlebnisses von Anwendungen wie Streaming und das Herunterladen großer Dateien ausgerichtet ist, die in erster Linie von der stabilen Geschwindigkeit beeinflusst werden, nutzen wir einen Test mit fester Zeit und nicht einen einfachen Download mit fester Dateigröße.

Die Messung des Opensignal-Video-Erlebnisses streamt Beispielvideos von typischen Content-Plattformen und misst eine Reihe von Parametern, die sich direkt auf das Nutzer*innenerlebnis auswirken, wie zum Beispiel die Ladezeit (die Zeit, die benötigt wird,

Opensignal verwendet ein strenges Nachverarbeitungssystem, das die Rohmessdaten verwendet und robuste sowie repräsentative Metriken berechnet. Dies umfasst eine Reihe von Schritten zur Qualitätssicherung der Messungen.

Wenn ein*e Nutzer*in beispielsweise keine Inhalte heruntergeladen hat, wird diese Messung entfernt und als "fehlgeschlagener Test" gewertet, anstatt sie in die Berechnung der Durchschnittsgeschwindigkeit einzubeziehen.

Werte pro Gerät:

Die Werte pro Gerät werden unter Verwendung eines einfachen Durchschnitts kombiniert, um die Opensignal-Metriken zu erhalten, die in unseren Berichten und Analysen zu finden sind. 

Konfidenzintervalle:

Wir bieten eine obere und untere Schätzung des Konfidenzintervalls je Betreiber, die mit anerkannten Standardverfahren auf der Basis des Stichprobenumfangs der Messungen berechnet werden. Konfidenzintervalle bieten Informationen über die Fehlermargen oder die Genauigkeit der metrischen Berechnungen. Sie stellen den Bereich dar, in dem der wahre Wert mit hoher Wahrscheinlichkeit unter Berücksichtigung des gesamten Bereichs der Datenmessungen liegt.

Statistisch signifikante Ergebnisse:

Wann immer sich Konfidenzintervalle von zwei oder mehr Betreibern bei einer spezifischen Metrik überschneiden, ist das Ergebnis ein statistisches Unentschieden. Der Grund ist, dass sich eine scheinbare Führung eines Betreibers bei Berücksichtigung der Messunsicherheit möglicherweise nicht bestätigt. Aus diesem Grund können Auszeichnungen in unseren Berichten mehrere Gewinner haben.

Die verschiedenen Parameter, die von der Video-Erlebnis-Metrik gemessen werden, werden mit einem Algorithmus kombiniert, der auf ITU-Empfehlungen basiert, um einen Mean Opinion Score (MOS, "mittlerer Meinungswert") zu berechnen, der dann auf eine Skala von 0 - 100 übertragen wird.

Die Gaming-Erlebnis-Metrik von Opensignal misst, wie mobile Nutzer*innen das mobile Multiplayer-Glücksspiel in Echtzeit im Netz eines Betreibers erleben. Auf einer Skala von 0 bis 100 wird analysiert, wie das mobile Multiplayer-Spielerlebnis durch die Bedingungen des Mobilfunknetzes einschließlich Latenz, Paketverlust und Jitter beeinflusst wird, um die Auswirkungen auf das Spiel und das gesamte Multiplayer-Spielerlebnis zu bestimmen.

Das Spracherlebnis in der App von Opensignal misst die Qualität des Erlebnisses für die Over-the-Top (OTT) Sprachservices, — mobile Sprach-Apps wie WhatsApp, Skype und Facebook Messenger, etc. — unter Verwendung eines Modells, das von dem International Telecommunication Union (ITU)-basierten Ansatz für die Quantifizierung der gesamten Sprachanruf-Qualität und einer Reihe von kalibrierten technischen Parametern abgeleitet ist.

Opensignals Metrik „Erlebnis bei Gruppen-Videoanrufen“ misst den Anteil der Videoanrufe, bei denen alle Nutzer*innen mindestens ein adäquates oder besseres Videokonferenz-Erlebnis hatten.

Einfach ausgedrückt misst das Erlebnis bei Gruppen-Videoanrufen, ob alle Nutzer*innen bei einem Gruppen-Videoanruf – nicht nur eine kleine Anzahl von Nutzern – eine ausreichende (oder bessere) Video- und Audioqualität hatten. Es wird daher berücksichtigt, dass ein schlechtes Erlebnis für einen oder mehrere Nutzer*innen bei einer Videokonferenz alle Nutzer*innen beeinflusst, so dass ein einheitliches Erlebnis für alle Teilnehmer wichtig ist.

Die Verfügbarkeitsmetriken von Opensignal sind kein Maß für die geografische Ausdehnung eines Netzwerks. Sie werden Ihnen nicht sagen, ob Sie wahrscheinlich ein Signal erhalten, wenn Sie planen, eine abgelegene ländliche oder fast unbewohnte Region zu besuchen. Stattdessen messen sie, wie viel Zeit Menschen an den Orten, die sie am häufigsten aufsuchen, über eine Netzwerkverbindung verfügen – etwas, das von herkömmlichen Metriken zur Netzabdeckung oft übersehen wird. Wenn wir uns ansehen, wann Nutzer*innen eine Verbindung haben und nicht wo, können wir das wahre Nutzer*innenerlebnis genauer wiedergeben.

Wir untersuchen auch die Fälle, die mobile Nutzer*innen am meisten frustrieren: wenn es überhaupt kein Signal gibt, mit dem sie sich verbinden können. Die häufigsten Funklöcher, mit denen Nutzer*innen zu kämpfen haben, treten in Innenräumen auf. Da die meisten unserer Verfügbarkeitsdaten in Innenräumen gesammelt werden (da die Nutzer*innen dort die meiste Zeit verbringen) erkennen wir Bereiche ohne Signal besonders gut.

Reichweite misst wie Nutzer*innen die geografische Reichweite des Netzes eines Betreibers erleben. Sie analysiert den durchschnittlichen Anteil der Standorte, an denen die Nutzer*innen mit einem Netz verbunden sind im Vergleich zu allen anderen Orten, die die Nutzer*innen besucht haben. Kurz gesagt, die Reichweite misst das Erlebnis des Mobilerlebnisses an allen Standorten, die für die ständigen Nutzer*innen wichtig sind — , zum Beispiel alle Wohn-, Arbeits- und Reiseorte. Die Reichweite jedes einzelnen Betreibers wird für jeden Betreiber auf einer Skala von 0 bis 10 berechnet.

Auf Grundlage von Messungen, die von den Nutzer*innen geteilt werden, analysiert das 4G Abdeckungserlebnis sowohl das Ausmaß der abgedeckten Standorte als auch die relative Bedeutung dieser Standorte gemäß der Bevölkerung, die Zeit dort verbringt.

Die gleichbleibende Qualität misst, wie oft die Nutzer*innenerfahrung in einem Netzwerk ausreichte, um die Anforderungen gängiger Anwendungen zu unterstützen. Sie misst Download-Geschwindigkeit, Upload-Geschwindigkeit, Latenz, Jitter, Paketverlust, Zeit bis zum ersten Byte und den Prozentsatz der versuchten Tests, die aufgrund eines Verbindungsproblems entweder bei der Download- oder der Server-Antwortkomponente nicht erfolgreich waren.

Die Metriken für gleichbleibende Qualität – exzellente gleichbleibende Qualität und gleichbleibende Kernqualität – werden anhand von Daten unseres Schwesterunternehmens Tutela berechnet und verwenden dessen Methodik, deren vollständige Details hier zu finden sind.

Unsere Messungen sind so angelegt, dass sie die Erfahrungen typischer Nutzer*innen so genau wie möglich wiedergeben und unterliegen allen Faktoren, die den echten Nutzer*innenverkehr beeinflussen und eine breite Basis von Nutzer*innen und Geräten widerspiegeln.

Unsere wissenschaftlichen Analyseverfahren verarbeiten diese Messungen, um ein möglichst präzises Bild des Nutzer*innenerlebnisses und der Unterschiede zwischen den Betreibern, Regionen und Ländern zu zeichnen, das so genau wie möglich auf Messungen von echten Nutzer*innen beruht.