Methodology Overview - ES

El objetivo de Opensignal es informar con la mayor precisión posible la experiencia móvil real registrada por los usuarios de redes móviles.

Creemos firmemente que:

• Lo que más importa a la hora de evaluar la experiencia de la red es cómo lo experimentan los propios suscriptores. La mejor forma de entenderlo es captando la experiencia real de los usuarios cuando interactúan con la red en los lugares donde viven, trabajan y viajan.
• Al hacer que esta información esté disponible de forma clara, abordamos la importante necesidad de que los consumidores comprendan el aspecto más relevante de la experiencia de la red en relación con ellos, es decir, cómo se traduce en su experiencia de usuario.

Aunque los operadores han estado monitoreando el desempeño desde que se construyeron las primeras redes, sigue habiendo una desconexión entre sus pruebas de ingeniería y la experiencia típica de los usuarios cotidianos.

Nuestro proceso comienza con la recopilación diaria de miles de millones de mediciones de más de 100 millones de dispositivos en todo el mundo.

Se instala nuestro software en aplicaciones propias y de socios. Los socios con los que trabajamos se seleccionan estratégicamente para cubrir una amplia gama de usuarios, datos demográficos y dispositivos.

Algunas pruebas de velocidad publicadas por otras fuentes utilizan datos solo de sus propias aplicaciones, lo que restringe la muestra a un determinado tipo de usuario, y otras restringen la recopilación de datos solo a los dispositivos más recientes, lo que también limita la base de usuarios.

• Cada día, Opensignal recopila miles de millones de mediciones individuales de teléfonos inteligentes de todo el mundo, en condiciones de uso normal, incluidas mediciones en interiores y exteriores. Como los usuarios pasan la mayor parte del tiempo en interiores, la mayoría de las mediciones se realizarán en lugares cerrados.
• Para calcular nuestra métrica de vídeo, utilizamos proveedores de contenidos de vídeo seleccionados para representar la experiencia típica de los usuarios. Nuestras mediciones están diseñadas para que los operadores no puedan optimizar sus redes para tratar nuestro tráfico de forma diferente y, por tanto, influir en los resultados sin introducir mejoras reales en sus redes.
• Opensignal recopila mediciones de la velocidad de la red que se basan tanto en pruebas iniciadas por el usuario como en pruebas automatizadas. La mayoría de las mediciones se generan mediante pruebas automatizadas (sin interacción del usuario), ejecutadas de forma independiente y a intervalos aleatorios para captar lo que experimentan los usuarios en un momento típico. Este enfoque está reconocido como la mejor práctica por varios organismos oficiales, entre ellos la FCC en EE. UU.

Cuando cualquier aplicación descarga datos, hay un periodo inicial de incremento de la actividad (ramp-up) mientras se establece la conexión en el que la velocidad de descarga no será la misma que la velocidad estable alcanzada una vez que la descarga está en curso.

En las redes actuales, desde el punto de vista de la experiencia del usuario, las aplicaciones sensibles a la velocidad, como en la transmisión de vídeo en directo o la descarga de archivos pesados, se ven influidas principalmente por la velocidad estable (a veces llamada "goodput"), no por la velocidad durante el tiempo de incremento de la actividad. Por el contrario, las aplicaciones como la navegación web se ven muy influidas por el tiempo de incremento de la actividad y por el tiempo de respuesta (latencia).

Medición de la experiencia de velocidad: Como la métrica de la experiencia de velocidad de descarga de Opensignal se centra en medir la experiencia de usuario de estas aplicaciones, como la transmisión en directo y las descargas de archivos grandes, en las que influye principalmente la velocidad estable, utilizamos una prueba de tiempo fijo, en lugar de una simple descarga de tamaño de archivo fijo. Un periodo de tiempo fijo permite que la velocidad medida sea una representación mucho más cercana de la velocidad estable que el usuario experimenta a través de la aplicación.

La medición de la experiencia de vídeo de Opensignal transmite directamente muestras de vídeo de proveedores de contenidos típicos y mide una serie de parámetros que repercuten directamente en la experiencia del usuario, como el tiempo de carga (el tiempo que tarda en iniciarse el vídeo)

Opensignal utiliza un sistema de posprocesamiento riguroso que toma las mediciones en bruto y calcula métricas robustas y representativas. Esto incluye una serie de pasos para garantizar la calidad de las mediciones.

Por ejemplo, si un usuario no consigue descargar ningún contenido, esta medición se elimina y se trata como una "prueba fallida" en lugar de incluirse en el cálculo de la velocidad media.

Valores por dispositivo:Los valores por dispositivo se combinan utilizando un promedio simple para obtener las métricas de Opensignal que se encuentran en nuestros informes y análisis. Para cada uno de nuestros informes, mostramos detalles de la base de usuarios activos de la que hemos tomado muestras para calcular los resultados. El tamaño de la muestra será diferente para cada operador móvil, ya que los usuarios solo pueden medir la experiencia de sus propios proveedores de red.

Intervalos de confianza:Proporcionamos una estimación superior e inferior del intervalo de confianza por operador, que se calcula mediante técnicas estándares reconocidas según el tamaño de la muestra de mediciones. Los intervalos de confianza proporcionan información sobre los márgenes de error o la precisión en los cálculos métricos. Representan el intervalo en el que es muy probable que se encuentre el valor verdadero, teniendo en cuenta toda la gama de mediciones de datos.

Resultados estadísticamente significativos:Siempre que los intervalos de confianza de dos o más operadores se superponen en una métrica concreta, el resultado es un empate estadístico. Esto se debe a que se puede comprobar que la ventaja aparente de un operador puede no ser cierta una vez que se tiene en cuenta la incertidumbre de la medición. Por esta razón, los premios pueden tener varios ganadores en nuestros informes.

La experiencia de vídeo de Opensignal cuantifica la calidad del vídeo transmitido a dispositivos móviles mediante la medición de flujos de vídeo reales a través de las redes de un operador. La métrica se basa en un enfoque de la Unión Internacional de Telecomunicaciones (UIT), elaborado a partir de estudios detallados que han derivado una relación entre parámetros técnicos, como la calidad de imagen, el tiempo de carga de vídeo y la tasa de interrupción, con la experiencia de vídeo percibida según la información facilitada por personas reales.

La experiencia de vídeo en directo de Opensignal cuantifica la calidad del vídeo en tiempo real transmitido a dispositivos móviles midiendo las transmisiones de vídeo a través de la red de un operador. La métrica amplía el enfoque existente de la Unión Internacional de Telecomunicaciones (UIT) utilizado para la métrica de experiencia de vídeo a demanda de Opensignal, basado en estudios detallados que han derivado una relación entre parámetros técnicos, incluido el desfase de reproducción en directo, la calidad de la imagen, el tiempo de carga de vídeo y la tasa de interrupción, con la experiencia de vídeo en directo percibida según lo informado por personas reales.

La experiencia de juegos móviles de Opensignal mide cómo los usuarios de dispositivos móviles experimentan los juegos móviles multijugador en tiempo real en la red de un operador. Medido en una escala de 0 a 100, analiza cómo la experiencia de juegos móviles multijugadores de nuestros usuarios se ve afectada por las condiciones de la red móvil, incluidas la latencia, la pérdida de paquetes y las fluctuaciones del tiempo de respuesta (jitter).

La experiencia de juegos móviles cuantifica la experiencia al jugar a juegos multijugador en tiempo real en dispositivos móviles conectados a servidores situados en todo el mundo. El enfoque se basa en varios años de investigación que cuantifican la relación entre los parámetros técnicos de la red y la experiencia de juego según los usuarios de dispositivos móviles reales. Estos parámetros incluyen la latencia (tiempo de ida y vuelta), la fluctuación (variabilidad de la latencia) y la pérdida de paquetes (la proporción de paquetes de datos que nunca llegan a su destino).

La experiencia de aplicaciones de voz de Opensignal mide la calidad de la experiencia de los servicios de voz over-the-top (OTT), aplicaciones móviles de voz como WhatsApp, Skype y Facebook Messenger, utilizando un modelo derivado del enfoque de la Unión Internacional de Telecomunicaciones (UIT) para cuantificar la calidad global de las llamadas de voz y una serie de parámetros técnicos calibrados.

La experiencia de videollamadas grupales mide la proporción de videollamadas en las que todos los usuarios de una llamada tuvieron al menos una experiencia de videoconferencia buena o mejor.

En términos sencillos, la experiencia de videollamadas grupales mide si todos los usuarios de una videollamada grupal (y no solo un pequeño número de usuarios), tuvieron una calidad de vídeo y audio buena (o mejor). Por lo tanto, tiene en cuenta que una mala experiencia para uno o más usuarios tendrá un impacto en todos los usuarios en una conferencia telefónica, por lo que tener una experiencia consistente entre todos los usuarios en una videollamada grupal es importante.

Las métricas de disponibilidad de Opensignal no miden la extensión geográfica de una red. No le dirán si es probable que reciba señal si piensa visitar una región rural remota o casi deshabitada. En cambio, miden la proporción de tiempo que las personas disponen de conexión a la red en los lugares que más frecuentan, algo que a menudo pasan por alto las métricas de cobertura tradicionales. Observar cuándo los usuarios tienen una conexión, en lugar de dónde, nos permite observar con más precisión la verdadera experiencia del usuario.

También medimos los casos que más frustran a los usuarios de móviles: cuando no hay señal para conectarse. Las zonas muertas más comunes con las que luchan los usuarios ocurren en el interior. Como la mayoría de nuestros datos de disponibilidad se recopilan en interiores (ya que es donde los usuarios pasan la mayor parte del tiempo), somos especialmente astutos a la hora de detectar zonas sin señal.

Las métricas de alcance de Opensignal miden cómo los usuarios de dispositivos móviles experimentan la extensión geográfica de la red de un operador. Analizan la proporción media de lugares en los que los usuarios estuvieron conectados a una red de entre todos los lugares que esos usuarios han visitado.

En términos sencillos, las métricas de alcance miden la experiencia móvil en todas las ubicaciones que más importan a los usuarios cotidianos, es decir, todos los lugares donde viven, trabajan y viajan. Nuestras métricas de alcance para cada operador se miden en una escala de 0 a 10.

Las métricas de alcance de Opensignal proporcionan una medida centrada en el usuario y basada en la geografía para complementar la medida centrada en el usuario y basada en el tiempo que proporcionan las métricas de disponibilidad.

La métrica de experiencia de cobertura de Opensignal mide el alcance de las redes móviles en los lugares donde las personas viven, trabajan y se desplazan. La métrica representa la experiencia que reciben los usuarios mientras se desplazan por áreas donde razonablemente esperarían tener cobertura.

Las métricas de cobertura tradicionales suelen estimar un porcentaje de la superficie terrestre cubierta o un porcentaje de la población cubierta; con frecuencia, ninguno de los dos será una medida precisa de la verdadera expectativa y experiencia del usuario. En muchos mercados hay áreas donde ni la densidad de población ni el área geográfica reflejan la importancia de la cobertura para los usuarios.

La calidad constante mide si la red es capaz de cumplir los requisitos comunes de las aplicaciones móviles a un nivel "suficientemente bueno" para que los usuarios mantengan (o realicen) varias tareas típicas en sus dispositivos.

Combinamos diferentes indicadores de experiencia, como la velocidad de descarga, la velocidad de carga, el tiempo de respuesta, la fluctuación del tiempo de respuesta, el descarte de paquetes y el tiempo hasta el primer byte para calcular la calidad constante. Para evaluar estos componentes se los compara con los umbrales recomendados por diversas aplicaciones comunes más exigentes utilizadas para una serie de tareas habituales.

La Experiencia de Confiabilidad de Opensignal mide la capacidad de los usuarios de Opensignal para conectarse y completar con éxito tareas (básicas) en las redes de proveedores de servicios de comunicación (CSP). Analiza en qué medida la experiencia de los usuarios de Opensignal se ve afectada por el acceso a radio y a la red núcleo, junto con los problemas que les impiden conectarse a Internet incluso si tienen una conexión a la red de su CSP. También influye en la capacidad de los usuarios para utilizar con éxito aplicaciones de menor rendimiento, incluidos vídeo SD, llamadas de voz over-the-top y navegación web.

No prueba las llamadas de voz estándar realizadas directamente a través de las redes de los CSP, es decir, aquellas que se realizan a través de la función de llamada integrada en los teléfonos inteligentes.

Calculada en una escala de 100 a 1000 (donde las puntuaciones más altas son mejores) en todas las generaciones de tecnología móvil, Confiabilidad consta de los siguientes componentes:

Nuestras mediciones están diseñadas para captar con la mayor precisión posible la experiencia de los usuarios reales típicos y están sujetas a todos los factores que afectan al tráfico de usuarios reales, lo que representa una amplia base de usuarios y dispositivos.

Nuestro análisis científico procesa estas mediciones para crear una imagen lo más precisa posible de la experiencia del usuario y de cómo varía entre operadores, regiones y países, en la medida de lo posible basándose solo en mediciones de usuarios reales.