CR Enquete QoS 2g 3g Nov2012

Novembre 2012
La qualit des services de voix et de donnes des oprateurs mobiles (2G et 3G) en France mtropolitaine
Compte rendu de lenqute pour lanne 2012
ISSN : 2258-3106
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles
La qualit des services de voix et de donnes des oprateurs mobiles en France mtropolitaine
Sommaire
Synthse
page 3
I. Qualit du service de voix des oprateurs de rseaux mobiles
page 10
II. Qualit des services de donnes des oprateurs de rseaux mobiles
page 38
2/100
Synthse
Lenqute de qualit de service mene annuellement par lARCEP a pour objectif dune part, dapprcier, sur une base comparative, la qualit des services mobiles offerts aux abonns par les oprateurs de rseaux mobiles et, dautre part, de vrifier que les obligations rglementaires en matire de qualit de service sont bien respectes1. Conformment aux autorisations des oprateurs mobiles, les oprateurs contribuent financirement sa ralisation. LARCEP rdige, cette fin, en concertation avec les oprateurs, un cahier des charges dtaillant la mthodologie suivre pour la ralisation de lenqute et la publication de ses rsultats. La qualit de service est teste pour les quatre oprateurs Bouygues Telecom, Free Mobile, Orange France et SFR. Les mesures de qualit de service sattachent reflter de manire statistique la qualit que les utilisateurs peuvent constater dans leur propre exprience des usages chez leurs oprateurs. La qualit de service correspond ainsi pour chacun des oprateurs aux performances des services quils offrent leurs clients, indpendamment des rseaux supports utiliss par loprateur pour produire ses services (rseau 2G de loprateur, rseau 3G de loprateur, recours litinrance sur le rseau dun oprateur tiers) 2 . En particulier, il peut tre not, concernant Free mobile, que celui-ci produisant les services quil offre ses clients en ayant ce jour largement recours une prestation ditinrance achete sur le rseau dOrange France, la qualit de service offerte par Free mobile ses clients rsulte des performances la fois de son rseau propre et du dispositif mis en uvre pour laccs en itinrance.
Depuis 2007, cette enqute se divise en une enqute dvaluation de la qualit du service de voix et une enqute dvaluation de la qualit des services de donnes. En 2012, lenqute relative au service de voix a t conduite par la socit LCC et celle relative aux services de donnes a t conduite par la socit AFD. Elles se sont droules du 11 septembre au 9 novembre 2012 pour lenqute de qualit de service voix, et du 11 septembre au 31 octobre 2012 pour lenqute de qualit des services de donnes. Les deux enqutes menes en 2012 ont volu sur un certain nombre de points par rapport la prcdente enqute. Cette anne, lenqute inclut dans son primtre la prise en compte de loprateur Free Mobile, qui a ouvert commercialement son rseau le 12 janvier 2012.
Lenqute mene par lARCEP vise, au travers de mesures techniques ralises sur le terrain, reflter de manire statistique la qualit des services sur les rseaux des oprateurs. Elle ne vise pas recueillir, par exemple au travers dun sondage, la perception que pourraient avoir les abonns de la qualit de bout en bout de ces services, qui peut dpendre de leur usage du rseau, du terminal et des applications utilises. 2 Il est rappel que, pour fournir ses services mobiles ses clients, un oprateur met en gnral contribution plusieurs rseaux. La communication voix dun client peut par exemple tre achemine soit sur le rseau 2G, soit sur le rseau 3G, voire commencer sur le rseau 3G et se terminer sur le rseau 2G de loprateur, en fonction des conditions de couverture, de trafic et des choix techniques de loprateur. Lacheminement des communications entre ces diffrents rseaux seffectue sans intervention de lutilisateur.
3/100
Par ailleurs, pour la premire anne, lensemble des services de tlphonie vocale et de services de donnes ont t tests partir de smartphones. Des terminaux communs lensemble des oprateurs, refltant les meilleures ventes du march, ont t utiliss. Ainsi, pour lenqute de qualit de service de tlphonie vocale, le Samsung Galaxy SII a t slectionn et pour lenqute de qualit de services de donnes, conformment au cahier des charges, deux terminaux ont t slectionns : le Samsung Galaxy SII et liPhone 4. Un terminal commun aux quatre oprateurs, offrant des performances optimales, notamment en termes de dbit, a galement t utilis pour certains tests raliss dans le cadre de lenqute de qualit de services de donnes : liPad 3. Dautres volutions ont t apportes. Les rsultats des enqutes sont, en agglomrations, distingus en fonction des usages : piton lextrieur et lintrieur des btiments, en voiture uniquement pour la voix. Sagissant du primtre gographique des enqutes de qualit des services de donnes, celui-ci a t tendu, linstar de lenqute de qualit de service de tlphonie vocale, aux agglomrations comprises entre 10.000 et 50.000 habitants. Par ailleurs, des mesures ont t ralises titre exprimental dans des communes de moins de 10 000 habitants, la fois pour les services de voix et de donnes. Enfin, le service de diffusion de vido en flux ( video streaming ), qui reprsente un usage important et en forte croissance sur les rseaux mobiles, a t ajout ; a contrario, les mesures de service WAP ont t supprimes, ce service tant peu utilis.
1. Enqute relative la qualit du service de voix

1.1 Mthodologie 1.1.1 Dfinition dune mesure Une mesure consiste tenter dtablir une communication tlphonique, puis valuer la qualit auditive de la communication, pour chacun des oprateurs tests. Deux aspects sont mesurs lors de lenqute : la capacit de dmarrer une communication et de la maintenir 2 ou 5 minutes ; la qualit audio de la communication. 1.1.2 Zones gographiques et usages Les mesures sont effectues dans les agglomrations et sur les axes de circulation suivants : dans les 14 agglomrations de plus de 400.000 habitants ( TOP 14 )3 en usage piton lintrieur et lextrieur des btiments et en situation de passager bord dun vhicule en mouvement ;
3
Paris, Marseille-Aix-en-Provence, Lyon, Lille, Nice-Antibes-Cannes, Toulouse, Bordeaux, Nantes, Toulon, Douai-
4/100
dans 20 agglomrations entre 50 000 et 400 000 habitants en usage piton lintrieur et lextrieur des btiments et en situation de passager bord dun vhicule en mouvement ; dans 20 agglomrations entre 10 000 et 50 000 habitants en usage piton lintrieur et lextrieur des btiments et en situation de passager bord dun vhicule en mouvement ; dans les principales lignes TGV (en mouvement) ; sur les autoroutes fort trafic en situation de passager bord dun vhicule en mouvement ; dans les trains de banlieue et tramways (en mouvement) ; titre exprimental, dans 9 communes nappartenant pas des agglomrations de plus de 10.000 habitants. 1.1.3 Terminaux utiliss Les mesures ont t ralises partir dun terminal, commun aux quatre oprateurs, correspondant au modle le plus vendu parmi ceux ne prsentant pas dobstacle technique la mise en uvre de lensemble des mesures prvues par le cahier des charges de lenqute. Il sagit en loccurrence du Samsung Galaxy SII. 1.2 Les enseignements de lenqute de voix Les rsultats de lenqute 2012 restent levs pour la majorit des indicateurs, nanmoins une baisse relative par rapport aux rsultats de lenqute de 2011 est observe. Il ressort ainsi des tests que le taux de communications russies et maintenues 2 minutes et 5 minutes (tous usages confondus) reste lev, respectivement de 95,6% et 93,6%, mais est en baisse respectivement de 1,7% et de 2,8% par rapport lanne dernire. Les communications russies et maintenues sont presque toujours de qualit auditive parfaite. Ces taux sont lgrement suprieurs sagissant des seules agglomrations du TOP 14 : respectivement 96,3% et 93,6%. Des diffrences apparaissent selon les usages, mais elles restent de faible ampleur. Ainsi, les taux de communications russies et maintenues pendant 2 minutes dans les agglomrations de plus de 10.000 habitants sont de 96,4% lextrieur des btiments, 95,2% lintrieur des btiments, et 95,5% dans les vhicules automobiles. La qualit du service de tlphonie a galement t mesure, en mouvement, sur les principales lignes TGV, dans les trains de banlieue des 4 plus grandes villes et sur les autoroutes fort trafic. Dans le TGV, le taux de communications russies et maintenues pendant 2 minutes est de 57,3%, en forte baisse de 16,9% par rapport lenqute prcdente. Les rsultats font par ailleurs tat dcarts significatifs entre oprateurs, comme lan dernier. Sur les autoroutes, le taux de communications russies et maintenues pendant 2 minutes est de 90,8%, en baisse de 2,1% par rapport lenqute prcdente. Dans les trains de banlieues et les tramways, les taux de communications russies et maintenues pendant 2 minutes est de 71,6%, en forte baisse de 13,8% par rapport lenqute prcdente.
Lens, Strasbourg, Grenoble, Rouen et Avignon.
5/100
Enfin, sagissant des communes hors agglomrations de plus de 10.000 habitants, les mesures ralises titres exprimental font apparatre des performances plus faibles celles observes dans les agglomrations de plus de 10.000 habitants : le taux de communications russies et maintenues pendant 2 minutes est ainsi de 91,6% contre 95,6% dans les agglomrations de plus de 10.000 habitants.
2. Enqute relative la qualit des services de donnes

2.1 Mthodologie 2.1.1 Services audits Lenqute dvaluation de la qualit de service permet de vrifier : la qualit du service de messages courts (SMS) ; la qualit du service de transmission de photo par MMS ; la qualit du service de navigation web ; la qualit du service de diffusion en flux ; la qualit du service de transfert de fichiers ; 2.1.2 Rpartition gographique Les mesures sont effectues dans les agglomrations suivantes : dans les 14 agglomrations de plus de 400.000 habitants ( TOP 14 ), en situation statique, lextrieur et lintrieur des btiments ; dans 20 agglomrations entre 50 000 et 400 000 habitants, en situation statique, lextrieur et intrieur des btiments ; dans 20 agglomrations entre 10 000 et 50 000 habitants, en situation statique, lextrieur et intrieur des btiments ; titre exprimental, dans 9 communes nappartenant pas des agglomrations de plus de 10.000 habitants. 2.1.3 Terminaux utiliss et offres testes Les mesures sont ralises partir de deux smartphones correspondant aux deux modles, communs aux quatre oprateurs, les plus vendus, et utilisant des systmes dexploitation diffrents. Il sagit en loccurrence du Samsung Galaxy SII et liPhone 4S dApple.
Des mesures de transfert de fichiers sont galement ralises partir dun terminal offrant des performances techniques maximales (notamment en termes de dbits pics) : liPad 3. Loffre teste correspond, pour chaque oprateur, loffre grand public adapte pour raliser des mesures avec le terminal offrant des performances maximales.
6/100
2.2 Les enseignements de lenqute sur les services de donnes 2.2.1 Le service de transfert de fichiers (mesure du dbit) Les tests du service de transfert de fichiers montrent une augmentation significative des dbits par rapport lanne prcdente. Les rsultats prsentent des lments dapprciation des performances offertes par les oprateurs au moment de lenqute acheve mi-novembre 2012. Ils ne prjugent pas des volutions relatives aux dploiements par les oprateurs des diffrentes technologies employes et celles relatives la charge des rseaux des oprateurs. Il est important de prciser que le transit des fichiers transfrs se fait en partie via internet : ce transit peut parfois engendrer des difficults daccs au serveur et un allongement du dlai de rception des messages, indpendamment de la qualit de transmission propre au rseau mobile. Pour des usages en extrieur, ces tests ont montr que les dbits observs pour le tlchargement de fichiers atteignaient, pour les plus rapides, plus de 10,5 Mbit/s sur smartphones et plus de 25 Mbit/s sur tablette (qui est le terminal offrant des performances maximales). Les dbits pour lenvoi de fichiers ont atteint, pour les plus rapides, 3,7 Mbit/s sur smartphones et 3,8 Mbit/s sur tablette. En 2011, les dbits pour le tlchargement de fichier ont atteint, pour les plus rapides, 9,2 Mbit/s et pour lenvoi de fichier 3 Mbit/s Par ailleurs, comme les annes prcdentes, des disparits sont constates entre oprateurs. Ainsi, les dbits mdians en tlchargement sur smartphones sont de 2,4 Mbit/s pour Bouygues Telecom, 2,9 Mbit/s pour Free Mobile, 3,9 Mbit/s pour Orange France et 2,5 Mbit/s pour SFR. Sur tablette, les dbits mdians en tlchargement sont de 3,3 Mbit/s pour Bouygues Telecom, 3,8 Mbit/s pour Free Mobile, 7 Mbit/s pour Orange France et 3,5 Mbit/s pour SFR. En 2011, les dbits mdians en tlchargement avec le terminal offrant les meilleures performances taient de 1,2 Mbit/s pour Bouygues Tlcom, 4,8 Mbit/s pour Orange France et 2,6 Mbit/s pour SFR.
Les dbits atteints pour des usages lintrieur des btiments sont quivalents aux dbits atteints pour des usages en extrieur. 2.2.2 Les autres services de donnes Les rsultats des tests effectus pour le service de message court (SMS) confirment, avec un taux de russite de 98,8% lextrieur des btiments sur les agglomrations de plus de 10.000 habitants, le bon niveau de qualit global de ce service observ depuis plusieurs annes. Sagissant du service denvoi de photo par messagerie multimdia (MMS), le taux de messages reus en moins de 3 minutes est de 96,3% dans les agglomrations de plus de 10 000 habitants, en lgre baisse par rapport lanne prcdente. Le service de navigation web a t marqu cette anne par une volution du protocole de mesure et des indicateurs de performances les rendant plus exigeants. En effet cette anne, une navigation est galement considre en chec si un nombre de pages non charg dans les dlais suprieur 10%
7/100
du nombre total de pages visites durant la session, arrondi lunit suprieure. Les annes prcdentes, le protocole proposait de mettre en chec une navigation sur laquelle deux pages taient en chec de manire conscutive. Le taux de russite daccs au web dans un dlai infrieur 30 secondes atteint 94,9 %, et le taux de navigation russie et maintenue pendant une dure de 5 minutes est de 77,8%. Ces rsultats ne peuvent tre compars ceux de lan dernier. Pour la premire anne, le service de diffusion de vido en flux ( video streaming ) a t mesur partir dune vido de 2 minutes propose par le prestataire. Cette vido a t place sur le site Youtube Le taux de diffusions russies est de 88,2% le taux de diffusions russies et de qualit parfaite atteint 85,7%, et le taux de diffusions russies et de qualit correcte atteint 86,5% pour tous usages confondus. 2.3 Les mesures exprimentales sur les agglomrations de moins de 10 000 habitants A titre exprimental, le service de transfert de fichiers a t test dans 9 communes hors des agglomrations de plus de 10 000 habitants pour un usage extrieur des btiments. Ainsi les mesures ont t effectues dans trois communes de moins de 500 habitants, trois communes de 500 1000 habitants et trois communes de 1 000 10 000 habitants. Le protocole utilis pour ces tests est le mme que celui mis en uvre dans les agglomrations de plus de 10 000 habitants. Les taux moyen de fichiers envoys et reus sont infrieurs aux taux moyen de fichiers envoys ou reus dans les agglomrations de plus de 10 000 habitants respectivement de 4,6% et de 5,5%. De fortes disparits sont observes entre les oprateurs sur les taux de fichiers envoys et reus. Pour les dbits mdians, ils varient suivant les oprateurs de 850 kbit/s 1043 kbit/s pour le service denvoi de fichiers et entre 1 995 kbit/s et 4 039 kbit/s pour le service de tlchargement de fichiers. Une importante disparit existe galement entre les oprateurs dans les diffrents dbits calculs pour le service de tlchargement et denvoi de fichiers.
3. Format de restitution des rsultats

Les rsultats complets sont disponibles la fin de chaque rapport, aprs une description dtaille des protocoles de mesures. La signaltique utilise dans les tableaux de rsultats est la suivante : la qualification du rsultat individuel de chaque oprateur autour de la moyenne agrge des trois oprateurs est symbolise par les signes suivants :
8/100
Symbole
= + ++
Signification
Trs infrieur la valeur de rfrence Infrieur la valeur de rfrence Voisin de la valeur de rfrence Suprieur la valeur de rfrence Trs suprieur la valeur de rfrence
les flches apparaissant dans les tableaux indiquent le sens de lvolution des rsultats par rapport lenqute prcdente, lorsque la comparaison est possible et que lvolution est significative.
9/100
I.
La qualit des services de voix des oprateurs mobiles (2G et 3G) en France mtropolitaine (enqute 2012)
10/100
AVERTISSEMENT
Remarques gnrales
Lobjet de cette enqute, mene sur une base annuelle, est dapprcier la qualit de service fournie par les oprateurs de rseaux mobiles de deuxime (2G) et de troisime gnration (3G) en France. LARCEP dfinit en concertation avec les oprateurs concerns par ltude, savoir Bouygues Telecom, Free Mobile, Orange France et SFR, un cahier des charges dtaillant la mthodologie suivre pour la ralisation de lenqute et la publication de ses rsultats. Les mesures de qualit de service sattachent reflter de manire statistique la qualit que les utilisateurs peuvent constater dans leur propre exprience des usages chez leurs oprateurs. La qualit de service correspond ainsi pour chacun des oprateurs aux performances des services quils offrent leurs clients, indpendamment des rseaux supports utiliss par loprateur pour produire ses services (rseau 2G de loprateur, rseau 3G de loprateur, recours litinrance sur le rseau dun oprateur tiers). En particulier, il peut tre not, concernant Free mobile, que celui-ci produisant les services quil offre ses clients en ayant ce jour largement recours une prestation ditinrance achete sur le rseau dOrange France, la qualit de service offerte par Free mobile ses clients rsulte des performances la fois de son rseau propre et du dispositif mis en uvre pour laccs en itinrance Lvaluation a t mene sur une dure totale de 2 mois.
Prcision statistique et arrondis

Les rsultats de la prsente enqute comportent une marge dimprcision. La prcision statistique indique en dessous de chaque rsultat est lintervalle contenant le rsultat selon une probabilit de 95%. Toute comparaison entre les diffrents indicateurs doit donc tenir compte de cet intervalle de confiance. Par ailleurs, pour tre en cohrence avec cette prcision statistique, les rsultats de la prsente enqute ont t arrondis au dixime prs. Il convient de rappeler que : la somme de deux rsultats arrondis peut tre diffrente de larrondi de leur somme ; le produit de deux rsultats arrondis peut tre diffrent de larrondi de leur produit.
11/100
SOMMAIRE
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE.................................................................................. 13 1.1 1.2 1.3 1.4 1.5 CONFIGURATION GENERALE ................................................................................................................................ 13 CONSTRUCTION DE LECHANTILLON .................................................................................................................... 14 CONDITIONS DE MESURE...................................................................................................................................... 17 NOTATION DE LA QUALITE AUDITIVE ................................................................................................................... 20 EQUIPES ET DEROULEMENT DE LENQUETE .......................................................................................................... 22
2. INDICATEURS DE PUBLICATION DE LENQUETE ....................................................................................... 24 2.1 2.2 DEFINITIONS DES INDICATEURS PUBLIES ............................................................................................................. 24 PRINCIPES GENERAUX DE LA PUBLICATION.......................................................................................................... 24
3 RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DU SERVICE DE VOIX EN FRANCE METROPOLITAINE ..................................................................................................................................... 26 3.1 3.2 3.3 USAGE PIETON EN AGGLOMERATIONS ................................................................................................................. 26 MOYENS DE TRANSPORT ...................................................................................................................................... 30 RESULTATS SYNTHETIQUES EN AGGLOMERATIONS DE PLUS DE 10 000 HABITANTS ............................................ 33
4 RESULTATS DE LA CAMPAGNE DE MESURES REALISEES A TITRE EXPERIMENTAL DANS LES COMMUNES HORS AGGLOMERATION DE PLUS DE 10 000 HABITANTS ................................................. 36
12/100
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

1.1 Configuration gnrale
1.1.1 Dfinition de la mesure
Les enquteurs munis de tlphones mobiles et les enquteurs munis de tlphones fixes sappellent entre eux sur les diffrents rseaux de tlphonie mobile tester. Ils vrifient lobtention de lappel (absence dchec), le maintien de la communication pendant la dure de lappel, qui peut tre de 2 minutes ou 5 minutes (absence de coupure), et valuent la qualit auditive de la communication. Les appels ont t passs dans 40% des cas du fixe vers le mobile et dans 60% du mobile vers le fixe. Plusieurs situations dutilisation sont testes : en piton lextrieur, en piton lintrieur de btiments, en voiture, en situation passager (sans antenne de toit) dans les agglomrations et sur autoroutes, bord de trains de banlieue et modes de transports assimils (tramways), bord de TGV.
Quelle que soit la situation, les mesures ont t effectues simultanment sur les quatre rseaux au mme endroit gographique. Chaque rseau est test par un binme denquteurs, lun mobile et lautre fixe. Lutilisation dun kit oreillette est systmatique. Les mesures en situation de piton lintrieur (bureaux, habitations et lieux publics) ont t ralises en 1er jour (pice avec fentre). Elles sont rparties entre le rez-de-chausse et les tages en excluant les sous-sols.
1.1.2
Calendrier, planning et horaires

Lenqute 2012 sest droule entre le 11 septembre 2012 et le 9 novembre 2012.
Durant lenqute, les oprateurs Bouygues Telecom, Free mobile, Orange France et SFR ne connaissaient ni les dates ni les lieux o taient effectues les mesures. Ils ignoraient aussi la liste des villes tires au sort parmi les agglomrations de moins de 400 000 habitants ainsi que les abonnements utiliss dans le cadre de lenqute. Les mesures ont t ralises du lundi au vendredi, jours fris exclus, et rparties de faon homogne entre 9h et 21h. Dans les agglomrations (hors trains de banlieue et tramways), les heures pleines (12h-13h et 18h-21h) ont t privilgies hauteur de 40%. Les mesures ont t rparties sur la dure de lenqute pour chaque usage. De plus, afin dobtenir une rpartition temporellement homogne de lenqute, plusieurs passages ont t effectus dans chacune des agglomrations de plus de 400 000 habitants.
1.1.3 Terminal utilis

Un terminal unique est utilis, correspondant au terminal, commun aux quatre oprateurs, le plus vendu, et qui ne prsente pas dobstacle technique la mise en uvre de lensemble des mesures prvues par le cahier des charges de lenqute. 13/100
Une vrification fonctionnelle a permis de garantir que le tlphone slectionn ninduit pas luimme de biais dans la mesure. Le terminal retenu est le Samsung Galaxy SII.
1.2 Construction de lchantillon

1.2.1 Slection des agglomrations
Les agglomrations de plus de 400 000 habitants sont au nombre de 14. Toutes ont t retenues et testes, en distinguant les zones trs denses et les autres zones denses selon les critres suivants : Zones trs denses : centre-ville de la ou des communes principales, zones de transit (gares, aroports), centres dactivits (commerciaux, affaires), axes urbains trs fort trafic et autoroutes dans les limites de lagglomration ; Autres zones denses : continuum bti autour des zones trs denses, autres centres villes de plus de 5000 habitants, autres axes urbains au sein de lagglomration.
Les agglomrations de moins de 400 000 habitants sont spares en deux groupes au sein desquels ont t slectionnes, par tirage au sort, 20 agglomrations : un groupe avec les agglomrations de 50 000 400 000 habitants et un autre avec celles de 10 000 50 000 habitants. Cette mthode de slection des agglomrations renforce volontairement la reprsentation des agglomrations de faible population. Pour chacun des deux groupes dagglomrations, le tirage au sort a t effectu avec une probabilit fonction logarithmique de la population, qui a t rectifie pour quilibrer les diverses rgions du territoire. Pour chaque agglomration, deux zones ont t distingues : la ville qui correspond la commune principale et le reste de lagglomration.
14/100
Le tableau suivant regroupe les agglomrations slectionnes classes par groupe : TOP 14 10 000 50 000 habitants Ville Albertville Auray Chteaudun Chtellerault Coutras Decazeville Dieppe Esbly Gien L'Arbresle Manosque Mayenne Mazamet Montceau-Les-Mines Pontarlier Saint-Di-des-Vosges Saverne Tergnier Tulle Yvetot dpt 73 56 28 86 33 12 76 77 45 69 4 53 81 71 25 88 67 2 19 76 50 000 400 000 habitants Ville Amiens Annecy Besanon Bthune Bourges Calais Clermont-Ferrand Evreux Frejus Limoges Montauban Montpellier Nancy Niort Perpignan Rennes Saint-Etienne St Nazaire Tours Troyes dpt 80 74 25 62 18 62 63 27 83 87 82 34 54 79 66 35 42 44 37 10 (suprieur 400 000 habitants) Ville Avignon Bordeaux Douai-Lens Grenoble Lille Lyon Marseille-Aix-en-Provence Nantes Nice-Cannes-Antibes Paris Rouen Strasbourg Toulon Toulouse dpt 84 33 62 38 59 69 13 44 6 75 76 67 83 31
15/100
1.2.2
Carte des agglomrations et des axes tests
Reprsentation cartographique et rgionale de lensemble de lenqute
16/100
1.2.3
Volumtrie et rpartition par type de lieu et par type dusage
Lchantillon a t construit de manire disposer dun nombre suffisant de mesures pour chaque usage (voiture, piton intrieur, piton extrieur, zones gographiques, ) en vue dobtenir une prcision statistique satisfaisante. . Le nombre de mesures ralises pour lensemble des oprateurs est rparti de la manire suivante : Communications de 2 minutes En agglomrations de plus de 400 000 habitants de 50 000 400 000 habitants de 10 000 50 000 habitants Voiture Piton En intrieur En extrieur Total
1918 1324 658
2395 1518 678
2005 1416 660
6318 4258 1996
Communications de 5 minutes En agglomrations de plus de 400 000 habitants de 50 000 400 000 habitants de 10 000 50 000 habitants Voiture Piton En intrieur En extrieur Total
1945 1343 652
2381 1513 664
1991 1393 678
6317 4249 1994
Sur les axes de circulation : communications de 2 minutes TGV Autoroutes Trains de banlieue Total
4530
4472
3986
12988
Au total, ltude a produit et exploit 38 120 appels tlphoniques.
1.3 Conditions de mesure

1.3.1 Conditions de mesure dans les agglomrations
Aprs avoir ainsi dtermin la localisation et le nombre des mesures, un certain nombre de conditions supplmentaires ont t prises en compte : Localisation des mesures Dune faon gnrale, lextension de chaque agglomration teste correspond la dfinition de lINSEE de 2010 donnant la liste des communes appartenant lagglomration. Les agglomrations de plus de 400 000 habitants ont t subdivises en zones trs denses et autres zones denses comme expliqu prcdemment. Dans les autres agglomrations, ont t distingus la ville (ZTD = Zone Trs Dense), qui est la commune principale, et le reste de lagglomration (AZD = Autre Zone Dense). Mesures en voiture
17/100
Dans les agglomrations de plus de 400 000 habitants, les mesures ont t rparties pour 2/3 en ville (ZTD) et 1/3 dans le reste de lagglomration (AZD). Les enquteurs ajustent leurs parcours en fonction du terrain (circulation et sens interdits), lobjectif tant de couvrir quitablement la zone. Dans les autres agglomrations, les mesures ont t rparties pour 1/2 en ville (ZTD) et 1/2 dans le reste de lagglomration (AZD). Elles ont t effectues sur des parcours incluant les axes principaux et dans les zones bties (centre-ville, aroport, gare, lieux touristiques, zones dactivits). Mesures pitons Dispositions communes aux mesures lextrieur ou lintrieur des btiments Dans chaque agglomration, les mesures ont t disperses le plus possible sur le territoire tester et il a t vit de raliser des mesures aux mmes endroits que celles effectues en voiture. Dans les agglomrations de plus de 400 000 habitants, les mesures ont t rparties pour 2/3 en ville (ZTD) et 1/3 dans le reste de lagglomration (AZD). Dans les autres agglomrations, les mesures ont t effectues dans les zones bties, avec une rpartition 1/2 en ville et 1/2 dans le reste de lagglomration. Mesures pitons en extrieur Les mesures ont t ralises larrt. Les emplacements ont t choisis parmi les zones frquentes par les pitons (zones bties, parcs et jardins, plages, ...). Mesures pitons en intrieur Tous les appels ont t passs en 1er jour (pice avec fentre), sans se dplacer, aux rez-de-chausse et dans les tages en excluant les sous-sols.
18/100
1.3.2
Conditions de mesure dans les trains de banlieue et tramways
Ces mesures concernent les agglomrations de Paris, Lyon, Lille et Marseille-Aix-en-Provence, dotes de rseaux de trains de banlieue et de tramways. La rpartition des mesures est base sur les donnes de trafic et de frquence des rames compiles partir des sources www.ter-sncf.com www.paris.fr/portail/deplacements www.rtm.fr), Agglomrations testes en trains de banlieue Paris Lyon Lille Marseille-Aix-en-Provence Proportion ralise
2500 564 440 482
Les diffrentes positions des enquteurs dans les rames ont t testes : fentre ou couloir, bas ou haut dans les rames, un ct de la voie laller puis lautre au retour. Les enquteurs sont groups afin dvaluer la qualit de service des quatre oprateurs dans les mmes conditions.
1.3.3
Conditions de mesure sur les autoroutes
La rpartition des mesures sur les axes autoroutiers fort trafic est prsente ci-dessous. Celle-ci est base sur les donnes fournies par le SETRA.
Axes autoroutiers A1 Paris - Lille A4 Paris - Strasbourg A6 Paris - Lyon A7 Lyon - Marseille A8 Marseille - Menton A9 Orange - Perpignan A10 Paris - Bordeaux A11 Paris - Nantes A13 Paris - Caen A61 Toulouse - Narbonne A62 Bordeaux - Toulouse
Proportion ralise
386 340 748 538 224 514 512 638 214 148 210
Les tests sont raliss en variant rgulirement les positions des enquteurs dans le vhicule afin dvaluer la qualit de service des quatre oprateurs dans les mmes conditions.
1.3.4
Conditions de mesure dans les TGV
La rpartition des mesures sur les lignes de TGV testes est prsente ci-dessous. Celle-ci est base sur les informations des horaires des trains sur le site http://www.voyages-sncf.com/
19/100
Lignes TGV Lille - Lyon Paris - Bordeaux Paris - Calais Paris - Lille Paris - Lyon Paris - Marseille Paris - Nantes Paris - Rennes Paris - Strasbourg Dijon - Mulhouse
Proportion ralise
250 534 478 610 838 374 422 452 380 192
Les tests sont raliss prs des fentres et dans le cas de rames duplex, les tests couvrent quitablement les niveaux haut et bas. Les enquteurs sont de ct fentre en variant les positions pour valuer la qualit de service des quatre oprateurs dans les mmes conditions.
1.3.5
Rcapitulatif des mesures ralises par strate et par situation dutilisations
Strate Moins de 10 000 hab 10-50 000 hab 50-400 000 hab AUTOROUTE TDB TGV TOP14 Total
En voiture
A lintrieur des btiments
En train
A lextrieur des btiments 2418
Total des mesures 2418
1310 2667 4472
1342 3031 3986 4530
1338 2809
3863 12312
4776 9149
8516
3996 10561
3990 8507 4472 3986 4530 12635 40538
1.4 Notation de la qualit auditive

La qualit auditive est note par les enquteurs mobile et fixe, selon une chelle 4 niveaux : Parfaite : aucune perturbation, qualit quivalente celle du rseau fixe commut ; Acceptable : lgre gne dans lcoute par quelques perturbations qui ne troublent toutefois pas la conversation ; Mdiocre : frquemment gn dans lcoute par de nombreuses perturbations, mais il est encore possible de se comprendre ; Mauvais : il est trs difficile de sentendre, la conversation est impossible.
20/100
Chaque enquteur mobile et fixe, porte une apprciation sur les communications maintenues 2 ou 5 minutes. Lapprciation la plus svre des deux est retenue. Les communications sont qualifies indpendamment par lappelant et par lappel. La note de lappel dcoule de lapprciation la plus svre des deux notes. Des dispositions ont t prises pour garantir une apprciation objective de la qualit de la part des enquteurs ainsi que pour viter les divergences dvaluation et leurs consquences sur les rsultats. Les enquteurs ont t forms spcifiquement afin de qualifier les communications de faon rigoureuse. Les dispositions prises afin de garantir un talonnage objectif et homogne de la qualit auditive ont t les suivantes : formation des enquteurs afin didentifier les perturbations typiques pouvant survenir sur les rseaux mobiles numriques (cho, bruit mtallique, grsillements,) entranement (dbut et fin de chaque phase de mesures) l'talonnage de la qualit auditive d'aprs des enregistrements sonores, et contrle de la dispersion des rsultats avant le dbut de lenqute, tous les matriels utiliss ont t vrifis par le consultant. Leur bon fonctionnement a t contrl comme le ferait un usager classique en vrifiant notamment le bon accrochage du rseau, le contrle de la batterie et les premires communications campagne de mesures probatoires en situation relle et analyse : application de procdures, enregistrement des donnes pour tous les enquteurs mobile et fixe, et analyse des rsultats. contrle par des superviseurs au cours des mesures relles : coute discrte alatoire et contrle des donnes enregistres tout au long de lenqute. analyse quotidienne de la cohrence des rsultats obtenus : divers tats de sortie statistiques permettent de dtecter dventuelles divergences de notation de la qualit auditive, selon les enquteurs, les terminaux, etc., et dintervenir en cas danomalie. permutation des binmes denquteurs fixe et mobile sur chaque rseau et entre eux afin dliminer tout biais rsiduel dapprciation de la qualit auditive dans un mme groupe et dans des groupes diffrents.
Au cours de l'enqute, l'apparition d'ventuels problmes de fonctionnement est surveille en temps rel. S'ils proviennent du matriel utilis, les mesures sont marques de manire spcifique dans la base pour ne pas tre prises en compte dans les rsultats. Ces mesures sont alors refaites aprs correction du problme.
21/100
1.5 Equipes et droulement de lenqute

1.5.1 Ralisation de lenqute
Une quipe constitue dun directeur de projet, dun chef de projet et de trois coordinateurs a organis le droulement de lenqute : . La formation des enquteurs au protocole ARCEP. . Lorganisation des plannings. . La vrification journalire des quotas et la rpartition des mesures. . Le respect des modes opratoires. . La communication hebdomadaire des rsultats vers lARCEP. Les mesures en voiture ont t ralises par une quipe de 5 personnes (2 enquteurs mobiles accompagns dun chauffeur, 2 enquteurs fixes). Les mesures en usage pitons ont t ralises par des quipes de 5 personnes (2 enquteurs mobiles accompagns dun chauffeur, 2 enquteurs fixes). Les mesures dans les trains (TGV et trains de banlieue) ont t ralises par des quipes de 4 personnes (2 enquteurs mobiles et 2 enquteurs fixes). En cas de gnes pour les autres passagers ou de remarques des contrleurs, les enquteurs continuaient les mesures dans le wagon bar toujours ct fentres et toujours du mme ct. Chaque enquteur teste deux rseaux afin dviter la ralisation concomitante de tests sur les rseaux dOrange France et de Free Mobile Enquteur 1 : Orange France et Free Mobile Enquteur 2 : SFR et Bouygues Tlcom Les enquteurs fixes sont situs LCC France Noisy le Grand (93160, France).
1.5.2
Contrle de cohrence des mesures ralises
Des contrles de cohrence des rsultats ont t raliss au fil de leau par LCC tout au long de lenqute terrain, conformment au cahier des charges. Ils visaient notamment prvenir en temps rel lapparition de biais lis un matriel dfectueux, une diffrence dapprciation de la qualit entre les enquteurs, et plus gnralement, des imprcisions dans lapplication sur le terrain du protocole de mesure. Un systme GPS professionnel indpendant des mobiles est utilis pour rcuprer les informations de golocalisation. Les terminaux et le GPS sont synchroniss en dbut de parcours. La golocalisation des mesures est effectue prcisment lors du post-traitement, sur la base de lhorodatage des mesures. Une vigilance particulire a t porte au matriel de tests utilis pour la ralisation de lenqute.
1.5.3
Matrise des quotas
Pour la construction de lchantillon de lenqute, un certain nombre de quotas ont t tablis sur la base de valeurs de rfrence ou de moyennes reprsentatives du march actuel des mobiles en France. Ces quotas ont fait lobjet dun suivi portant sur le respect de la rpartition horaire des mesures, la proportion du trafic fixe vers le mobile et mobile vers le fixe , la rpartition des appels de 2 minutes et 5 minutes ainsi que sur la prcision statistique maximale admise portant sur les rsultats publier.
22/100
De plus, la mthodologie applique visait respecter des quotas de rpartition de mesures en agglomrations entre les zones trs denses et les autres zones denses . Le tableau ci-dessous dfinit les quotas et prsente leur respect lors de lenqute.
Primtre d'application
Agglomrations de plus de 400 000 habitants (TOP14)
Agglomrations de plus de 10 000 habitants hors TOP14
TGV, trains de banlieue et autoroutes
Dfinition des quotas Fixe vers mobile Sens d'appel Mobile vers fixe 2 minutes Dure d'appel 5 minutes ZTD Rpartition de mesures par zone AZD Heures de pointe Tranche horaire Heures creuses Fixe vers mobile Sens d'appel Mobile vers fixe 2 minutes Dure d'appel 5 minutes ZTD Rpartition de mesures par zone AZD Heures de pointe Tranche horaire Heures creuses Fixe vers mobile Sens d'appel Mobile vers fixe 2 minutes Dure d'appel 5 minutes
Cible 40% 60% 50% 50% 67% 33% 40% 60% 40% 60% 50% 50% 50% 50% 40% 60% 40% 60% 100% 0%
Ralis 39,83% 60,17% 50% 50% 65,90% 34,10% 38,42% 61,58% 39,83% 60,17% 50,04% 49,96% 53,69% 46,31% 39,43% 60,57% 40,08% 59,92% 100% 0%
23/100
2. INDICATEURS DE PUBLICATION DE LENQUETE

2.1 Dfinitions des indicateurs publis
Une mesure consiste tenter dtablir une communication vocale puis valuer la qualit auditive de la conversation pour chacun des quatre oprateurs tests. Une mesure porte ainsi sur quatre communications, quelles aient abouti ou non. Les dfinitions des indicateurs sont rsumes dans le tableau ci-dessous : Indicateurs Taux de communications russies et maintenues Taux de communications russies, maintenues et de qualit auditive parfaite Taux de communications russies, maintenues et de qualit auditive correcte Dfinition Une communication est considre comme russie si lappel lanc par lun des enquteurs aboutit ds le premier essai et si la communication est maintenue sans coupure. Une communication est considre comme parfaite si elle est russie au sens du premier indicateur et si la qualit auditive perue par les deux interlocuteurs est parfaite (comparable la qualit des communications sur le rseau fixe). Une communication est considre comme russie et de qualit correcte si elle est russie au sens du premier indicateur et si la qualit auditive perue par les deux interlocuteurs est soit parfaite soit acceptable. Une communication est considre comme acceptable si la qualit auditive perue par les deux interlocuteurs est perturbe lgrement sans toutefois gner la conversation.
Les taux prsents ci-dessus sont calculs sur la base du nombre total de tentatives de communications.
2.2 Principes gnraux de la publication

2.2.1 Prsentation des tableaux
Pour chaque indicateur, le rsultat est publi sur la base de deux valeurs. Dune part, une valeur de rfrence choisie comme tant la moyenne agrge pour les quatre oprateurs. Dautre part, la qualification de la performance de chaque oprateur autour de cette valeur selon les cinq niveaux : trs infrieur, infrieur, voisin, suprieur et trs suprieur la valeur de rfrence. De plus, une comparaison avec les rsultats de lenqute prcdente, tenant compte de la prcision statistique de ces mesures, est prsente lorsquelle est pertinente sous forme dun signe ( ) ou ( ). Ce signe accol au rsultat indique le cas chant une amlioration ou une dgradation par rapport lanne prcdente, pour la valeur moyenne comme pour les performances individuelles des oprateurs.
2.2.2
Qualification de loprateur en fonction de la valeur de lcart par rapport aux seuils
Chaque oprateur est qualifi en fonction de la valeur de lcart (e) entre son rsultat (t) et la valeur de rfrence (m). La valeur de rfrence correspond la moyenne des rsultats des quatre oprateurs sur lindicateur considr chelonn sur 5 niveaux : trs infrieur, infrieur, voisin, suprieur, trs suprieur la valeur de rfrence. Les seuils qui dterminent ces niveaux prennent en compte la prcision statistique des rsultats. En effet, les carts ne sont significatifs que sils sont suprieurs lincertitude. Les seuils s1 et s2 sont calculs selon les formules suivantes :
24/100
s1 = Max ( 1% ; 1,645 s2 = 4%
t (1 t ) ) n
o t est la valeur de lindicateur considr et n correspond au nombre de mesures ralises pour cet indicateur. La qualification de la performance de loprateur est dfinie en fonction de la valeur de lcart par rapport ces seuils : Seuil e -s2 -s2 < e -s1 -s1 < e s1 s1 < e s2 e s2 Performance = + ++ Dfinition Trs infrieur la valeur de rfrence Infrieur la valeur de rfrence Voisin de la valeur de rfrence Suprieur la valeur de rfrence Trs suprieur la valeur de rfrence
2.2.3
Comparaison des rsultats avec ceux de lenqute prcdente
Une comparaison avec lenqute prcdente est possible lorsque le primtre et la mthode de mesure sont identiques. Si tel est le cas, lvolution par rapport lenqute prcdente, pour chaque oprateur et pour chaque indicateur, est indique par un signe accol au nom de loprateur ou de la moyenne mesure. Ce signe est dtermin en fonction de lcart entre la valeur (t2) de l'indicateur de cette anne par rapport l'anne prcdente (t1), selon un seuil qui prend en compte la prcision statistique des rsultats : = Max (1% ; 1,645 p=
1 1 p (1 p ) + ) n1 n2
n1 t1 + n2 t 2 n1 + n2
o p est le rsultat moyen des mesures ralises durant cette enqute et lenqute prcdente, et n1 et n2 correspondent aux nombres de mesures de chacune des deux annes. signe ( ) : amlioration suprieure absence de signe : indtermination (cart infrieur ) signe ( ) : dgradation suprieure
25/100
3 Rsultats de lenqute dvaluation de la qualit du service de voix en France mtropolitaine
Rsultats de lenqute dvaluation de la qualit du service de tlphonie mobile des oprateurs mobiles en France mtropolitaine en 2012
Les rsultats prsents ci-dessous ont t ralises avec des offres des oprateurs mobiles.
Un terminal pouvait se connecter aux rseaux 2G/3G de loprateur, et, le cas chant, aux rseaux doprateurs tiers avec lesquels un accord ditinrance aurait t conclu, conformment ce qui peut tre expriment par un utilisateur.
3.1 Usage piton en agglomrations

3.1.1. Lensemble des agglomrations de plus de 10.000 habitants lextrieur des btiments
Moyenne mesure Taux de communications russies et maintenues 2 minutes Prcision statistique Ecart heure pleine/ heure creuse Taux de communications russies et maintenues 2 minutes et de qualit parfaite Prcision statistique Taux de communications russies et maintenues 2 minutes et de qualit correcte Prcision statistique
Bouygues Tlcom
Free Mobile
Orange France
SFR
1018 mesures 1018 mesures 1023 mesures 1022 mesures 96,35% ( ) 1,14% = 95,49% ( ) 1,26% 95,78% ( ) 1,22% = ( ) = + = ( ) = = ( ) = = + = = ( ) + = ( )
Moyenne mesure Taux de communications russies et maintenues 5 minutes Prcision statistique Ecart heure pleine/ heure creuse
Bouygues Tlcom
Free Mobile
Orange France
SFR
1013 mesures 1013 mesures 1018 mesures 1018 mesures 94,34% ( ) 1,40% = ( ) = = = = + ( )
26/100
Taux de communications russies et maintenues 5 minutes et de qualit parfaite Prcision statistique Taux de communications russies et maintenues 5 minutes et de qualit correcte Prcision statistique
93,38% ( ) 1,51% 93,87% ( ) 1,46%
= ( ) = ( )
( )
( )
3.1.2. Lensemble des agglomrations de plus de 10.000 habitants lintrieur des btiments
Bouygues Tlcom
Free Mobile
Orange France
SFR
1148 mesures 1148 mesures 1147 mesures 1148 mesures 95,16% ( ) 1,23% 93,77% ( ) 1,38% 94,73% ( ) 1,28% = ( ) = + = ( ) = = ( ) = + = = + = ( )
Bouygues Tlcom
Free Mobile
Orange France
SFR
1144 mesures 1144 mesures 1134 mesures 1136 mesures 93,59% ( ) 1,42% = 91,84% ( ) 1,58% 92,85% ( ) 1,49% = ( ) = ( ) = + ( ) = ( ) = + ( ) = ( ) = + ( ) = = = ( )
27/100
3.1.3. Les quatorze agglomrations de plus de 400.000 habitants lextrieur des btiments
Bouygues Tlcom
Free Mobile
Orange France
SFR
499 mesures 97,25% ( ) 1,39% = 96,36% ( ) 1,60% 96,66% ( ) 1,54% = ( ) = =
499 mesures =
504 mesures +
503 mesures = ( )
= +
= = ( )
= ( )
Bouygues Tlcom
Free Mobile
Orange France
SFR
496 mesures 94,57% ( ) 1,97% = 93,92% ( ) 2,08% 94,22% ( ) 2,03% = ( ) = ( ) = ( )
496 mesures =
499 mesures +
500 mesures = ( )
= =
= +
= ( )
28/100
3.1.4. Les quatorze agglomrations de plus de 400.000 habitants lintrieur des btiments
Bouygues Tlcom
Free Mobile
Orange France
SFR
599 mesures 95,87% 1,59% = 94,11% ( ) 1,83% 95,49% 1,65%

Bouygues Tlcom
599 mesures =
598 mesures +
599 mesures =
= --
= +
Free Mobile
Orange France
SFR
597 mesures 93,74% ( ) 1,94% = 91,94% ( ) 2,18% 92,99% ( ) 2,05% = ( ) = ( ) = ( )
597 mesures =
593 mesures = ( )
594 mesures =
= = ( )
= =
= ( )
29/100
3.2 Moyens de transport

3.2.1. Lensemble des agglomrations de plus de 10.000 habitants en vhicule automobile
Bouygues Tlcom
Free Mobile
Orange France
SFR
975 mesures 95,46% 1,30% = 94,54% 1,42% 94,90% 1,37%

Bouygues Tlcom
976 mesures -
974 mesures +
975 mesures =
= -
= =
= =
Free Mobile
Orange France
SFR
984 mesures 91,88% ( ) 1,70% = 90,56% 1,82% 91,04% ( ) 1,78% = = =
983 mesures =
986 mesures =
987 mesures = ( )
= =
= =
= =
= ( )
30/100
3.2.2. Les quatorze agglomrations de plus de 400.000 habitants en vhicule automobile
Bouygues Tlcom
Free Mobile
Orange France
SFR
480 mesures 95,62% 1,82% = 95,05% 1,93% 95,21% 1,90%

Bouygues Tlcom
482 mesures =
478 mesures =
478 mesures =
= ( )
= = ( )
= =
= ( )
Free Mobile
Orange France
SFR
486 mesures 91,57% 2,46% = 90,80% 2,56% 90,95% 2,54% = = =
486 mesures =
486 mesures =
487 mesures =
= =
= =
= =
31/100
3.2.3. Les axes autoroutiers

Moyenne mesure Bouygues Tlcom Free Mobile Orange France SFR
Autoroutes Taux de communications russies et maintenues 2 minutes Prcision statistique
1117 mesures 1117 mesures 1119 mesures 1119 mesures 90,83% ( ) 1,68% = ( ) = + ( )
89,29% ( ) 1,80% 90,23% ( ) 1,73%
( )
= ( )
= ( )
3.2.4. Les lignes de train grande vitesse
Lignes de train grande vitesse
Moyenne mesure
Bouygues Tlcom
Free Mobile
Orange France
SFR
1131 mesures 1131 mesures 1134 mesures 1134 mesures

Taux de communications russies et maintenues 2 minutes Prcision statistique
57,26% ( ) 2,87%
-( )
+ ( )
++ ( )
52,98% ( ) 2,90% 55,01% ( ) 2,89%
-( ) -( )
+ ( )
++ ( ) ++ ( ) ( )
32/100
3.2.5. Les trains de banlieue et modes de transport assimils des quatre plus grandes agglomrations
Moyenne mesure Bouygues Tlcom Free Mobile Orange France SFR
Transports publics Taux de communications russies et maintenues 2 minutes Prcision statistique
993 mesures 71,62% ( ) 2,80% = ( )
993 mesures 1000 mesures 1000 mesures = + ( ) = ( )
67,46% ( ) 2,91% 69,96% ( ) 2,84%
= ( ) = ( )
= ( )
= ( ) = ( ) ( )
3.3 Rsultats synthtiques en agglomrations de plus de 10 000 habitants

Les rsultats ci-dessus reprsentent des moyennes pondres de rsultats de mesures ralises en agglomrations de plus de 10 000 habitants : usage piton lextrieur des btiments (avec une pondration de 1/3) ; usage piton lintrieur des btiments (avec une pondration de 1/2) ; vhicule automobile (avec une pondration de 1/6). 3.3.1. Lensemble des agglomrations de plus de 10.000 habitants
Moyenne mesure Taux de communications russies et maintenues 2 minutes Prcision statistique Ecart heure pleine/ heure creuse Taux de communications russies et maintenues 2 minutes et de qualit parfaite Prcision statistique Taux de communications russies et maintenues 2 minutes et de qualit correcte Prcision statistique Bouygues Tlcom Free Mobile Orange France SFR
3141 mesures 3142 mesures 3144 mesures 3145 mesures 95,61% ( ) 1,21% = 94,47% ( ) 1,34% 95,11% ( ) 1,28% = ( ) + = ( ) = = ( ) = = + = = ( ) = + = ( )
33/100
Bouygues Tlcom
Free Mobile
Orange France
SFR
3141 mesures 3140 mesures 3138 mesures 3141 mesures 93,56% ( ) 1,46% 92,14% ( ) 1,60% 92,89% ( ) 1,53% = ( ) = ( ) = + ( ) = ( ) = = + = = ( ) = ( ) = + ( ) = ( )
3.3.1 Les quatorze agglomrations de plus de 400.000 habitants
Bouygues Tlcom
Free Mobile
Orange France
SFR
1578 mesures 1580 mesures 1580 mesures 1580 mesures 96,29% 1,56% = 95,02% 1,77% 95,83% 1,65% = + = ( ) = = = + = = = = + = ( )
34/100
Bouygues Tlcom
Free Mobile
Orange France
SFR
1579 mesures 1579 mesures 1578 mesures 1581 mesures 93,66% ( ) 2,04% = 92,41% ( ) 2,21% 93,06% ( ) 2,13% = ( ) = ( ) = + ( ) = ( ) = = + = = = ( ) = + ( ) = ( )
35/100
4 Rsultats de la campagne de mesures ralises titre exprimental dans les communes hors agglomration de plus de 10 000 habitants
Pour la premire anne, des mesures de qualit de service indpendamment du rseau support ont t ralises titre exprimental dans neuf communes situes hors agglomrations de plus de 10.000 habitants. Les mesures ont t effectues dans trois communes de moins de 500 habitants, trois de 500 1.000 habitants et trois de 1.000 10.000 habitants. Pour lensemble de ces communes, les services 3G devaient tre fournis par lensemble des oprateurs (le cas chant, au travers du recours litinrance). Le nombre de mesures ralis est le suivant: - 636 dans les communes de moins de 500 habitants ; - 806 dans les communes de 500 1.000 habitants ; - 976 dans les communes de 1.000 10.000 habitants. Au sein de chaque commune, les mesures ont t rparties de manire homogne sur lensemble du territoire.
Communes Communes de moins Vieillevigne de 500 habitants Saint-Aignan Saint-Pierre Communes de 500 La Roche Blanche 1 000 habitants Saint-Pierre Baron Communes de 1 000 Macau 10 000 habitants Serris Saint-Etienne-deMontluc
Dpartement 31 33 31 44 67 33 33 77 44
Le protocole suivi pour raliser les mesures dans les communes de moins de 10 000 habitants est le mme que celui utilis pour les agglomrations de plus de 10 000 habitants. Il a pu pleinement tre mis en uvre.
36/100
Les mesures prsentes ci-dessous sont les taux moyens calculs partir des rsultats de chaque oprateur.
Rsultats pour les communes de moins de 10 000 habitants Taux de communications russies et maintenues 2 minutes
Moyenne mesure
91,61%
Prcision statistique 2,17% Ecart heure pleine/heure creuse Taux de communications russies et maintenues 2 minutes et de qualit parfaite
89,99%
Prcision statistique Taux de communications russies et maintenues 2 minutes et de qualit correcte
2,34% 90,94%
Prcision statistique
2,25%
En raison du faible nombre de mesures, les rsultats individuels ne sont pas publis.
37/100
II. La qualit des services de donnes des oprateurs mobiles (2G et 3G) en France mtropolitaine
38/100
AVERTISSEMENT
Remarques gnrales
Lobjet de cette enqute, mene sur une base annuelle, est dapprcier la qualit de service fournie par les oprateurs de rseaux mobiles de deuxime (2G) et de troisime gnration (3G) en France. LARCEP dfinit en concertation avec les oprateurs concerns par ltude, savoir Bouygues Telecom, Free Mobile, Orange France et SFR, un cahier des charges dtaillant la mthodologie suivre pour la ralisation de lenqute et la publication de ses rsultats. Les mesures de qualit de service sattachent reflter de manire statistique la qualit que les utilisateurs peuvent constater dans leur propre exprience des usages chez leurs oprateurs. La qualit de service correspond ainsi pour chacun des oprateurs aux performances des services quils offrent leurs clients, indpendamment des rseaux supports utiliss par loprateur pour produire ses services (rseau 2G de loprateur, rseau 3G de loprateur, recours litinrance sur le rseau dun oprateur tiers). En particulier, il peut tre not, concernant Free mobile, que celui-ci produisant les services quil offre ses clients en ayant ce jour largement recours une prestation ditinrance achete sur le rseau dOrange France, la qualit de service offerte par Free mobile ses clients rsulte des performances la fois de son rseau propre et du dispositif mis en uvre pour laccs en itinrance Lvaluation a t mene sur une dure totale de 2 mois.
Prcision statistique et arrondis

Les rsultats de la prsente enqute comportent une marge dimprcision. La prcision statistique indique en dessous de chaque rsultat est lintervalle contenant le rsultat selon une probabilit de 95%. Toute comparaison entre les diffrents indicateurs doit donc tenir compte de cet intervalle de confiance. Par ailleurs, pour tre en cohrence avec cette prcision statistique, les rsultats de la prsente enqute ont t arrondis au dixime prs. Il convient de rappeler que : la somme de deux rsultats arrondis peut tre diffrente de larrondi de leur somme ; le produit de deux rsultats arrondis peut tre diffrent de larrondi de leur produit.
39/100
SOMMAIRE
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE ..................................................................................................... 41 1.1.CONFIGURATION GENERALE .............................................................................................................................. 41 1.2.CALENDRIER ET PLANNING ................................................................................................................................. 41 1.3.REPARTITION GEOGRAPHIQUE DE MESURES ..................................................................................................... 42 1.4.VOLUMETRIE DE MESURES ................................................................................................................................. 45 2. MISE EN UVRE DES MESURES ................................................................................................................................ 46 2.1.DISPOSITIONS GENERALES ................................................................................................................................. 46 2.2.MESURES SMS .................................................................................................................................................... 46 2.3.MESURES MMS .................................................................................................................................................. 47 2.4.MESURES DU SERVICE DE DIFFUSION DE VIDEO EN FLUX ( VIDEO STREAMING ) ............................................ 48 2.5.NAVIGATION WEB .............................................................................................................................................. 49 2.6.TRANSFERT DE DONNEES EN MODE PAQUETS ................................................................................................... 51 2.6.1.PROTOCOLE DE MESURE .............................................................................................................................. 51 2.6.2.SERVEUR ...................................................................................................................................................... 51 2.6.3.PLATEFORME DE MESURES .......................................................................................................................... 52 2.7.MAITRISE DES MESURES..................................................................................................................................... 52 2.7.1.EQUIPES ET DEROULEMENT DE LENQUETE ................................................................................................. 52 2.7.2.GESTION DES QUOTAS................................................................................................................................. 52 3. INDICATEURS DE PUBLICATION DE LENQUETE ........................................................................................................ 53 3.1.DEFINITIONS DES INDICATEURS PUBLIES ............................................................................................................ 53 3.1.1.SERVICE DE MESSAGES COURTS (SMS) ......................................................................................................... 53 3.1.2.SERVICE DE MESSAGES MULTIMEDIA (MMS) ............................................................................................... 53 3.1.3.SERVICE DE NAVIGATION WEB ..................................................................................................................... 54 3.1.4.SERVICE DE TRANSMISSION DE DONNEES .................................................................................................... 54 3.2.PRINCIPES GENERAUX DE LA PUBLICATION ........................................................................................................ 55 3.2.1.PRESENTATION DES TABLEAUX ................................................................................................................... 55 3.2.2.CHOIX DE LA VALEUR DE REFERENCE ........................................................................................................... 55 3.2.3.CHOIX DES SEUILS ........................................................................................................................................ 55 3.2.4.QUALIFICATION DE LOPERATEUR EN FONCTION DE LA VALEUR DE LECART PAR RAPPORT AUX SEUILS ..... 55 3.2.5.COMPARAISON DES RESULTATS AVEC CEUX DE LA PRECEDENTE ENQUETE .................................................. 56 4. RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DES SERVICES DE DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE METROPOLITAINE. ............................................................... 57 5. MESURES REALISEES A TITRE EXPERIMANTALE DANS LES COMMUNES HORS AGGLOMERATIONS DE PLUS DE 10 000 HABITANTS. 101
40/100
1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

1.1. Configuration gnrale
Lenqute porte sur lvaluation de la qualit des services de donnes suivants : le service de messages courts SMS : envoi dun message constitu dun texte ; le service de messagerie multimdia MMS : envoi dun message constitu dun texte et dune photo ; le service de visualisation vido : visionnage dune vido de 2 minutes sur internet le service de navigation internet : navigation web sur les 10 sites internet mobile les plus visits en France le transfert de donnes en mode paquets : envoi dun fichier de 1 Mo, tlchargement dun fichier de 5 Mo.
Les mesures ont t ralises en 2012 avec les deux smartphones correspondant aux deux modles, communs aux quatre oprateurs, les plus vendus, et utilisant des systmes dexploitation diffrents. Il sagit en loccurrence du Samsung Galaxy SII et liPhone 4S dApple. En complment, des mesures ont t ralises avec un terminal offrant des performances maximales, notamment en termes de dbits maximum thoriques. La tablette iPad 3 dApple a t utilise cet effet : elle permet des dbits maximum thoriques de 42 Mbit/s sur la voie descendante et ainsi de pleinement exploiter la technologie dual carrier mise en uvre par certains oprateurs.
1.2. Calendrier et planning

Lenqute sest droule du 11 septembre au 31 octobre 2012. Pendant le droulement de lenqute, les oprateurs Bouygues Telecom, Free Mobile, Orange France et SFR ne connaissaient, mis part les 14 agglomrations de plus de 400 000 habitants (TOP 14), ni les jours, ni les lieux o seffectuaient les mesures, ni les numros de cartes SIM des abonnements utiliss dans le cadre de lenqute. Les mesures ont t ralises entre 9h et 21h en semaine, du lundi au vendredi et sont rparties sur les diffrentes plages horaires en fonction de lusage client. En pratique, pour respecter les quotas horaires, a t applique la rpartition de mesures prsente dans le tableau ci-dessous : Crneau Horaire 9h-12h 12h-13h 13h-15h
HP/HC HC HP HC
Proportion 22,5% 10,0% 15,0%
41/100
15h-18h
22,5%
18h-21h
HP
30,0%
1.3. Rpartition gographique de mesures

1600 lieux de mesures ont t audits sur les 20 agglomrations de 10 000 50 000 habitants (strate 10-50) tires au sort, sur les 20 agglomrations de 50 000 400 000 habitants (strate 50-400) ainsi que sur lensemble des agglomrations de plus de 400 000 habitants (TOP14) : Paris, MarseilleAix-en-Provence, Lyon, Lille, Nice-Cannes-Antibes, Toulouse, Bordeaux, Nantes, Toulon, DouaiLens, Strasbourg, Grenoble, Rouen et Avignon. La rpartition des lieux par agglomration est illustre sur la carte ci-dessous.
Au sein de chaque agglomration on distingue les zones trs denses et autres zones denses selon les critres suivants : Zones trs denses (ZTD) : centre-ville de la ou des communes principales, zones de transit (gares, aroports), centres dactivits (commerciaux, affaires), axes urbains trs fort trafic et autoroutes dans les limites de lagglomration ;
42/100
Autres zones denses (AZD) : continuum bti autour des zones trs denses, autres centres villes de plus de 5 000 habitants, autres axes urbains au sein de lagglomration.
Les lieux de mesures sont choisis alatoirement et rpartis de manire homogne au sein de chaque agglomration audite tout en respectant la rpartition par usage suivante : o Intrieur des btiments : 50% (avec pour les lieux privs, un quota de 30%) o Extrieur des btiments : 50% Pour une agglomration, la rpartition des mesures dans les zones ZTD et zones AZD dpend de lappartenance de lagglomration une strate : o pour la strate TOP14 : 2/3 des mesures sont ralises en ZTD et 1/3 des mesures sont ralises en AZD o pour la strate hors TOP14 : 1/2 des mesures sont ralises en ZTD et 1/2 des mesures sont ralises en AZD Cette rpartition des lieux de mesures entre les ZTD et les AZD au sein de chaque agglomration se traduit par le nombre de mesures suivantes :
Agglomrations Paris Marseille - Aix-en-Provence Lyon Lille (partie franaise) Nice Cannes Antibes Toulouse TOP 14 Bordeaux Nantes Toulon Douai Lens Grenoble Rouen Strasbourg (partie franaise) Avignon Total
ZTD 168 40 40 36 32 30 32 24 26 24 22 24 20 28 546
AZD 86 20 20 18 16 14 12 14 12 12 12 12 10 14 272
43/100
Agglomrations Bourges Orlans Colmar Valenciennes Cherbourg-Octeville Rennes Bourg-en-Bresse Frjus Niort Clermont-Ferrand Meaux Dijon Calais Reims Vannes Le Havre Ste Chambry Brive-la-Gaillarde La Rochelle TOTAL Pithiviers Clermont Luxeuil-les-Bains Auxerre Rethel Lunville Fourmies Saint Dizier Vire Eu Canet en roussillon Bagnols-sur-Cze Bressuire Mont-de-Marsan Fontenay-le-Comte Dinan Privas Annonay Saint Junien Rodez TOTAL
ZTD 6 22 8 28 6 28 6 8 6 20 6 20 8 16 6 20 8 16 6 12 256 4 8 4 14 4 8 6 12 4 10 6 8 6 12 6 10 6 8 4 14 154
AZD 8 20 8 28 6 26 6 8 6 22 6 20 8 16 6 20 8 16 6 12 256 4 8 4 14 4 8 6 12 4 10 6 8 6 12 6 10 6 8 4 14 154
Agglo 10-50
Agglomrations de 50 000 400 000 habitants
44/100
1.4. Volumtrie de mesures

Sur chaque lieu, ont t raliss en moyenne 1 SMS, 1 MMS, 1 vido, 1 navigation web, 2 envois dun fichier de 1 Mo (uplink), 2 tlchargements dun fichier de 5 Mo (downlink). Ce qui conduit une volumtrie de 13 104 mesures ralises en moyenne par oprateur :
Smartphone Echantillon
TOP14 50-400 10-50 TOTAL
SMS
818 512 308 1 638
MMS
818 512 308 1 638
vido
818 512 308 1 638
web
818 512 308 1 638
Terminal offrant les performances maximales Uplink 1Mo Downlink 5Mo Uplink 1Mo Downlink 5Mo
818 512 308 1 638 818 512 308 1 638 818 512 308 1 638 818 512 308 1 638
Au total, sur 1 638 lieux audits, ltude a produit et exploit 52 416 mesures soit : 6552 SMS, 6 552 MMS, 6 552 vidos, 6 552 navigations web et 26 208 tlchargements de fichiers. Ltude a t ralise avec les terminaux et les abonnements spcifiques en offre grand public suivants :
Terminaux meilleurs ventes Terminaux meilleurs Performances
Oprateurs
Forfaits
Orange
Smartphone: "Jet 24/7" iPad 3 - WIFI 3G Terminal offrant les performances maximales: "Lets Samsung Galaxy SII GO 5Go H+"
iPhone 4s
iPhone 4s
SFR
Smartphone: "Forfait Carr Absolu International"
Samsung Galaxy SII iPhone 4s Samsung Galaxy SII iPhone 4s
iPad 3 - WIFI 3G Terminal offrant les performances maximales:

"Forfait CARRE TABLETTE & CLE 3Go" Smartphone: "Eden Smart Phone 24/24 3Go"
Bouygues Telecom
iPad 3 - WIFI 3G Terminal offrant les performances maximales:

"Forfait Internet 3G+ 24/24 5Go"
Free Mobile
Smartphone: "Forfait Free Mobile 19,99" iPad 3 - WIFI 3G Terminal offrant les performances maximales: Samsung Galaxy SII "Forfait Free Mobile 19,99"
Les deux smartphones retenus correspondent aux deux modles, communs aux quatre oprateurs, les plus vendus, et utilisant des systmes dexploitation diffrents. Sagissant des abonnements, la slection a t ralise par le prestataire daprs une liste doffres commerciales daccs internet grand public adaptes aux mesures ralises base notamment sur les informations transmises par les oprateurs.
45/100
Le terminal offrant des performances maximales, commun aux quatre oprateurs, permet des dbits maximum thoriques de 42 Mbit/s sur la voie descendante. Les abonnements ont t choisis par les oprateurs sur le critre de la meilleure offre grand public du haut dbit.
2. MISE EN UVRE DES MESURES

2.1. Dispositions gnrales
Les mesures ont t ralises par deux quipes constitues de trois techniciens de mesures spcialiss dans ce type de mesures. Ces techniciens ont t forms au protocole de lARCEP 2012 et sensibiliss aux contraintes de confidentialit absolue de l'tude. Toutes les mesures sont ralises pour 50% lintrieur des btiments et 50% lextrieur des btiments. Sur chaque lieu, le technicien relve les donnes de positionnement gographique (adresse et GPS), puis ralise les tests prvus sur ce lieu. Un planning prtabli et automatis indique prcisment les terminaux utiliser et les mesures raliser sur le lieu. En pratique, les tests sont effectus en mme temps par 2 techniciens sur les 4 oprateurs sans concomitances doprateur pouvant tre sur le mme rseau support. Le tableau ci-dessous schmatise une squence de tests pour chaque oprateur :
Squence de mesures sur un lieu Smartphone
SMS MMS Vido web DL 5Mo / UL 1Mo

Tablette
DL 5Mo / UL 1Mo
2.2. Mesures SMS

Une mesure consiste tenter denvoyer un message SMS, mesurer son dlai de rception et vrifier son intgrit sur chacun des rseaux tests. Le message SMS envoy est identique pour tous les oprateurs, et ce, durant tout laudit. Il est constitu de 26 caractres remplis par les lettres majuscules de lalphabet ( ABCD XYZ ) et dun identifiant numrique unique. Les messages SMS sont envoys depuis le terminal de chaque oprateur vers un autre terminal du mme oprateur, du mme modle, allum en tat de veille et paramtr en rception automatique.
46/100
Les mobiles dmission et de rception sont situs dans la mme zone gographique et restent statiques. La dure entre lmission et la rception du message est mesure, et on vrifie que le contenu du message est sans erreur lors de sa rception. Au-del dune dure de 2 minutes, le message est considr comme non reu. Tout message non envoy par refus du rseau est compt comme non reu. Aprs chaque mesure SMS, les messages sont supprims des mobiles lexception du modle du message. La synoptique de la mesure SMS est illustre ci-dessous.
2.3. Mesures MMS

Une mesure consiste tenter denvoyer un message MMS et mesurer son dlai de rception et son intgrit sur chacun des rseaux tests. Le message MMS envoy est identique pour tous les oprateurs, et ce, durant tout laudit. Il est constitu de 26 caractres remplis par les lettres majuscules de lalphabet ( ABCD XYZ ), dun identifiant unique et dune pice jointe de 50Ko au format JPEG (photo) ci-dessous :
47/100
Les messages MMS sont envoys depuis le terminal de chaque oprateur vers un autre terminal du mme oprateur, allum en tat de veille et paramtr en rception automatique (configuration dorigine). Les deux terminaux sont situs sur la mme localisation et restent statiques. La dure entre lmission et la rception du message est mesure et on vrifie que le contenu du message est sans erreur lors de sa rception. Au-del dune dure de 5 minutes, le message est considr comme non reu. Tout message non envoy par refus du rseau est compt comme non reu. Aprs chaque mesure MMS, les messages sont supprims des mobiles lexception du modle du message. La synoptique de la mesure MMS est illustre ci-dessous.
2.4. Mesures du service de diffusion de vido en flux ( vido streaming )

La mesure consiste accder depuis un smartphone reprsentatif des meilleures ventes, un site de services de diffusion en flux grand public et valuer la qualit globale du visionnage dune squence vido de 2 minutes, selon quatre niveaux de qualit : Parfait : Aucune perturbation ne gne le visionnage. La diffusion du flux vido est dune qualit quivalente celle du rseau fixe. Acceptable : Le visionnage prsente quelques imperfections visuelles et/ou auditives qui ne gne toutefois pas celui-ci. Ces imperfections sont ponctuelles et raisonnablement espaces sur lensemble du visionnage. Mdiocre : Le visionnage prsente de frquentes imperfections visuelles et/ou auditives ou des perturbations de nature gner celui-ci. Le visionnage reste toutefois possible. Mauvais : Le visionnage est trs difficile suivre.
48/100
La synoptique de la mesure du service de diffusion de vido en flux est illustre ci-dessous
2.5. Navigation web

Une mesure consiste accder internet depuis un smartphone reprsentatif des meilleures ventes puis raliser une succession de connexions sur diffrentes pages pendant une dure de 5 minutes. Les pages retenues correspondent aux 10 sites internet mobile les plus frquents par les internautes mobiles (hors site oprateurs ou personnaliss par ceux-ci ou de sites dont la taille serait suprieure 1 Mo) Chaque squence permet de tester laccs ces sites de manire continue pendant 5 minutes.
49/100
Les pages retenues pour ce test, identiques pour les 4 oprateurs, correspondent aux 10 sites internet les plus frquents nationalement par les mobinautes
Site visit Iphone http://m.google.fr/ http://m.facebook.com/ http://m.youtube.fr https://mobile.twitter.com http://fr.m.wikipedia.org http://fr.m.yahoo.com http://www.dailymotion.com http://Leboncoin.fr http://www.mappy.com http://mobile.pagesjaunes.fr Android http://m.google.fr/ http://m.facebook.com/ http://m.youtube.fr https://mobile.twitter.com http://fr.m.wikipedia.org http://fr.m.yahoo.com http://www.dailymotion.com http://Leboncoin.fr http://www.mappy.com http://mobile.pagesjaunes.fr
La navigation est considre comme russie si elle est maintenue active pendant une dure de 5 minutes sans coupure, perte de connexion ou impossibilit de continuer la navigation. Laccs la page daccueil du site est considr comme un chec si laccs la page daccueil du site internet nest pas ralis dans un dlai infrieur 30 secondes. Une navigation est considre comme chec dans les cas suivants : - le temps de tlchargement dune page est suprieur 30 secondes ; - tout blocage de la navigation ou rupture de la session durant les 5 minutes ; - un nombre de pages non charg dans les dlais suprieur 10% du nombre total de pages visites durant la session, arrondi lunit suprieure.
50/100
Lorsque quune page est en cours de tlchargement lissue des 5 minutes de test, lenquteur poursuit son tlchargement au-del de la dure de 5 minutes pour conclure a posteriori si la navigation est russie ou non. Les mesures web ont t ralises laide dun outil dacquisition automatique de mesures de services de donnes (EQUAL).
2.6. Transfert de donnes en mode paquets

2.6.1. Protocole de mesure Une mesure consiste sur chacun des rseaux tests : Se connecter un serveur reli linternet, et mesurer le dlai dtablissement de la liaison ou noter lchec ventuel ; Tlcharger ou envoyer un fichier et mesurer le dlai de transfert ou noter lchec ventuel (en distinguant les checs de connexion au serveur, de coupure en cours de communication, et les abandons hors dlai) ; Vrifier que les fichiers sont intgralement tlchargs. un fichier de 5 Mo pour le tlchargement en sens descendant (download) ; un fichier de 1 Mo pour lenvoi en sens montant (upload).
Les fichiers utiliss pour les transferts de donnes sont identiques pour les 4 oprateurs :
La synoptique de transfert de donnes est prsente ci-dessous :
2.6.2. Serveur Le serveur Ikoula a t slectionn la suite de tests probatoires sur deux serveurs de deux fournisseurs diffrents (Ikoula et OVH). Les caractristiques du serveur slectionn sont les suivantes :
Fournisseur OS Bande Passante
Ikoula
Debian 6.0.2
100 Mbps garantis
51/100
2.6.3. Plateforme de mesures Les mesures ont t ralises laide dun outil dacquisition automatique de mesures de services de donnes (EQUAL). La plateforme de tests est compose dune tablette iPad 3 ainsi que des smartphones Galaxy SII et iPhone 4S tests pour chaque oprateur avec labonnement recommand, ainsi quun dispositif de golocalisation. Aucune application en dehors de celles ncessaires aux mesures nest utilise sur les terminaux de test.
2.7. Maitrise des mesures

2.7.1. Equipes et droulement de lenqute Un chef de projet assure la formation des quipes au protocole ARCEP, lorganisation des itinraires, le respect des modes opratoires et le bon droulement de lenqute. Le travail de chaque quipe est guid et scuris par une application informatique qui indique les tests effectuer et le mobile utiliser. Les enquteurs effectuent la saisie des rsultats des mesures et des repres topographiques de chaque lieu de test. Les positions des mesures sont repres par un systme de localisation GPS, ce qui permet de vrifier le respect des consignes concernant les lieux, de reprer les mesures, et daider au diagnostic en cas de problme. Au cours de lenqute, lapparition dventuels problmes de fonctionnement affectant anormalement la qualit sur un ou plusieurs rseaux est surveille en permanence. Sils proviennent du rseau dun oprateur et sont non-rcurrents, ils sont considrs comme des inconvnients subis par les clients, et les mesures sont prises en compte. Sils sont rcurrents (panne totale dun rseau dans une zone par exemple), ils sont immdiatement signals lARCEP, qui dfinit la conduite tenir. Le matriel utilis pour les tests (mobiles, tablette, carte SIM) fait lobjet dune attention particulire des enquteurs pour viter que des dfaillances puissent influencer les rsultats des mesures. 2.7.2. Gestion des quotas Pour la construction de lchantillon de lenqute, un certain nombre de quotas, tablis sur la base de valeurs de rfrence ou de moyennes reprsentatives du march actuel des mobiles en France, ont t dfinis. Ces quotas ont fait lobjet dun suivi rigoureux portant sur le respect de la rpartition horaire des mesures, la rpartition des mesures entre les terminaux pour chaque service et le nombre des lieux audits. De plus, au sein de chaque agglomration, la mthodologie applique consiste respecter les quotas de rpartition des mesures entre les ZTD - zones trs denses et les AZD - autres zones denses.
52/100
3. INDICATEURS DE PUBLICATION DE LENQUETE

3.1. Dfinitions des indicateurs publis
3.1.1. Service de messages courts (SMS) Une mesure consiste tenter dmettre un message, puis de mesurer le dlai de rception et vrifier son contenu sur chacun des rseaux tests.
Indicateurs SMS Dfinition
Taux de messages reus
Un message est considr comme reu si le message mis nest pas refus par le rseau, sil est reu dans un dlai de 2 minutes, et si son contenu est correct. Le complment 100% est donc constitu du taux de messages refuss par le rseau ou reus aprs 2 minutes, ou dont le contenu est incorrect. Taux de messages reus Un message est considr reu dans un dlai infrieur 30 secondes si le dans un dlai infrieur message est reu au sens du premier indicateur et si le dlai de rception 30 secondes du message reu ne dpasse pas 30 secondes. Les deux indicateurs sont calculs sur la base du nombre total de tentatives denvoi de message. 3.1.2. Service de messages multimdia (MMS) Une mesure consiste tenter dmettre un message avec une pice jointe de 50 ko, puis mesurer le dlai de rception et vrifier son contenu, sur chacun des rseaux tests.
Indicateurs MMS Dfinition
Taux de messages reus dans un dlai infrieur 3 minutes
Un message est considr comme reu si le message envoy nest pas refus par le rseau, sil est reu dans un dlai de 5 minutes, et si son contenu est correct. Le complment 100% est donc constitu du taux de messages refuss par le rseau ou reus aprs 5 minutes ou dont le contenu est incorrect. Un message est considr comme reu dans un dlai de 3 minutes si le message est reu au sens du premier indicateur et si le dlai de rception du message reu ne dpasse pas 3 minutes.
Les deux indicateurs sont calculs sur la base du nombre total de tentatives denvoi de message.
53/100
3.1.3. Service de navigation web Une mesure consiste accder internet depuis un smartphone reprsentatif des meilleures ventes puis raliser une succession de connexions sur diffrentes pages pendant une dure de 5 minutes.
Indicateurs web
Dfinition
Laccs un site internet est considr comme russi lorsque la page daccueil du site est charge intgralement dans un dlai infrieur 30 secondes ds la premire tentative. Ce taux est calcul sur la base du nombre total de mesures.
Taux de navigations russies et La navigation est considre comme russie si elle est maintenue maintenues pendant une dure de 5 et active pendant une dure de 5 minutes sans coupure de minutes. connexion au rseau de donnes. Ce taux est calcul sur la base du nombre total de mesures dont laccs au portail a russi. 3.1.4. Service de transmission de donnes Une mesure consiste tablir une connexion au serveur reli internet par des liens correctement dimensionns et tenter de tlcharger ou envoyer des fichiers.
Indicateurs Dfinition
Un fichier est considr comme reu sil est reu intgralement, Taux de fichiers de 1 Mo envoys* sans coupure de la connexion, dans un dlai de 2 minutes et si son (TFE) contenu est correct. Le taux est calcul sur la base du nombre total de fichiers envoys. Dbit de donnes atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers reus au sens de lindicateur TFE des fichiers de 1 Mo envoys * Cet indicateur correspond au percentile de 50% des fichiers reus Dbit de donnes atteint pour 50% au sens de lindicateur TFE des fichiers de 1 Mo envoys * Dbit de donnes atteint pour 10% Cet indicateur correspond au percentile de 10% des fichiers reus au sens de lindicateur TFE des fichiers de 1 Mo envoys * Un fichier est considr comme reu si le fichier est reu Taux de fichiers de 5 Mo reus* intgralement dans un dlai de 5 minutes et si son contenu est (TFR) correct. Le taux est calcul sur la base du nombre total de fichiers tlchargs. Dbit de donnes atteint pour 90% Cet indicateur correspond au percentile de 90% des fichiers reus au sens de lindicateur TFR des fichiers de 5 Mo reus* Cet indicateur correspond au percentile de 50% des fichiers reus Dbit de donnes atteint pour 50% au sens de lindicateur TFR des fichiers de 5 Mo reus*
54/100
Dbit de donnes atteint pour 10% Cet indicateur correspond au percentile de 10% des fichiers reus au sens de lindicateur TFR des fichiers de 5 Mo reus*
* les indicateurs correspondants sont publis sur un mode individuel.
3.2. Principes gnraux de la publication

3.2.1. Prsentation des tableaux A lexception des indicateurs relatifs au tlchargement de fichiers en mode FTP, les rsultats de lenqute sont publis sur la base, dune part, dune valeur de rfrence choisie comme tant la moyenne agrge pour les trois oprateurs et de sa prcision statistique4 , et, dautre part, de la qualification de la performance individuelle de chaque oprateur autour de cette valeur selon les cinq niveaux : trs infrieur, infrieur, voisin, suprieur, trs suprieur la valeur de rfrence. De plus, une comparaison avec les rsultats de lenqute prcdente tenant compte de la prcision statistique de ces mesures est prsente, lorsquelle est pertinente, sous forme dun signe ( ) ou ( ) accol au rsultat indiquant le cas chant une amlioration ou une dgradation par rapport lanne prcdente, et ce pour la valeur moyenne comme pour les performances individuelles des oprateurs. 3.2.2. Choix de la valeur de rfrence Chaque oprateur est qualifi en fonction de la valeur de lcart entre son rsultat (ti) et la valeur de rfrence (v), qui est la moyenne des rsultats des quatre oprateurs sur lindicateur considr.
i =1 3.2.3. Choix des seuils On ralise le test dingalit suivant : t i > v + s min, i o smin,i est dfini pour chaque oprateur de telle
v = t = ti / 4
faon que lintervalle [ t i -smin,i ,100 %] contienne la valeur (Ti) du rsultat thorique de loprateur avec une probabilit de 95 %. smin,i est calcul par la formule suivante (n tant le nombre de mesures ralises pour lindicateur considr): t (1 t i ) s min,i = 1,645 i n Pour chaque oprateur, les seuils S1 et S2 sont dfinis de la faon suivante : S1 = Max (1 % ; smin,i) S2 = 4%
3.2.4. Qualification de loprateur en fonction de la valeur de lcart par rapport aux seuils La qualification de la performance de loprateur se fait en fonction de la valeur de lcart (e) du taux ( t i ) ou du dlai ( d i ) mesur par rapport la valeur de rfrence ( v ) :
La prcision statistique ( p ) dfinit autour de la valeur mesure ( x ) un intervalle de confiance x p ; x + p , tel quil contienne la valeur thorique (X) avec une probabilit de 95 %. Elle est calcule en utilisant lapproximation normale de la
4
distribution binomiale, par la formule considr).
p = 1,96 x (1 x ) n
(o n est le nombre de mesures ralises pour lindicateur
55/100
Seuil
Performance
Dfinition
e <= -S2 - S2 < e <= - S1 - S1 < e <= S1 S1 < e <= S2 e >= S2
= + ++
Trs infrieur la valeur de rfrence Infrieur la valeur de rfrence Voisin de la valeur de rfrence Suprieur la valeur de rfrence Trs suprieur la valeur de rfrence
3.2.5. Comparaison des rsultats avec ceux de la prcdente enqute Pour chaque oprateur et pour chaque indicateur, si une comparaison avec lenqute prcdente est possible (cest--dire quand le primtre et la mthode de mesure sont identiques), lvolution par rapport lenqute prcdente est indique par un signe accol au nom de loprateur ou de la moyenne mesure. Ce signe est dtermin en fonction de lcart entre la valeur (t2) de l'indicateur de cette anne par rapport l'anne prcdente (t1), selon un seuil qui prend en compte la prcision statistique des rsultats :
= Max 1%;1.645 p(1 p )(1 / n1 + 1 / n2 )

p=
n1t1 + n2 t 2 n1 + n2 o p est le rsultat moyen de mesures ralises durant cette enqute et lenqute prcdente, et n1 et n2 les nombres de mesures de chacune des deux annes.
signe ( ) = amlioration suprieure ; pas de signe = indtermination (cart infrieur ) ; signe ( ) = dgradation suprieure .
56/100
4. RESULTATS DE LENQUETE DEVALUATION DE LA QUALITE DES SERVICES DE DONNEES DES RESEAUX DE DEUXIEME ET DE TROISIEME GENERATIONS EN FRANCE METROPOLITAINE.
Rsultats de lenqute dvaluation de la qualit des services de donnes des oprateurs mobiles en France mtropolitaine en 2012
Les rsultats prsents ci-dessous ont t ralises avec des offres des oprateurs mobiles.
Un terminal pouvait se connecter aux rseaux 2G/3G de loprateur, et, le cas chant, aux rseaux doprateurs tiers avec lesquels un accord ditinrance aurait t conclu, conformment ce qui peut tre expriment par un utilisateur.
1. Les services interpersonnels et de navigation 1.1. Lensemble des agglomrations de plus de 10.000 habitants lextrieur des btiments
SMS Taux de SMS reus
Moyenne mesure
3 274 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
98.8%
=
0.4%
= -
= +
= =
Taux de SMS reus et dans un dlai infrieur 30s

97.2%
=
0.6%
MMS Taux de MMS reus

Moyenne mesure
3 272 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
96.3%
=
0.6%
= +
= +
Taux de MMS reus et dans un dlai infrieur 3mn

95.8%
=
0.7%
Navigation WEB Taux de russite de laccs au site internet dans un dlai de 30 secondes
Moyenne mesure
20865 pages / 2897 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
94.9%
=
0.3%
---
+ ++
+ ++
Taux de russite de navigation pendant une dure de 5 minutes.

77.8%
+
0.6%
57/100
Diffusion Vido Taux de diffusions russies
Moyenne mesure
3 275 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
89.1%
=
1.1%
----
++ ++ ++
+ = =
Taux de diffusions russies et de qualit parfaite

86.7%
=
1.2%
Taux de diffusions russies et de qualit correcte

87.6%
=
1.1%
1.2. Lensemble des agglomrations de plus de 10.000 habitants lintrieur des btiments

Moyenne mesure
3 274 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
98.8%
=
0.4%
= -
= +
= +

97.1%
=
0.6%

Moyenne mesure
3 274 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
95.5%
=
0.7%
= =
= +

95.0%
=
0.7%
Navigation WEB Taux de russite de laccs unsite internet

Moyenne mesure
Bouygues Telecom
Free Mobile
Orange France
SFR
94.0%
+
0.3%
---
+ ++
+ ++
Taux de navigations russies et maintenues pendant une dure de 5 minutes

74.9%
+
0.6%

Moyenne mesure
3 271 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
87.4%
=
1.1%
----
++ ++ ++
= = =

84.7%
=
1.2%

85.5%
=
1.2%
58/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles 1.3. Lensemble des agglomrations de plus de 400.000 habitants lextrieur des btiments

Moyenne mesure
1 634 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
99.1%
=
0.5%
= -
= +
= +

97.5%
=
0.8%

Moyenne mesure
1 634 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
96.8%
+
0.9%
= =
= =

96.5%
=
0.9%

Moyenne mesure
Bouygues Telecom
Free Mobile
Orange France
SFR
94.9%
=
0.4%
---
+ ++
+ ++

77.5%
+
2.1%

Moyenne mesure
1 635 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
89.2%
=
1.5%
----
++ ++ ++
++ ++ ++

87.1%
=
1.6%

88.1%
=
1.6%
59/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles 1.4. Lensemble des agglomrations de plus de 400.000 habitants lintrieur des btiments

Moyenne mesure
1 634 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
98.8%
=
0.5%
= -
+ =
= +

96.9%
=
0.8%

Moyenne mesure
1 634 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
95.8%
=
1.0%
= =
= =
= =

95.7%
=
1.0%

Moyenne mesure
Bouygues Telecom
Free Mobile
Orange France
SFR
94.1%
+
0.4%
---
+ ++
+ ++

74.7%
+
2.2%

Moyenne mesure
1 632 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
87.1%
=
1.6%
----
++ ++ ++
++ ++ ++

85.3%
=
1.7%

86.0%
=
1.7%
60/100
2. Transferts de donnes 2.1 Mesures ralises partir de smartphones reprsentatifs des meilleures ventes.
Les smartphones retenus pour les mesures sont le Samsung Galaxy SII et liPhone 4S dApple.
Loffre grand public teste pour Bouygues Tlcom est Eden Smart Phone 24/24 3Go Loffre grand public teste pour Free Mobile est Forfait Free Mobile 19,99 Loffre grand public teste pour Orange France est Jet 24/7 Loffre grand public teste pour SFR est Forfait Carr Absolu International 2.1.1 Lensemble des agglomrations de plus de 10.000 habitants lextrieur des btiments
Envoi de fichiers de 1 Mo
Moyenne mesure
3 186 mesures
Bouygues Telecom
797 mesures
Free Mobile
779 mesures
Orange France
801 mesures
SFR
809 mesures
Taux de fichiers de 1 Mo envoys

91.8% 1.0%
83.5% 2.6%
92.6% 1.8%
95.8% 1.4%
95.0% 1.5%
Dbit de donnes atteint pour 90% des fichiers envoys Dbit de donnes atteint pour 50% des fichiers envoys Dbit de donnes atteint pour 10% des fichiers envoys
322 kbit/s 981 kbit/s
231 kbit/s
236 kbit/s
259 kbit/s
846 kbit/s 1 001 kbit/s 1 125 kbit/s
1 562 kbit/s 2 274 kbit/s 2 291 kbit/s 2 083 kbit/s
*Avertissement, la courbe du pourcentage cumul de rpartition des dbits upload prsente ci-aprs tient compte galement des tentatives rates
Tlchargement de fichiers de 5 Mo
Moyenne mesure
3 195 mesures
Bouygues Telecom
796 mesures
Free Mobile
779 mesures
Orange France
811 mesures
SFR
809 mesures
Taux de fichiers de 5 Mo reus

96.2% 0.7%
93.8% 1.7%
96.8% 1.2%
97.5% 1.1%
96.6% 1.2%
668 kbit/s
875 kbit/s 1 299 kbit/s 695 kbit/s
2 391 kbit/s 2 917 kbit/s 3 855 kbit/s 2 456 kbit/s 5 459 kbit/s 4 849 kbit/s 6 682 kbit/s 5 612 kbit/s
*Avertissement, la courbe du pourcentage cumul de rpartition des dbits download prsente ci-aprs tient compte galement des tentatives rates
61/100
Rpartition des dbits en Outdoor, download, dans les agglos de + de 10000 habitants
70 60
Nombre de mesures
50 40 30 20 10 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000 Bouygues Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit en Outdoor, Download, dans les agglos de + de 10000 habitants
1800 1600 1400
Cumul des chantillons
1200 1000 800 600 400 200 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000 Bouygues Free Orange SFR
62/100
Rpartition des dbits en Outdoor, Upload, dans les agglos de + de 10000 habitants
120 100
Nombre de mesures
80 Bouygues 60 40 20 0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000 Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit en Outdoor, Upload, dans les agglos de + de 10000 habitants
1800 1600 1400
1200 1000 800 600 400 200 0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000 Bouygues Free Orange SFR
63/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles 2.1.2 Lensemble des agglomrations de plus de 10.000 habitants lintrieur des btiments
Moyenne mesure
3 174 mesures
Bouygues Telecom
797 mesures
Free Mobile
784 mesures
Orange France
794 mesures
SFR
799 mesures

90.5% 1.0%
83.7% 2.6%
90.2% 2.1%
96.1% 1.4%
92.0% 1.9%
236 kbit/s
252 kbit/s
999 kbit/s 1 126 kbit/s
Moyenne mesure
3 186 mesures
Bouygues Telecom
798 mesures
Free Mobile
786 mesures
Orange France
802 mesures
SFR
800 mesures

95.2% 0.7%
93.9% 1.7%
94.4% 1.6%
96.9% 1.2%
95.5% 1.4%
681 kbit/s
64/100
Rpartition des dbits en indoor, download, dans les agglos de + de 10000 habitants
70 60
Nombre de mesures
50 40 30 20 10 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000 Bouygues Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit en indoor, download, dans les agglos de + de 10000 habitants
1800 1600 1400
65/100
Rpartition des dbits en indoor, Upload, dans les agglos de + de 10000 habitants
100 90 80
Nombre de mesures
70 60 Bouygues 50 40 30 20 10 0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000 Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit en indoor, Upload, dans les agglos de + de 10000 habitants
1800 1600 1400
66/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles 2.1.3 Lensemble des agglomrations de plus de 400.000 habitants lextrieur des btiments
Moyenne mesure
1 606 mesures
Bouygues Telecom
403 mesures
Free Mobile
393 mesures
Orange France
402 mesures
SFR
408 mesures

92.3% 1.3%
84.6% 3.5%
90.6% 2.9%
97.5% 1.5%
96.6% 1.8%
243 kbit/s
249 kbit/s
Moyenne mesure
1 610 mesures
Bouygues Telecom
402 mesures
Free Mobile
392 mesures
Orange France
408 mesures
SFR
408 mesures

97.0% 0.8%
95.5% 2.0%
96.7% 1.8%
97.5% 1.5%
98.3% 1.3%
677 kbit/s
67/100
Rpartition des dbits en Outdoor, download, dans le TOP14

35 30 25 20 15 10 5 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000
Nombre de mesures
Bouygues Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit en Outdoor, Download, dans le TOP14
900 800 700
68/100
Rpartition des dbits en Outdoor, Upload, dans le TOP14

80 70 60
Nombre de mesures
50 Bouygues 40 30 20 10 0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000 Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit en Outdoor, Upload, dans le TOP14
900 800 700
69/100
2.1.4 Lensemble des agglomrations de plus de 400.000 habitants lintrieur des btiments
Moyenne mesure
1 599 mesures
Bouygues Telecom
399 mesures
Free Mobile
398 mesures
Orange France
399 mesures
SFR
403 mesures

91.1% 1.4%
85.5% 3.5%
86.7% 3.3%
97.5% 1.5%
94.5% 2.2%
243 kbit/s
259 kbit/s
Moyenne mesure
1 608 mesures
Bouygues Telecom
401 mesures
Free Mobile
399 mesures
Orange France
405 mesures
SFR
403 mesures

96.2% 0.9%
95.0% 2.1%
94.5% 2.2%
97.5% 1.5%
97.8% 1.4%
687 kbit/s
70/100
Rpartition des dbits en indoor, download, dans le TOP14

35 30 25 20 15 10 5 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000
Nombre de mesures
Cumul des chantillons atteignant un minimum de dbit en indoor, download, dans le TOP14
900 800 700
71/100
Rpartition des dbits en indoor, Upload, dans le TOP14

70 60 50 40 30 20 10 0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000
Nombre de mesures
Cumul des chantillons atteignant un minimum de dbit en indoor, Upload, dans le TOP14
900 800 700
72/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles 2.2 A partir dun terminal offrant des performances maximales
Le terminal slectionn est liPad 3
Loffre grand public teste pour Bouygues Tlcom est Forfait Internet 3G+ 24/24 5Go Loffre grand public teste pour Free Mobile est Forfait Free Mobile 19,99 Loffre grand public teste pour Orange France est Lets GO 5 Go H+ Loffre grand public teste pour SFR est Forfait CARRE TABLETTE & CLE 3Go 2.2.1 Lensemble des agglomrations de plus de 10.000 habitants lextrieur des btiments 2.2.1 Lensemble des agglomrations de plus de 10.000 habitants lextrieur des btiments
Envoi de fichiers de 1 Mo Moyenne mesure
3 213 mesures
Bouygues Telecom
810 mesures
Free Mobile
797 mesures
Orange France
805 mesures
SFR
801 mesures

91.2% 1.0%
88.7% 2.2%
90.1% 2.1%
94.9% 1.5%
91.2% 2.0%
237 kbit/s 927 kbit/s 1 599 kbit/s
Bouygues Telecom
814 mesures
Moyenne mesure
3 216 mesures
Free Mobile
797 mesures
Orange France
806 mesures
SFR
799 mesures

93.3% 0.9%
92.9% 1.8%
91.9% 1.9%
96.3% 1.3%
92.2% 1.9%
1 142 kbit/s 3 774 kbit/s
73/100
74/100
75/100
Envoi de fichiers de 1 Mo Moyenne mesure
3 216 mesures
Bouygues Telecom
800 mesures
Free Mobile
802 mesures
Orange France
820 mesures
SFR
794 mesures

92.2% 0.9%
90.5% 2.0%
90.6% 2.0%
94.5% 1.6%
93.2% 1.8%
Bouygues Telecom
805 mesures
Moyenne mesure
3 230 mesures
Free Mobile
805 mesures
Orange France
821 mesures
SFR
799 mesures

93.2% 0.9%
93.7% 1.7%
90.5% 2.0%
95.8% 1.4%
92.8% 1.8%
76/100
77/100
2.2.3. Lensemble des agglomrations de plus de 400.000 habitants lextrieur des btiments
Moyenne mesure
1 605 mesures
Bouygues Telecom
404 mesures
Free Mobile
394 mesures
Orange France
409 mesures
SFR
398 mesures

91.3% 1.4%
89.9% 2.9%
87.6% 3.3%
94.9% 2.1%
92.7% 2.6%
78/100
Tlchargement de fichiers de 5 Mo Moyenne mesure
1 608 mesures
Bouygues Telecom
406 mesures
Free Mobile
394 mesures
Orange France
410 mesures
SFR
398 mesures

93.7% 1.2%
94.8% 2.2%
90.9% 2.8%
96.1% 1.9%
93.0% 2.5%
79/100
80/100
Moyenne mesure
1 613 mesures
Bouygues Telecom
405 mesures
Free Mobile
401 mesures
Orange France
408 mesures
SFR
399 mesures

91.6% 1.4%
90.9% 2.8%
87.8% 3.2%
94.1% 2.3%
93.7% 2.4%
Moyenne mesure
1 618 mesures
Bouygues Telecom
409 mesures
Free Mobile
402 mesures
Orange France
410 mesures
SFR
397 mesures

93.2% 1.2%
93.6% 2.4%
89.1% 3.1%
96.1% 1.9%
94.0% 2.3%
81/100
82/100
83/100
3. Rsultats synthtiques en agglomrations
Les rsultats ci-dessous reprsentent une moyenne pondre des rsultats des mesures ralises en agglomrations : Usage piton lextrieur des btiments (pondration de 1/2) Usage piton lintrieur des btiments (pondration de 1/2)
3.1. Les services interpersonnels et de navigation
3.1.1 Lensemble des agglomrations de plus de 10.000 habitants

Moyenne mesure
6 548 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
98.8%
=
0.3%
=
( )
= +
Orange France
= =
( )

97.1% ( )
0.4%
Moyenne mesure
6 546 mesures
=
( )
Bouygues Telecom
Free Mobile

SFR
95.9% ( )
0.5%
= =
= =
=
( )

95.4% ( )
0.5%
+
( )
84/100
Moyenne mesure
Bouygues Telecom
Free Mobile
Orange France
SFR
94.4%
=
0.2%
-( )
+ ++
( )
Orange France
+ ++
( )

76.4% ( )
0.4%
Moyenne mesure
6 546 mesures
--

( ) Bouygues Free Mobile Telecom
SFR
88.2%
0.8%
----
++ ++ ++
+ = =

85.7%
0.8%

86.5%
0.8%
3.2.2 Les quatorze agglomrations de plus de 400.000 habitants

Moyenne mesure
3 268 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
99.0% ( )
0.3%
=
( )
= -
= +
( )
= +
SFR

97.2%
=
0.6%

Moyenne mesure
3 268 mesures
( ) Bouygues Free Mobile Telecom
Orange France
96.3%
=
0.6%
Free Mobile
=
( )
=
( )

96.1%
=
0.7%
+
( ) Orange France
=
( )

Moyenne mesure
Bouygues Telecom
SFR
94.5%
+
0.3%
-( )
+ ++
( )
+
( )

76.1% ( )
0.6%
+
( )
--
++
( )
85/100
Moyenne mesure
3 267 mesures
Bouygues Telecom
Free Mobile
Orange France
SFR
88.2%
=
1.1%
----
++ ++ ++
++ ++ ++

86.2%
=
1.2%

87.1%
=
1.2%
3.2. Les transferts de donnes
3.2.1 Mesures ralises partir de smartphones reprsentatifs des meilleures ventes
Les smartphones retenus pour les mesures sont le Samsung Galaxy SII et liPhone 4S dApple.
Loffre grand public teste pour Bouygues Tlcom est Eden Smart Phone 24/24 3Go Loffre grand public teste pour Free Mobile est Forfait Free Mobile 19,99 Loffre grand public teste pour Orange France est Jet 24/7 Loffre grand public teste pour SFR est Forfait Carr Absolu International
3.2.1.1 Lensemble des agglomrations de plus de 10.000 habitants
Moyenne mesure
6 360 mesures
Bouygues Telecom
1 594 mesures
Free Mobile
1 563 mesures
Orange France
1 595 mesures
SFR
1 608 mesures

91.1% ( ) 0.7%
83.6% ( ) 1.8%
91.4% 1.4%
95.9% ( ) 1.0%
93.5% ( ) 1.2%
236 kbit/s
252 kbit/s
86/100
6 381 mesures
Bouygues Telecom
1 594 mesures
Free Mobile
1 565 mesures
Orange France
1 613 mesures
SFR
1 609 mesures

95.7% ( ) 0.5%
93.9% ( ) 1.2%
95.6% 1.0%
97.2% ( ) 0.8%
96.0% 1.0%
668 kbit/s
Rpartition des dbits tous usages confondus, en download, dans les agglos de + de 10000 habitants
120 100
Nombre de mesures
80 Bouygues 60 40 20 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000 Free Orange SFR
87/100
Cumul des chantillons atteignant un minimum de dbit tous usages confondus, en Download, dans les agglos de + de 10000 habitants
1800 1600 1400
Rpartition des dbits tous usages confondus, en Upload, dans les agglos de + de 10000 habitants
250
200
Nombre de mesures
150 Bouygues Free 100 Orange SFR 50
0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000
88/100
Cumul des chantillons atteignant un minimum de dbit tous usages confondus, en Upload, dans les agglos de + de 10000 habitants
1800 1600 1400
3.2.1.2 Les quatorze agglomrations de plus de 400.000 habitants
Moyenne mesure
3 205 mesures
Bouygues Telecom
802 mesures
Free Mobile
791 mesures
Orange France
801 mesures
SFR
811 mesures

91.7% ( ) 1.0%
85.0% ( ) 2.5%
88.6% 2.2%
97.5% ( ) 1.1%
95.6% 1.4%
243 kbit/s
249 kbit/s
89/100
3 218 mesures
Bouygues Telecom
803 mesures
Free Mobile
791 mesures
Orange France
813 mesures
SFR
811 mesures

96.6% 0.6%
95.3% ( ) 1.5%
95.6% 1.4%
97.5% ( ) 1.1%
98.0% ( ) 1.0%
677 kbit/s
90/100
Rpartition des dbits tous usages confondus, en download, dans le TOP14

60 50
Nombre de mesures
40 Bouygues 30 20 10 0 0 2000 4000 6000 Dbit kbits/s 8000 10000 12000 Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit tous usages confondus, en Download, dans le TOP14
900 800 700
91/100
Rpartition des dbits en Outdoor, Upload, dans le TOP14

80 70 60
Nombre de mesures
50 Bouygues 40 30 20 10 0 0 500 1000 1500 2000 Dbit kbits/s 2500 3000 3500 4000 Free Orange SFR
Cumul des chantillons atteignant un minimum de dbit tous usages confondus, en Upload, dans le TOP14
900 800 700
3.2.2 Mesures ralises partir dun terminal offrant des performances maximales
92/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles Le terminal slectionn est liPad 3
Loffre grand public teste pour Bouygues Tlcom est Forfait Internet 3G+ 24/24 5Go Loffre grand public teste pour Free Mobile est Forfait Free Mobile 19,99 Loffre grand public teste pour Orange France est Lets GO 5 Go H+ Loffre grand public teste pour SFR est Forfait CARRE TABLETTE & CLE 3Go
3.2.2.1 Lensemble des agglomrations de plus de 10.000 habitants
Moyenne mesure
6 441 mesures
Bouygues Telecom
1 612 mesures
Free Mobile
1 601 mesures
Orange France
1 630 mesures
SFR
1 598 mesures

91.7% ( ) 0.7%
89.6% 1.5%
90.4% 1.4%
94.7% ( ) 1.1%
92.2% ( ) 1.3%
Bouygues Telecom
1 621 mesures
Moyenne mesure
6 458 mesures
Free Mobile
1 604 mesures
Orange France
1 632 mesures
SFR
1 601 mesures

93.3% 0.6%
93.3% ( ) 1.2%
91.2% 1.4%
96.0% 0.9%
92.5% ( ) 1.3%
93/100
94/100
95/100
ARCEP- Compte rendu pour lanne 2012 de lenqute de qualit des services de voix des rseaux mobiles 3.2.2.2 Les quatorze agglomrations de plus de 400.000 habitants
Moyenne mesure
3 227 mesures
Bouygues Telecom
811 mesures
Free Mobile
797 mesures
Orange France
819 mesures
SFR
800 mesures

91.4% ( ) 1.0%
90.4% 2.0%
87.6% 2.3%
94.5% ( ) 1.6%
93.3% ( ) 1.7%
Moyenne mesure
3 235 mesures
Bouygues Telecom
817 mesures
Free Mobile
798 mesures
Orange France
822 mesures
SFR
798 mesures

93.5% 0.9%
94.2% ( ) 1.6%
90.0% 2.1%
96.1% 1.3%
93.5% 1.7%
96/100
97/100
98/100
5. Rsultats de la campagne de mesures ralises titre exprimental dans les communes hors agglomration de plus de 10 000 habitants
Pour la premire anne, des mesures ont t ralises titre exprimental dans neuf communes situes hors agglomrations de plus de 10.000 habitants. Ainsi les mesures ont t effectues dans trois communes de moins de 500 habitants, trois de 500 1.000 habitants et trois de 1.000 10.000 habitants. Pour lensemble de ces communes, les services 3G devaient tre fournis par lensemble des oprateurs (le cas chant, au travers du recours litinrance). Le nombre de mesures ralis est le suivant: - 314 dans les communes de moins de 500 habitants ; - 396 dans les communes de 500 1.000 habitants ; - 516 dans les communes de 1.000 10.000 habitants. Au sein de chaque commune, les mesures ont t rparties de manire homogne sur lensemble du territoire. Communes Puy-Guillaume Thiville Bitschhoffen Rollecourt Charancieu Luzancy Treilleires La Role Peyrolles-enProvence Dpartements Puy-de-Dme Calvados Bas-Rhin Pas-de-Calais Isre Seine-et-Marne loire atlantique Gironde Bouches-du-Rhne
Les tests ont t raliss avec le Samsung Galaxy SII et liPhone 4S dApple. Sur chaque lieu, ont t raliss en moyenne 1 envoi dun fichier de 1 Mo (uplink) et 1 tlchargement dun fichier de 5 Mo (downlink). Le protocole suivi pour raliser les mesures dans les communes de moins de 10 000 habitants est le mme que celui utilis pour tester le service de transfert de fichiers dans les agglomrations de plus de 10 000 habitants. Il a pleinement pu tre mis en uvre.
99/100
Les rsultats montrent une grande disparit entre les rsultats sur le taux de fichiers de 1Mo envoys, qui varie entre 63,5% et 96,7% selon loprateur. De mme que le taux de fichiers de 5Mo qui varie entre 69,8% et 96,9% suivant les oprateurs. Les dbits mdians montants stablissent entre 850 kbit/s pour loprateur le moins performant et 1067 kbit/s pour loprateur le plus performant. Pour le service de tlchargement, les dbits mdians descendants varient entre 2Mbit/s et 4Mbit/s
100/100

CR Enquete QoS 2g 3g Nov2012

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

CR Enquete QoS 2g 3g Nov2012

Hochgeladen von

Copyright:

Verfügbare Formate

Novembre 2012

I. Qualit du service de voix des oprateurs de rseaux mobiles

II. Qualit des services de donnes des oprateurs de rseaux mobiles

1. Enqute relative la qualit du service de voix

Lens, Strasbourg, Grenoble, Rouen et Avignon.

2. Enqute relative la qualit des services de donnes

3. Format de restitution des rsultats

Prcision statistique et arrondis

1. CARACTERISTIQUES TECHNIQUES DE LENQUETE

Calendrier, planning et horaires

1.1.3 Terminal utilis

1.2 Construction de lchantillon

Carte des agglomrations et des axes tests

Reprsentation cartographique et rgionale de lensemble de lenqute

Volumtrie et rpartition par type de lieu et par type dusage

1918 1324 658

2395 1518 678

2005 1416 660

6318 4258 1996

1945 1343 652

2381 1513 664

1991 1393 678

6317 4249 1994

Au total, ltude a produit et exploit 38 120 appels tlphoniques.

1.3 Conditions de mesure

Conditions de mesure dans les trains de banlieue et tramways

2500 564 440 482

Conditions de mesure sur les autoroutes

Conditions de mesure dans les TGV

Rcapitulatif des mesures ralises par strate et par situation dutilisations

A lintrieur des btiments

A lextrieur des btiments 2418

Total des mesures 2418

1310 2667 4472

1342 3031 3986 4530

3990 8507 4472 3986 4530 12635 40538

1.4 Notation de la qualit auditive

1.5 Equipes et droulement de lenqute

Contrle de cohrence des mesures ralises

Matrise des quotas

Agglomrations de plus de 400 000 habitants (TOP14)

Agglomrations de plus de 10 000 habitants hors TOP14

TGV, trains de banlieue et autoroutes

2. INDICATEURS DE PUBLICATION DE LENQUETE

2.2 Principes gnraux de la publication

Qualification de loprateur en fonction de la valeur de lcart par rapport aux seuils

Comparaison des rsultats avec ceux de lenqute prcdente

3 Rsultats de lenqute dvaluation de la qualit du service de voix en France mtropolitaine

3.1 Usage piton en agglomrations

93,38% ( ) 1,51% 93,87% ( ) 1,46%

499 mesures 97,25% ( ) 1,39% = 96,36% ( ) 1,60% 96,66% ( ) 1,54% = ( ) = =

496 mesures 94,57% ( ) 1,97% = 93,92% ( ) 2,08% 94,22% ( ) 2,03% = ( ) = ( ) = ( )

599 mesures 95,87% 1,59% = 94,11% ( ) 1,83% 95,49% 1,65%

597 mesures 93,74% ( ) 1,94% = 91,94% ( ) 2,18% 92,99% ( ) 2,05% = ( ) = ( ) = ( )

3.2 Moyens de transport

975 mesures 95,46% 1,30% = 94,54% 1,42% 94,90% 1,37%

984 mesures 91,88% ( ) 1,70% = 90,56% 1,82% 91,04% ( ) 1,78% = = =

3.2.2. Les quatorze agglomrations de plus de 400.000 habitants en vhicule automobile

480 mesures 95,62% 1,82% = 95,05% 1,93% 95,21% 1,90%

486 mesures 91,57% 2,46% = 90,80% 2,56% 90,95% 2,54% = = =

3.2.3. Les axes autoroutiers

Autoroutes Taux de communications russies et maintenues 2 minutes Prcision statistique

89,29% ( ) 1,80% 90,23% ( ) 1,73%