Taille d'échantillon et puissance pour un test de comparaison de variances dans Excel

Ce tutoriel explique comment calculer et interpréter une taille d’échantillon et une puissance pour un test de comparaison de variances avec Excel en utilisant XLSTAT.

Qu'est-ce que la puissance d'un test statistique ?

XLSTAT propose plusieurs tests afin de comparer des variances. XLSTAT permet également de calculer la puissance ou le nombre d'observations nécessaires pour un test basé sur la distribution F de Fisher afin de comparer des variances.

Lorsqu'on teste une hypothèse à l'aide d'un test statistique, on a plusieurs éléments à choisir :

• L'hypothèse nulle H0 et l'hypothèse alternative Ha

• Le test statistique à utiliser

• L'erreur de première espèce (erreur de type I) que l'on appelle aussi alpha. Elle se produit lorsqu'on rejette l'hypothèse nulle alors qu'elle est vraie. Elle est fixée a priori pour chaque test et vaut 5%.

L'erreur de seconde espèce ou beta est moins étudiée mais elle revêt une grande importance. En effet, elle représente la probabilité que l'on ne rejette pas l'hypothèse nulle alors qu'elle est fausse. On ne peut pas la fixer a priori mais, on peut essayer de la minimiser, en jouant sur les autres paramètres du modèle. La puissance d'un test est calculée comme 1-beta et représente la probabilité que l'on rejette l'hypothèse nulle alors qu'elle est bien fausse.

On voudra donc maximiser la puissance du test. XLSTAT permet de calculer cette puissance (ainsi que beta) lorsque les autres paramètres du test sont connus. D'autre part, il permet pour une puissance donnée d'évaluer la taille de l'échantillon nécessaire à l'obtention de cette puissance.

Les calculs de puissance en statistique se font généralement avant que l'expérience ne soit menée. On s'en sert principalement pour estimer le nombre d'observations nécessaire pour que l'expérience ait la qualité statistique requise.

But de ce tutoriel

Nous nous placerons dans un exemple d’un test sur deux variances.

On souhaite mesurer le rythme cardiaque d’un certain nombre de patients après administration d’un médicament, car on se demande si l’absorption de ce médicament a un effet sur le rythme cardiaque. Avant de collecter les données pour un test à 2 variances, on utilise un calcul d'effectif d'échantillon afin d’obtenir une puissance de 0,9. Comme on veut avoir des échantillons de même taille, on choisi un rapport N1/N2 de 1.

Nous ne connaissons pas encore les paramètres de nos échantillons, nous allons utiliser le concept de taille de l'effet (effect size). Il s’agit du rapport entre les deux variances à comparer.

On testera donc 3 tailles d'effets : 0.6, 0.9 et 1.5. Comme la taille de l'effet se base sur le rapport des variances, on s'attend à ce que plus l'effet est proche de 1, plus la taille d'échantillon nécessaire sera grande, car il sera plus difficile d’obtenir deux échantillons avec la même variance.

Paramétrer le calcul de la taille de l'échantillon nécessaire pour un test de comparaison de variances

Une fois XLSTAT lancé, cliquez sur l'icône Puissance et choisissez la fonction comparer des variances.

Une fois le bouton cliqué, la boîte de dialogue apparaît.

Vous devez alors choisir l'objectif Trouver la taille de l'échantillon. On prendra comme hypothèse alternative Variance 1 / Variance 2 <> 1.

L'alpha est de 0,05, la puissance recherchée est de 0,9.

On prendra des échantillons de tailles égales donc le rapport N1/N2 est égal à 1. Plutôt que de rentrer des paramètres, on sélectionne l'option Taille de l'effet et on prend 0,6.

Dans l'onglet Graphique, l'option graphique de simulation est activée et on représentera la taille de l'échantillon 1 sur l'axe vertical et la puissance sur l'axe horizontal.

La puissance varie entre 0,8 et 0,95 par intervalle de 0,01.

Une fois que vous avez cliqué sur le bouton OK, les calculs sont effectués, puis les résultats sont affichés.

Interpréter les résultats du calcul de la taille de l'échantillon nécessaire pour un test de comparaison de variances

Le premier tableau rassemble les résultats du calcul ainsi qu'une interprétation des résultats.

On voit qu'il faut 163 observations par échantillon pour obtenir une puissance la plus proche possible de 0,9.

Le tableau suivant rassemble les calculs obtenus pour chaque valeur de la puissance comprise entre 0,8 et 0,95.

Le graphique de simulation montre l'évolution de la taille de l'échantillon en fonction de la puissance. On voit que pour une puissance de 0,8, il suffit d'un peu plus de 120 observations par échantillon et que pour une puissance de 0,95 on arrive à 200 observations.

Pour des tailles d'effet de 0.9 et 1.5, on obtient les résultats suivants :

La taille de l'échantillon passe à 3788 pour une taille d’effet de 0.9 et redescend à 258 pour une taille d’effet de 1.5.

Ceci montre donc bien l’hypothèse faite en début de tutoriel, si on souhaite avoir des échantillons avec une variance similaire, il faudra avoir une taille d’échantillon très élevée.

XLSTAT est un outil puissant aussi bien pour rechercher la taille de l'échantillon requise pour une analyse que pour calculer la puissance d'un test. Évidemment, si l'utilisateur dispose de plus d'informations sur ses échantillons, il pourra donner des détails sur les paramètres en entrée, plutôt que de rentrer la taille de l'effet.