Kappa de Cohen
En statistique, le test du κ (kappa) mesure l’accord entre observateurs lors d'un codage qualitatif en catégories. L'article introduisant le κ a pour auteur Jacob Cohen – d'où sa désignation de κ de Cohen – et est paru dans le journal Educational and Psychological Measurement en 1960. Le κ est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le κ de Fleiss (1981).
Définition[modifier | modifier le code]
Le calcul du κ se fait de la manière suivante :
où Pr(a) est l'accord relatif entre codeurs et Pr(e) la probabilité d'un accord aléatoire. Si les codeurs sont totalement en accord, κ = 1. S'ils sont totalement en désaccord (ou en accord dû uniquement au hasard), κ ≤ 0.
Exemple[modifier | modifier le code]
La méthode de Kappa mesure le degré de concordance entre deux évaluateurs, par rapport au hasard.
Premier cas[modifier | modifier le code]
Supposons que deux évaluateurs (Marc et Mathieu) sont chargés de définir dans un groupe de 50 étudiants ceux qui seront reçus ou non à l'examen final. Chacun d'eux contrôle la copie de chaque étudiant et la note comme reçu ou non reçu (OUI ou NON). Le tableau ci dessous relate les résultats :
| Marc | |||
|---|---|---|---|
| OUI | NON | ||
| Mathieu | OUI | a | b |
| NON | c | d | |
| Marc | |||
|---|---|---|---|
| OUI | NON | ||
| Mathieu | OUI | 20 | 5 |
| NON | 10 | 15 | |
L'observation des accords entre évaluateurs est :
Pour calculer la probabilité d'accord « au hasard », on note que :
- Mathieu a noté « OUI » à 25 étudiants, soit 50 % des cas.
- Marc a noté « OUI » dans 60 %, soit 30 étudiants sur 50.
Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est :
De même la probabilité que les deux correcteurs notent « NON » est :
La probabilité globale que les correcteurs soient en accord est donc :
La formule de Kappa donnera alors :
Second cas[modifier | modifier le code]
Dans une autre proportion nous aurions obtenu :
| Marc | |||
|---|---|---|---|
| OUI | NON | ||
| Mathieu | OUI | 25 | 2 |
| NON | 3 | 20 | |
L'observation des accords entre évaluateurs est :
Pour calculer la probabilité d'accord « au hasard », on note que :
- Mathieu a noté « OUI » à 27 étudiants, soit 54 % des cas,
- et que Marc a noté « OUI » dans 56 %.
Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est :
De même la probabilité que les deux correcteurs notent « NON » est :
La probabilité globale que les correcteurs soient en accord est donc :
La formule de Kappa donnera alors :
Ordres de grandeur[modifier | modifier le code]
Landis et Koch[1] ont proposé la table suivante pour interpréter le κ de Cohen. Il s'agit d'ordres de grandeurs qui ne font pas consensus dans la communauté scientifique[2], notamment parce que le nombre de catégories influe sur l'estimation obtenue – moins il y a de catégories, plus le κ est élevé[3].
| Interprétation | |
|---|---|
| < 0 | Désaccord |
| 0.0 — 0.20 | Accord très faible |
| 0.21 — 0.40 | Accord faible |
| 0.41 — 0.60 | Accord modéré |
| 0.61 — 0.80 | Accord fort |
| 0.81 — 1.00 | Accord presque parfait |
Notes et références[modifier | modifier le code]
- Landis, J. R. and Koch, G. G. (1977) pp. 159--174
- Gwet, K. (2001)
- Sim, J. and Wright, C. C. (2005) pp. 257--268
Liens externes[modifier | modifier le code]
- Site sur le Coefficient Kappa
