Der Kappa-Koeffizient ist ein zufallsbereinigter Übereinstimmungsindex. Beim maschinellen Lernen kann es verwendet werden, um den Grad der Übereinstimmung zwischen den Vorhersagen eines Algorithmus und einigen vertrauenswürdigen Bezeichnungen derselben Objekte zu quantifizieren. Kappa beginnt mit Genauigkeit - dem Anteil aller Objekte, die sowohl dem Algorithmus als auch den vertrauenswürdigen Bezeichnungen derselben Kategorie oder Klasse zugeordnet sind. Anschließend wird jedoch versucht, die Wahrscheinlichkeit anzupassen, dass der Algorithmus und vertrauenswürdige Bezeichnungen Elemente "zufällig" derselben Kategorie zuweisen. Dazu wird davon ausgegangen, dass der Algorithmus und die vertrauenswürdigen Bezeichnungen jeweils ein vorbestimmtes Kontingent für den Anteil der Objekte haben, die jeder Kategorie zugewiesen werden sollen. Der ursprüngliche Kappa-Koeffizient nahm nominelle Kategorien an, wurde jedoch später durch "Gewichtung" auf nicht nominale Kategorien erweitert. Die Idee hinter der Gewichtung ist, dass einige Kategorien ähnlicher sind als andere, und daher verdienen einige nicht übereinstimmende Kategorienpaare unterschiedliche Grade an "Teilkredit". Quadratische Gewichte sind eine beliebte Methode, um zu bestimmen, wie viel Teilguthaben jedem nicht übereinstimmenden Kategorienpaar zugewiesen werden soll. Es gibt andere Gewichte. Weitere Informationen zu all diesen Konzepten, einschließlich der MATLAB-Funktionen, finden Sie auf meiner Website: mreliability.jmgirard.com

Siehe auch: Cohen, J. (1968). Gewichteter Kappa: Nominale Skalenvereinbarung mit Rückstellung für skalierte Meinungsverschiedenheiten oder Teilgutschriften. Psychological Bulletin, 70 (4), 213–220.

Update: Siehe mein Vereinbarung -Paket oder Gwets irrCAC -Paket für R-Funktionen.

Hier ist ein gut erklärtes Beispiel für die quadratisch gewichtete Kappa-Punktzahl: http://kagglesolutions.com/r/evaluation-metrics--quadratic-weighted-kappa