Iota Inter Coder Reliability for Content Analysis

Iota Inter Coder Reliability for Content Analysis, kurz iotarelr, ist ein Package für R, mit dem sich die Intercoder-Reliabilität kalkulieren lässt. Es stellt eine Alternative zu anderen Kennzahlen dar, wie z. B. Cohens Kappa, Krippendorffs Alpha und Gwets Agreement Coefficient.

Das Package stellt mehrere Kennzahlen zur Verfügung, die zur Beurteilung der Reliabilität auf Ebene der Skalen genutzt werden können. Das besondere Merkmal ist allerdings, dass mit Hilfe des Packages auch Kennzahlen kalkuliert werden werden, welche die Reliabilität einzelner Kategorien beschreiben. Grenzwerte und Methoden zur Visialisierung stehen ebenfalls zur Verfügung.

Berding, F. & Pargmann, J. (2022). Iota Reliability Concept of the Second Generation. Measures for Content Analysis Done by Humans or Artifical Intelligences. doi: 10.30819/5581

Berding, F.; Riebenbauer, E.; Stütz, S.; Jahncke, H.; Slopinski, A. & Rebmann, K. (2022) Performance and Configuration of Artificial Intelligence in Educational Settings. Introducing a New Reliability Concept Based on Content Analysis. Frontiers in Education, 1–21. doi: 10.3389/feduc.2022.818365