Analysis of sensory ratings data with cumulative link models

[Analyse des observations des évaluations sensorielles avec cumulative link models]

Christensen, Rune Haubo Bojesen ; Brockhoff, Per Bruun 

Journal de la société française de statistique, Méthodes statistiques en agronomie, Tome 154 (2013) no. 3, pp. 58-79

Abstract (VO)

Examples of categorical rating scales include discrete preference, liking and hedonic rating scales. Data obtained on these scales are often analyzed with normal linear regression methods or with omnibus Pearson \chi 2 tests. In this paper we propose to use cumulative link models that allow for regression methods similar to linear models while respecting the categorical nature of the observations. We describe how cumulative link models are related to the omnibus \chi 2 tests and how they can lead to more powerful tests in the non-replicated setting. For replicated categorical ratings data we present a quasi-likelihood approach and a mixed effects approach both being extensions of cumulative link models. We contrast population-average and subject-specific interpretations based on these models and discuss how different approaches lead to different tests. In replicated settings, naive tests that ignore replications are often expected to be too liberal because of over-dispersion. We describe how this depends on whether the experimental design is fully randomized or blocked. For the latter situation we describe how naive tests can be stronger than over-dispersion adjusting approaches, and that mixed effects models can provide even stronger tests than naive tests. Examples will be given throughout the paper and the methodology is implemented in the authors’ free R-package ordinal.

Résumé

Les données issues d’une étude hédonique ou de préférence sont généralement représentées avec une échelle à catégories ordonnées. Elles sont souvent analysées par des méthodes de régression linéaire ou des tests omnibus de Khi-deux de Pearson. Nous proposons dans cet article le recours à des modèles de régression à fonction de lien cumulée qui respectent la nature ordinale des observations. Nous décrivons comment ces modèles sont liés aux tests omnibus de Khi-deux, et comment ils peuvent conduire à des tests plus puissants en l’absence de répétitions. Pour les notations sur une échelle ordinale, nous présentons une approche de type maximum de quasi-vraisemblance et une approche de type « modèles mixtes » qui sont en fait des extensions du modèle à fonction de lien cumulée. Avec ces modèles nous comparons les interprétations de l’effet moyen et de l’effet spécifique du sujet, et nous discutons comment les différentes approches conduisent à différents tests. En présence de répétitions, les tests « naïfs » qui ignorent celles-ci sont souvent trop permissifs à cause de la sur-dispersion. Nous discutons aussi de la dépendance du plan expérimental, randomisé ou en blocs. Pour ces plans en blocs nous abordons la question de savoir comment les tests naïfs peuvent être plus puissants que les approches qui prennent en compte la sur-dispersion et comment les modèles mixtes peuvent fournir des tests encore plus puissants que des tests naïfs. Des exemples sont présentés tout au long de l’article. Les procédures d’analyse sont implémentées par les auteurs dans l’environnement R.

Détail

Keywords: Cumulative link models, ordinal regression models, mixed effects models, R software
Mots-clés : modèle à fonction de lien cumulée, modèle de régression ordinale, modèle mixte, logiciel R