The purpose of the System Causability Scale is to provide a simple yet rapid evaluation tool to measure the quality of an explanation interface (human-AI interface) or an explanation process itself. We were inspired by the System Usability Scale and the Framingham model which is often in use in daily medical routine. The limitations of the SCS is that Likert scales fall within the ordinal level of measurement, meaning that the response categories have a rank order. Despite this limits we are convinced that our Systems Causability Scale is useful for the international machine learning research community. 

In the same way that usability encompasses measurements for the quality of use, causability encompasses measurements for the quality of explanations.

The paper is fully open access and is available at the Springer page:

Andreas Holzinger, Andre Carrington & Heimo Müller 2020. Measuring the Quality of Explanations: The System Causability Scale (SCS). Comparing Human and Machine Explanations. KI – Künstliche Intelligenz (German Journal of Artificial intelligence), Special Issue on Interactive Machine Learning, Edited by Kristian Kersting, TU Darmstadt, 34, (2), doi:10.1007/s13218-020-00636-z. https://link.springer.com/article/10.1007/s13218-020-00636-z

Meine Studierenden fragen oft “was denn ein Human-in-the-loop” ein einer Künstlichen Intelligenz verloren hat: In Causability entwickeln wir Maße für die Qualität von Erklärungen, die durch KI-Methoden (explainable AI) produziert werden (z.B. Layer-Wise-Relevance Propagation, welches lediglich eine relevanz-heatmap erzeugt). Dies ist wichtig um es den (menschlichen) medizinischen Expertinnnen und Experten zu ermöglichen, nachzuvollziehen und zu verstehen, warum ein Algorithmus zu einem bestimmten Ergebnis kam oder warum ein Ergebnis eine bestimmte Fehlerquote hatte (Woher klommt der Fehler?). Dies erfordert ein kontextuelles Verständnis (“context understanding”), das durch das Einbringen eines “Human-in-the-Loop” gefördert werden kann. Konkret: Der human-in-the-loop bringt menschliche Erfahrung in KI-Prozesse ein. (Auf die Frage was der “human-in-the-loop” machen soll).

Achtung: Causability ist nicht Causality, Causability = Ursachenerkennbarkeit, Causality = Ursache (Kausalität)