28.04.2020

1. Usability- & Gebrauchstauglichkeitstests in Berlin und Halle

Mit diesen Beitrag möchten wir euch zum einen die Ergebnisse unseres letzten Usability- bzw- Gebrauchstauglichkeits-Test unserer aktuellen App-Version mit unseren teilnehmenden PatientInnen zeigen. Zum anderen möchten wir im Sinne der Transparenz unseres Forschungsvorhabens beispielhaft aufzeigen, wie wir innerhalb der Forschung und Entwicklung der App vorgehen.

Durchgeführt haben wir die Tests am 06.02. und 07.02.2020 bei unseren Kooperationspartnern in Berlin, also der tageswerkstatt Schöneberg, dem AID Neukölln sowie der AID Kreuzberg. Denselben Test haben wir am 06.03.2020 in der Praxis für Neurologie, Nervenheilkunde, Psychiatrie, Psychotherapie und Suchtmedizin in Halle-Silberhöhe durchgeführt. Teilgenommen haben dabei 12 PatientInnen aus Berlin sowie 4 PatientInnen aus Halle (n = 16)

Abgelaufen sind die Testungen wie folgt:

  1. Begrüßung & Download der Testversion der App
  2. Ansehen der Tutorials zur Benutzung der App
  3. Ausfüllen des System-Usability-Scale-Fragebogens (SUS)
  4. Allgemeine NutzerInnenbefragung zu gegenwärtigen und zukünftigen Funktionen der App

Bei dem erwähnten SUS-Fragebogen handelt es sich um einen einfachen und technologieunabhängigen Fragebogen, um die Gebrauchstauglichkeit eines Systems bewerten zu lassen. Sie umfasst 10 Aussagen, die anhand einer Likert-Skala bewertet werden. Richtwert für eine gute Gebrauchstauglichkeit ist 68 oder höher. 100 entspricht einer perfekten Gebrauchstauglichkeit.

Unser Fazit der Erhebung mittels des System Usability Scale (SUS):

Der überwiegende Teil der Befragten bescheinigt der Checkpoint-S-App zum gegenwärtigen Stand ihrer Entwicklung eine gute Gebrauchstauglichkeit. Lediglich bei drei der 16 Befragten liegt der Usability-Wert knapp unterhalb des Richtwerts von 68. Der höchste erzielte Wert liegt bei 97,5, der Niedrigste bei 67,5 (vgl. Diagramm unten).

Wir haben zugleich die Gelegenheit genutzt, um den TeilnehmerInnen einige Fragen zu gegenwärtigen und zukünftigen Funktionen der App sowie zu unseren Lernvideos auf YouTube zu stellen. Diese Fragen und unser Fazit aus den unterschiedlichen Antworten haben wir euch im Folgenden zusammengestellt. Das Fazit ist gleichzeitig für uns Orientierungspunkt für die Überarbeitung und Weiterentwicklung der App.

Frage 1:
Wir haben Ihnen zu Anfang einige Video-Tutorials zur Benutzung der App gezeigt. Wie haben diese Ihnen gefallen? Was hat Ihnen besonders gut gefallen? Was war schlecht?
Fazit:
Das Video zum Beikonsum sollte „beschleunigt“ werden. Bei der Anfertigung der nächsten Tutorials sollte in jedem Fall das bisherige Design und Split-Screen-Prinzip beibehalten werden. Dabei sollte eine etwas dezentere Musik gewählt; eine Frauenstimme genutzt sowie alle Tutorials vereinheitlicht (selbe Sprecherin, selbes Tempo, selbes Wording) werden.

Frage 2:
Welche Erwartungen haben Sie, wenn sie die App benutzen? Welche Vorteile versprechen Sie sich von der App?

Fazit:
Die Erwartungen, die die PatientInnen an die App haben, beziehen sich auf a) eine Dokumentationsmöglichkeit; b) einen datenbasierten Überblick über relevante Lebensaspekte; c) die Möglichkeiten, über Datenvergleiche Trends und Entwicklungen erkennen zu können; d) die Kontrollierbarkeit von Effekten und Wechselwirkungen sowie auf Formen der Selbstkontrolle; e) die Daten als Gedächtnisstütze zu haben sowie f) darauf, sich mittels der Daten mit anderen austauschen zu können.

Frage 3:
Sehen Sie irgendwelche Nachteile, die für Sie gegen eine Benutzung der App sprechen? Wenn ja, welche?

Fazit:
Der überwiegende Teil der PatientInnen sehen keine direkten Nachteile, die ihnen aus der Nutzung der App entstehen könnten. Zwei TeilnehmerInnen führen in diesem Zusammenhang Datenschutzbedenken an. Dieses Bedenken wurzeln in einem allgemeinen, aber diffusen Gefühl nicht zu wissen, was mit ihren Daten passiert, wenn sie Smartphones oder Apps nutzen. Eine Patientin spricht die Möglichkeit an, dass Daten durch BehandlerInnen als Druckmittel verwendet werden könnten. Es bleibt jedoch unklar, wie durch die Daten Druck ausgeübten werden kann.

Auswahl zwischen zwei Darstellungen des Befindens in der App Checkpoint-S

Frage 4:
Die App bietet die Möglichkeit, das tägliche Befinden zu dokumentieren. Dafür werden die Begriffe „Mies“, „Geht so“, „Gut“ und „Toll“ genutzt. Was halten Sie von der folgenden Alternative der Eingabe?
Fazit:
Eingabe des Befindens durch Schieberegler wird von den meisten TeilnehmerInnen nicht befürwortet. Stattdessen sollten die bestehenden Begriffe durch Emojis ergänzt werden. Sollte wir uns für eine farbige Unterlegung der Begriffe entscheiden, sollten möglichst neutrale Farben gewählt werden, um eine Wertung der Emotionen zu vermeiden.

Frage 5:
Die App bietet die Möglichkeit eingegebene Daten als Grafiken darzustellen. Finden sie diese Grafiken grundsätzlich verständlich oder eher unverständlich? Warum?
Fazit:
Grundsätzlich sollten wir über alternative bzw. über ergänzende Darstellungsformen nachdenken (siehe unten) und diese „auf kurzem Wege“ hinsichtlich Zugänglichkeit und Verständnis (ohne Hilfestellung) abfragen. Eventuell wäre auch ein Extra-Tutorial zur Erklärung und Interpretation der Grafiken hilfreich.

Frage 6:
Was halten Sie von diesen alternativen Möglichkeiten der Darstellung der Daten zum Konsumdruck?

Fazit:
Die meisten Befragten wünschen sich Liniendiagramme, um zeitliche Verläufe zu erkennen. Vorausgesetzt wir können das Problem der Überfrachtung lösen, können Kreisdiagramme beibehalten werden. Allerdings sollten wir ebenso Balkendiagramme anbieten, um Häufigkeitsverteilung der Gründe (horizontal) zu visualisieren, d. h. häufigster Grund oben und absteigend alle weiteren Gründe.

Frage 7:
Was halten Sie von diesen alternativen Möglichkeiten der Darstellung der Daten zum Befinden?

Fazit:
Auch hier sollten wir das Kreisdiagramm durch ein Liniendiagramm ergänzen. Das Kreisdiagramm sollte durch Filterauswahl nach Gründen differenzierbar sein. Balkendiagramme wären eine Alternative, jedoch muss hier die Umsetzung genau überlegt sein. Dabei muss klar werden, was wir grafisch darstellen wollen: a) die Häufigkeit eines Befindens oder b) die Häufigkeit eines Grundes. Beides zusammen wird sich schwer umsetzen lassen, zumindest dann, wenn es mehrere Gründe beziehungsweise Kombinationen von Gründen für ein Befinden gibt.

Frage 8:
Was halten Sie von diesen zusätzlichen Möglichkeiten der Darstellung der Daten zum Beikonsum?

Fazit:
Wie zuvor sollten wir auch hier ein Liniendiagramm zusätzlich zum Kreisdiagramm anbieten. Dieses sollte anhand einer Substanzfilterauswahl zeitliche Verläufe und Mengen anzeigen. Denkbar wäre auch ein Liniendiagramm, das einen einfachen zeitlichen Verlauf visualisiert, d. h. wann gab es Beikonsum und wann nicht. Die gemeinsame Visualisierung von Substanzen ist aufgrund der unterschiedlichen Einheiten (Euro, Gramm, Linie etc.) nicht möglich. Auch wenn nur von Wenigen befürwortet, sind Balkendiagramm hier vielleicht eine gute Alternative zum Kreisdiagramm. Durch sie ließe sich quasi ein „Ranking“ der Substanzen abbilden.

Screen zur möglichen Darstellung von Korrelationen in einem Diagramm

Frage 9:
Wir überlegen, ob es sinnvoll ist, die Daten aus jeweils zwei Bereichen gemeinsam in einer Grafik darzustellen. Damit könnten mögliche Zusammenhänge unter Umständen einfacher erkannt werden. Ich habe Ihnen hier ein Beispiel mitgebracht. Was lesen Sie aus dieser Grafik?

Fazit:
Grundsätzlich wird das Potenzial, d. h. der Informations- und Erkenntnisgewinn des Übereinanderlegens der Daten erkannt und positiv bewertet. Eine grafische Überlappung von Daten aus unterschiedlichen Tagebüchern muss deutlich niederschwelliger ansetzen als in unserem Beispiel. In jedem Fall sollten wir eine Erklärung etwa in Form eines Tutorials anbieten. Dabei sollte es auch einen Hinweis geben, dass hier mögliche Zusammenhänge aufgezeigt werden, die aber mit BehandlerInnen besprochen werden sollten.

Frage 10:
Wir möchten Ihnen in der App eine Möglichkeit bieten für sich zu dokumentieren, was Ihnen bei einem akuten Bedürfnis, Drogen zu konsumieren (genannte Suchtdruck oder Konsumdruck), geholfen hat. Wenn Sie an Momente denken, in denen Sie Konsumdruck verspüren, was hilft Ihnen dabei, dieses Bedürfnis zu überwinden? Was hat Ihnen schon einmal in dieser Situation geholfen?

Fazit:
Die unterschiedlichen Nennungen zeigen zwei grundlegende Strategien: a) Ablenkung vom Suchtdruck oder b) bewusste Auseinandersetzung mit dem Suchtdruck (alleine oder mit anderen). Eine PatientIn sagte, dass es meisten auch nur kurze Momente sind, in denen sie Suchtdruck verspürt, aber dieses Gefühl dann meist schnell wieder vergeht. Gleichzeitig sind die genannten Strategien zu individuell, als dass wir eine Liste anbieten könnten, aus denen NutzerInnen auswählen. Wir hatten bereits überlegt, dass diese bei der zweiten oder dritten Eingabe des aktuellen Konsumdrucks aufgefordert werden einzugeben, was ihnen persönlich normalerweise in diesen Situationen hilft. Die eingegebenen Strategien könnten als Grundlage für ein Coaching dienen - etwa in Form „Bei hohem Konsumdruck, den Du gerade empfindest, hilft dir normaler Weise XY“.

Frage 11:
Wir möchten ein zusätzliches Tagebuch in die App aufnehmen. Dieses soll Ihnen die Möglichkeit bieten, einen Bereich oder Aspekt ihrer Wahl zu dokumentieren, der ihnen persönlich wichtig ist. Was könnten Sie sich dazu vorstellen?

Fazit:
Herausforderung ist und bleibt, mögliche Bereiche so herunter zu brechen, dass wir sie abbilden können. Eine Erfassung nach dem Prinzip Erledigt/Nicht-Erledigt mit der Möglichkeit Notizen zu machen, ist sicher ein erste Ansatz. Bei dem genannten textuellen Tagebuch bleibt fraglich, ob dies tatsächlich genutzt wird, d. h. ob jemand über die Smartphone-Tastatur längere Texte oder auch nur Notizen verfasst.

Tags