01.02.2021

2. Usability- & Gebrauchstauglichkeitstest

Nach dem Release der Version 5.0 der Checkpoint-S-App sollte diese von November bis Dezember 2020 durch PatientInnen und BehandlerInnen getestet werden. Ziel war es – wie zuvor – Schwach- und Verbesserungspunkte der App hinsichtlich der Inhalte, der Bedienbarkeit sowie der Software-Architektur zu identifizieren.

In Zusammenhang mit SARS-CoV-2, den damit einhergehenden verschärften Hygienevorschriften in den Substitutionspraxen und Hilfeeinrichtungen sowie angesichts der beiden Lockdowns musste das Projektteam die bis dahin geplante Umsetzung der Usability-Tests überdenken. Es galt kontaktarme Formen für die Testungen zu finden, um die PatientInnen, BehandlerInnen und das Forscherteam nicht zu gefährden. Das Projektteam beschloss daher, die Usability-Tests auf ein digitales Format umzustellen. Entwickelt wurde eine zweiteilige Befragung, die für PatientInnen und BehandlerInnen leicht unterschiedlich gestaltet wurde.

Der erste Teil bestand aus einem Online-Fragebogen auf der Plattform LimeSurvey. Erfragt wurde neben einigen demografischen Daten vor allem Aspekte der aktuellen App-Nutzung, wie Nutzungsdauer, genutzte Tagebücher sowie die Einbindung bzw. Nicht-Einbindung der App in das Behandlungssetting. Teil der Online-Befragung war der bereits zuvor verwendete SUS (System Usability-Scale), mit dem die Gebrauchstauglichkeit der App erfasst wurde. Selbstverständlich wurden zu Beginn der Online-Umfrage die teilnehmenden PatientInnen und BehandlerInnen über den Zweck der Befragung aufgeklärt.

Der zweite Teil der Befragung bestand aus einem teilstandardisierten qualitativen Interview, das mit den teilnehmenden BehandlerInnen und PatientInnen per Telefon geführt wurde. Ein kurzer Fragenkatalog bezog sich auf aktuelle und geplante Features der App sowie die aktuelle Nutzung der App. Das Interview wurde, nach Einwilligung des Interviewten, als Audioaufnahme mitgeschnitten und im Anschluss transkribiert. Während des Interviews wurden kurze Notizen und Memos erstellt, die ebenso in die einfache Inhaltsanalyse der Transkripte einflossen. Entsprechend der für das Projekt festgelegten Datenschutzregeln wurden die Audioaufnahmen anschließend gelöscht.

Unabhängig von den pandemiebedingten Änderungsnotwendigkeiten wurde aauch eine Anpassung in Bezug auf die PatientInnenauswahl getroffen: Mit der Version 5.0 sollte nun eine erweiterte und komplexere Version der App hinsichtlich ihrer Stärken und Schwächen getestet und beurteilt werden. Das Projektteam entschied deshalb, dass vor allem erfahrene NutzerInnen in den Usabilitytest einzubeziehen. d. h. solche, die die App bereits aktiv im Alltag nutzen. Die Annahme hierbei war, dass UserInnen, die die App bereits aktiv in ihrem Alltag nutzen auch eine höhere Mitwirkungsbereitschaft bei den Usabilitytest entwickeln würden und auf diese Weise aussagefähigere Ergebnisse erwartet werden konnten. Akquiriert wurden NutzerInnen durch einen direkten Teilnahmeraufruf in Form eines Pop-ups über die App.

Zu befragende BehandlerInnen wurden durch das Projektteam per E-Mail kontaktiert und um ihre Teilnahme gebeten. Der Befragungszeitraum war ursprünglich für die Zeit 29.10.–30.11.2020 geplant. Aufgrund der geringen TeilnehmerInnenzahl, besonders auf Seite der BehandlerInnen, entschloss sich das Projektteam, den Zeitraum bis zum 24.12.2020 zu verlängern.

Ergebnisse der Befragung unter den BehandlerInnen

An der Befragung unter BehandlerInnen nahmen insgesamt vier Personen teil (N=4), mit denen auch im Anschluss ein Telefoninterview geführt werden konnte. Unter den TeilnehmerInnen waren drei Männer und eine Frau. Drei der TeilnehmerInnen sind SozialarbeiterInnen und innerhalb der psychosozialen Begleitung (im Weiteren PSB) tätig, eine TeilnehmerIn arbeitet als PsychologIn.

Dabei zeigte sich, dass alle TeilnehmerInnen die App durch Präsentationen des Projektteams in den jeweiligen Hilfeeinrichtungen und bereits länger als sechs Monate kennen. Eine TeilnehmerIn berichtete, die App zusammen mit einer PatientIn zu nutzen und diese Nutzung selbst vorgeschlagen zu haben. Die anderen drei TeilnehmerInnen gaben an, die App momentan nicht in ihre Behandlung einzubeziehen, da keiner ihrer PatientInnen Checkpoint-S derzeit nutzt. Grundsätzlich könnten sie sich aber vorstellen, ihre Behandlung teilweise auf Basis der Daten aus der App anzupassen. Zu diesem Zweck würden sie sich allerdings die Daten auf dem Smartphone der PatientInnen eher zeigen lassen und nicht die Export-Funktion der App nutzen.

Die Auswertung des System-Usability-Scale ergab einen Mittelwert von 75. Er lag damit deutlich über den Richtwert von 68 und bedeutet, dass die teilnehmenden BehandlerInnen der Version 5.0 der eine gute Gebrauchstauglichkeit bescheinigen.

Fasst man die Auswertung der Telefoninterviews zusammen, lassen sich folgende Urteile festhalten:

  • Alle TeilnehmerInnen sind grundsätzlich sehr zufrieden mit Design, Inhalt und Funktionen der App und sehen eine deutliche Verbesserung gegenüber den vorherigen Versionen.
  • Die BehandlerIn, die die App in Kontext ihrer Behandlung nutzt, gab an sie als ein Mittel zur Konsumreduktion und Konsumkontrolle einzusetzen. Ziel sei, es der PatientIn dabei zu verhelfen mehrmals im Monat eine saubere Urinkontrolle abzugeben. Eine andere Befragte gab an, dass die App auch zur Erstellung und Kontrolle eines Konsumplans eingesetzt werden könne.
  • Vorteile der Nutzung für ihre PatientInnen sehen die befragten BehandlerInnen darin, dass Checkpoint-S ein Hilfsmittel sein kann, um die Selbstaufmerksamkeit zu steigern, ein Bewusstsein für das eigene Konsumverhalten herzustellen oder um Zusammenhänge zwischen Substitution, Befinden und Beikonsum zu erkennen.
  • Vorteile für die eigene Behandlung sehen sie darin, dass die App dabei helfen kann, ein genaueres Bild vom Konsumverhalten und den Stimmungen der PatientInnen zu gewinnen oder sich zusammen mit der PatientIn ein Bild von aktuellen Problemlagen zu machen und hierauf aufbauend gemeinsam bestimmte Zielsetzungen zu entwickeln.
  • Des Weiteren könnte das Besprechen der Daten eine Möglichkeit für BehandlerInnen sein, mehr mit der PatientIn in Kontakt zu treten.
  • Auf die Frage nach der Nützlichkeit geplanter Push-Benachrichtigungen – d. h. automatischer Erinnerungen an Eintragungen in die App z - gaben alle Befragten an, dass sie diese für eine gute Sache halten, die in jedem Fall implementiert werden sollte. Jedoch betonten alle, dass dieses Feature optional sein müsse: sowohl hinsichtlich der Häufigkeit der täglichen Erinnerungen als auch hinsichtlich der betreffenden Tagebücher.
  • Einen Nachbesserungsbedarf sahen die Befragten bei der Eingabe des Beikonsums. Hier sollte es möglich sein, mehrere Substanzen gleichzeitig einzugeben, ohne jeweils einen eigenen Eintrag erstellen zu müssen. Je einfacher Eingaben sind, so die Ansicht, je regelmäßiger wird die App auch genutzt und so genauer sind die gelieferten Daten.

Ergebnisse der Befragung unter den PatientInnen

Die TeilnehmerInnenzahl unter den PatientInnen belief sich bei der Online-Befragung auf sechs Personen (N=6). Hierunter waren fünf Männer und eine Frau. Trotz mehrfacher Kontaktversuche war es jedoch nur möglich, mit vier Personen – drei Männer und eine Frau - ein Telefoninterview zu vereinbaren und durchzuführen.

Von den TeilnehmerInnen gaben zwei an, durch Flyer und Plakate in den kooperierenden Praxen und Hilfeeinrichtungen auf die App aufmerksam geworden zu sein. Drei andere Befragte sagten aus, dass ihre SozialarbeiterInnen oder ihre Substitutionsärztin sie auf die App hingewiesen hatten; eine Person ist ehrer durch Zufall während einer eigenen Suche auf diese gestoßen. Die Hälfte der Befragte nutzte die App zum Zeitpunkt der Online-Befragung weniger als vier Wochen. Die restlichen TeilnehmerInnen nutzten die App etwa 1-2 Monate (1. Person) 2-3 Monate (2. Person) bzw. seit 3-4 Monate (3. Person). Genutzt wird zum überwiegenden Teil das Befinden- sowie das Beikonsum-Tagebuch. Drei weitere Befragte gaben an, auch das Substitutions-Tagebuch zu gebrauchen. Nur eine Person nutzt das Ziele-Tagebuch. Die Exportfunktion wurde von keinem der Befragten genutzt. Jeweils die Hälfe der TeilnehmerInnen spricht über ihre Daten auch mit ihren BehandlerInnen, während die andere Hälfe dies nicht tut. Zwei Befragte reden über ihr Daten mit ihrer Substitutionsärztin. Eine Person bespricht außerdem die Daten mit ihrer SozialarbeiterIn. Eine weitere Person redet über diese ausschließlich mit ihrer Sozialarbeiterin. Von denjenigen, die die Daten nicht mit einer BehandlerIn besprechen, sagten zwei aus, dass sie bislang nicht über die Möglichkeit gar nicht nachgedacht haben.

Die Auswertung des System-Usability-Scale ergab einen Mittelwert von 74,17, der damit deutlich über den Richtwert von 68, liegt. Das bedeutet, dass auch auf PatientInnenseite der aktuellen Version von Checkpoint-S eine gute Gebrauchstauglichkeit bescheinigt wird.

Die Ergebnisse der qualitativen Interviews lassen sich wie folgt zusammenfassen:

  • Alle Interviewten sind mit der App hinsichtlich Designs, Funktionalität und Inhalten zufrieden bis sehr zufrieden.
  • Hinsichtlich ihrer Motivationen zur Nutzung der App gaben sie an, dass es für sie darum ging, einen Überblick über ihr Konsumverhalten zu bekommen. Als ein weiteres Motiv wurde Selbstkontrolle genannt. In diesem Zusammenhang sollte die App helfen, das eigene Konsumverhalten und deren emotionale Auswirkungen zu erkennen und die Einhaltung von gesetzten Zielen zu kontrollieren. Eine weitere Befragte merkte an, dass die App für sie ein Mittel zur Selbstreflexion ist. Auf diesem Wege könne sie dem eigenen Konsummuster oder möglicher Nebenwirkungen des Substituts auf die Spur kommen.
  • Alle TeilnehmerInnen gaben an, mit dem neuen Ziele-Tagebuch und dem veränderten Hauptscreen (Kalenderansicht) zufrieden zu sein.
  • Die Idee, optional Push-Benachrichtigen in der App zum implementieren, wurde auch von allen befragten PatientInnen befürwortet.
  • Nachbesserungsbedarf sahen die Befragten darin, dass es bei der Eingabe des Beikonsums möglich sein sollte, mehrere Substanzen gleichzeitig eingeben zu können. Ebenso sollten rückwirkende Eingaben in die Tagebücher – falls diese an manchen Tagen vergessen wurden – einfach möglich sein.
  • Hinsichtlich des Beikonsums wünschte sich eine TeilnehmerIn, dass die Liste der Substanzen durch NutzerInnen selbst erweiterbar ist. Auf diese Weise könnte dann beispielsweise auch die Einnahme von Medikamenten dokumentiert und ihre potenziellen Nebenwirkungen erkennbar werden.
  • Schließlich wurde im Interview mit einer PatientIn deutlich, dass das Icon zum Aufruf der Statistiken dominanter hervorgehoben werden sollte sie hatte bislang diesen Bereich der App noch gar nicht entdeckt.