Suchfacetten unter der Lupe: Usability-Verbesserungen durch ‘Card Sorting’

Die digitale Repräsentanz einer Handschrift ist eine Art ‘Container’ für eine Vielzahl von Informationen: Normdaten zur besitzenden Einrichtung, Angaben zu Schreiber*innen der Handschrift, Digitalisat-Referenzen und einiges mehr. Diese über einen einzigen Zugriffspunkt abrufbare Informationsfülle ist einer der großen Vorteile digitaler Rechercheinstrumente wie dem Handschriftenportal (HSP). Doch wie recherchieren? Welche Filterfacetten eignen sich, um eine so große Datenmenge sinnvoll zu durchsuchen?

Um dies herauszufinden, hat das Handschriftenportal-Projekt in Zusammenarbeit mit dem Institut für Bibliotheks- und Informationswissenschaft (IBI) der Humboldt-Universität zu Berlin einen sogenannten Card-Sorting-Test durchgeführt. Das Teilprojekt wurde dankenswerterweise aus Mitteln der Deutschen Forschungsgemeinschaft (DFG) finanziert. Aufgrund des großen Engagements der Fachcommunity konnten wertvolle Einblicke in die Wünsche und Suchgewohnheiten potentieller Nutzer*innen gewonnen werden.

1. Ausgangspunkt und Ziel der Umfrage

Nach Veröffentlichung der Testumgebung des Handschriftenportals im Dezember 2020 wurden Wissenschaftler*innen, Bibliothekar*innen, Archivar*innen und Interessierte dazu aufgerufen, ein persönliches Feedback zum Portal und den bis dahin entwickelten Funktionalitäten abzugeben. Daraufhin sind zahlreiche Wortmeldungen eingegangen, aus denen insbesondere ein Wunsch deutlich wurde: die Erweiterung beziehungsweise Umordnung von Filterfacetten.

Um diesen Ansprüchen Rechnung zu tragen und zukünftige Nutzer*innen noch stärker in weitere Entwicklungsentscheidungen einzubeziehen, wurde darauf aufbauend eine Usability-Studie in Auftrag gegeben: Prof. Dr. Elke Greifeneder, Expertin für den Bereich ‘Information Behavior’ am Institut für Bibliotheks- und Informationswissenschaft (IBI), entwickelte gemeinsam mit ihrem Team ein Umfragedesign, das Teilnehmer*innen in Form eines Card-Sorting-Tests eine einfache Neuordnung und Anreicherung der in der Testumgebung des Handschriftenportals vorfindlichen Suchfilter erlaubte.

Folgende Fragen galt es zu beantworten:

1. Wie fassen Nutzer*innen des HSP die geplanten Facetten in Gruppen zusammen, damit sie möglichst einfach unter einer bestimmten Überschrift gefunden werden können?
2. Welche Facetten sind missverständlich oder sogar unverständlich?
3. Welche Facetten fehlen?

2. Beteiligung

Potentielle Teilnehmer*innen wurden über den persönlichen Kontakt der Projektbeteiligten, über das Blog des Handschriftenportals und über Twitter angesprochen. Dankenswerterweise erklärten sich 56 Personen bereit, an der Studie mitzuwirken und damit die Optimierung des Portals zu unterstützen.

Zunächst galt es, eventuell bereits vorhandene Expertisen und Erfahrungen einzuschätzen. Dazu wurde die Teilnahmemotivation abgefragt, aber auch ob bereits erste Erfahrungen in der Benutzung des Handschriftenportals und/oder mit anderen virtuellen Katalogen gesammelt wurden.

An der oben genannten Feedback-Studie aus dem Frühjahr 2021 hatten sich insbesondere Personen aus dem Wissenschaftssektor und aus Informationseinrichtungen wie Bibliotheken und Archiven beteiligt. Wie in dem eingebundenen Screenshot ersichtlich (s. Abb. 1), wurde in der hier vorgestellten Studie nach der Motivation einer Nutzung des Handschriftenportals gefragt, was zu interessanten Ergebnissen führte. Während die Mehrheit der Nutzer*innen ein wissenschaftliches oder bibliothekarisches Interesse angab und damit auch in dieser Befragung vermutlich aus der Forschung (75%) oder einem bibliothekarisch-archivalischen Kontext (52%) stammte, wurden zwei weitere Motivationen deutlich: So wählten 20% der Teilnehmer*innen die Option “aus privatem Interesse” und weitere 11% gaben an, in einem Informations- oder Illustrationskontext mit Handschriften zu arbeiten. Wenngleich auch Mehrfachantworten möglich waren und somit keine punktgenaue Differenzierung der Motivationen und Kontexte geleistet werden kann, ist diese Erkenntnis hochinteressant. So kann davon ausgegangen werden, dass das Portal neben den oben genannten fokussierten Zielgruppen auch von einer interessierten Öffentlichkeit genutzt werden wird.

Nach dieser ersten Abfrage begann der Card-Sorting-Test.

3. Umfragedesign und Methodik

Wie in einem Web-Menü, dessen Struktur ebenfalls hierarchisch aufgebaut und damit explorierbar ist, werden bereits in der Testumgebung des Handschriftenportals einzelne Facetten in möglichst verständliche Kategorien eingeordnet (Abb. 2).

Doch was genau heißt ‘verständlich’? Bewegt sich der Kunsthistoriker auf die gleiche Weise durch das Portal wie die Germanistin? Sucht die Geschichtsstudentin ein Metadatum unter derselben Oberkategorie wie der Musikhistoriker? Wie also können Filterfacetten sinnvoll – und für möglichst alle Zielgruppen nachvollziehbar – geordnet werden?

Um dies zu evaluieren, wurde von der Methode des Card-Sorting-Tests Gebrauch gemacht. Dieser ermöglicht das Sortieren von ‘Karten’ zu größeren Ordnungseinheiten. Eine Karte entspricht dabei einer Suchfacette, die einer Oberkategorie untergeordnet werden kann.

Als Basis wurden die in der Testumgebung vorfindlichen 37 Suchfacetten sowie drei Oberkategorien vorgeschlagen (Abb. 3). Darauf aufbauend konnten die Studienteilnehmer*innen eigene Vorschläge zu Facetten und Oberkategorien hinzufügen, die sie als passend empfanden. Schließlich konnten persönliche Kommentare abgegeben werden. Ziel war, einen möglichst tiefen Einblick in die Suchgewohnheiten und Ansprüche unterschiedlicher Zielgruppen zu gewinnen.

Für die Studie wurde im Sinne der DFG-Policy (s. Punkt 2.2.2 im verlinkten Dokument) die Open-Source-Software kardSort verwendet. Diese wurde an der Universität Paderborn im Rahmen eines Projekts unter Betreuung von Kailaash Balachandran und entwickelt.

4. Auswertung

Die einzelnen Karten und deren Zuordnung zu Oberkategorien wurden statistisch ausgewertet. Dabei wurden insbesondere die Verfahren ‘Average Linking’ und ‘Single Linking’ angewandt, wobei sich beide Methoden in der Bemessung der ‘Abstände’ einzelner Karten zueinander unterscheiden: Während das Single-Linking-Verfahren die Distanz zwischen zwei Einzelkarten misst, basiert das Average-Linking-Verfahren auf der Distanzmessung von einer Einzelkarte zur Menge aller anderen Karten. Dabei gilt die Distanz zwischen zwei Karten als gering, wenn sie häufig einer gemeinsamen Gruppe zugeordnet wurden. Die Ergebnisse aus beiden Verfahren wurden abschließend kombiniert ausgewertet.

Basierend auf diesen Distanzbemessungen konnten Aussagen darüber getroffen werden, welche Karten bzw. Facetten die Mehrzahl der Tester*innen als zusammengehörig empfanden. Im Rahmen der HSP-Analyse wurden für die Auswertung sogenannte Dendrogramme – Baumdiagramme, mit deren Hilfe sich Cluster darstellen lassen – mittels der Software CaSoLys 2.0 erstellt (Abb. 4).

Die Auswertung der Daten zeigte, dass sich die Mehrzahl der Teilnehmer*innen sowohl eine Umbenennung einzelner vorgeschlagener Facetten als auch die Erstellung neuer Facetten und Oberkategorien wünscht. Insgesamt wurden 160 neue Facetten-Bezeichnungen vergeben, die anschließend zu 85 möglichen Oberkategorien – inklusive der drei bereits vorgeschlagenen – zusammengefasst wurden.

Diese Vielzahl an Vorschlägen ist auf die vollkommene Systemoffenheit zurückzuführen: So konnte jede*r Teilnehmer*in Bezeichnungen frei vergeben (s. Abb. 5). Besonders häufig wurde die Facette ‘Buchschmuck’ hinzugefügt (10 Nennungen), gefolgt von der Facette ‘Person/Schreiber’ (9 Nennungen). Auch Angaben zu Wasserzeichen, zur Schrift und zur Provenienz der Handschrift wurden als besonders relevant erachtet. So wurde oft der Wunsch nach einer höheren Feingliedrigkeit der Facetten geäußert, da zum Teil spezifische Auswahlmöglichkeiten für die Arbeit mit Handschriften notwendig seien.

Voraussetzung für die Bereitstellung zusätzlicher Facetten ist jedoch stets eine Anreicherung der zugrundeliegenden Handschriftenmetadaten. So können beispielsweise ‘Buchschmuck’ enthaltende Handschriften nur dann im Handschriftenportal gefunden werden, wenn dieser Wert (Buchschmuck vorhanden / nicht vorhanden) als TEI-Tag in den entsprechenden Handschriftenbeschreibungen ausgezeichnet wurde. Eine solche Anreicherung mit zusätzlichen Metadaten findet im Rahmen der Datenqualitätsoffensive bereits statt. Umsetzbarkeit und Nutzen müssen aufgrund des hohen Aufwandes jedoch für jede einzelne Facette abgewogen werden.

Auch unverständliche Facetten konnten klar identifiziert werden. Ein Beispiel hierfür ist unter anderem die Facette ‘Ort’, bei der unklar blieb, ob sich die Benennung auf den Entstehungs- oder Aufbewahrungsort oder gar einen im Text erwähnten Ort bezieht. Ähnliches gilt für die Facette ‘Farben’: So wurde in den Kommentaren der Kontext erfragt, da die Facette auf Farben des Schreibmaterials, der Illuminationen oder auch auf die Schriftfarbe verweisen kann.

Besonders deutlich wurden in diesem Zusammenhang die sehr unterschiedlichen Bedarfe der Zielgruppen des Handschriftenportals. Diese Heterogenität der Wünsche und Ansprüche macht zwar eine für alle Nutzer*innen optimale Lösung unmöglich – jedoch konnte die Studie die Richtung aufzeigen, in die sich eine Usability-freundliche Suchfunktion entwickeln kann.

Der ausführliche Untersuchungsbericht ist unter http://edoc.hu-berlin.de/18452/23848 abrufbar.

5. Ausblick

Nach Abschluss der Card-Sorting-Studie wurde und wird die statistische Auswertung durch eine qualitative Untersuchung ergänzt: So finden seit November 2021 Remote-Interviews mit Studierenden, Wissenschaftler*innen und Mitarbeiter*innen aus Bibliothek und Archiv statt. Dabei wird den Teilnehmer*innen während der Nutzung des Handschriftenportals über die Schulter geblickt. Ziel ist auch hier die Identifizierung von Verbesserungsmöglichkeiten im Bereich Usability. Neben den Filter-Facetten werden weitere Funktionalitäten wie die Präsentation der Suchergebnisse und der Mirador-Arbeitsplatz untersucht.

Nähere Informationen zu dieser Studie können auf der Website des Handschriftenportals abgerufen werden.

Die fachliche Bewertung und technische Umsetzung der Ergebnisse aus beiden Studien sollen in einer möglichen zweiten Projektphase ab Frühjahr 2021 erfolgen.

---

---