Event Report: How to Preserve Diverse Data in a Monolingual Environment: Introducing the Project Closing the Gap in Non-Latin-Script Data

When considering data and our digital era there are a host of ethical and practical issues to work toward resolving. Whether that is finding a suitable repository to store data, or what type of file is appropriate for greater communication, or how do you maintain websites and resources long term? This not even approaching the issues regarding Non-Latin based script. Imagine that for every basic solution available in the Latin script dominated world, there is an extra “wrench” or challenge to overcome. But it is necessary to overcome these issues as more research is done and the digital age expands to Non-Latin scripts.

On February 14th in the SUB, the researchers behind Closing the Gap in Non-Latin-Script Data, presented some of the challenges they had faced along with the many solutions they developed.  Jonas Müller-Laackman presented a brief introduction and subsequently researchers presented their workflow and questions they had to consider. The project is a collaboration between the Digital Research Services Unit, Staats- und Universitätsbibliothek Hamburg Carl von Ossietzky and the Free University of Berlin’s Beatrice Gründler, Theodore S. Beers, and  Xenia Kudela.  

One of the key issues facing non-Latin digital based projects and (Multilingual) Digital Humanities (DH) projects generally are that they are considered “Kleine Fächer” or in other words small subjects. In the academic Global North, there are few academics who know how to program while reading ancient Arabic scripts and who want to develop databases for these works. And as a result, there are logistical problems of funding or talent drain, as many people with advanced data skills are recruited for larger projects and more lucrative fields.

These challenges are always present in digital humanities and in part regular humanities. These fields demand a combination of passion and dedication with at times less monetarily driven goals.

However, the team behind Closing the Gap were well aware of these challenges, and it never deterred them. In fact, it made them more considerate of their resources and dedicated themselves to being as radically open as possible. In line with this goal, they naturally followed FAIR principles. For those unfamiliar with the term, FAIR refers to:

Findable: Data should be easy to find including metadata.

Accessible: The data when found should be easily accessed and the authentication and authorizations for the work are evident.

Interoperable: The data needs to work with other data and be formatted so that it can help with other operations and workflows.

Reusable: Data and metadata should be well-described and be combined with other settings.

These are basic definitions and exploring the FAIR website for greater descriptions of the principals is highly recommended.

In order to be in line with these principles, the research team decided from the start that they wanted a lightweight and easy frontend (user interface) that required no set up. They chose GitHub as their primary repository and their database utilizes json files as easy forms to read. In essence, reinforcing their dedication to creating relatively inexpensive, data rich, and accessible formats for themselves as well as other DH projects. And for those unfamiliar with digital literacy these formats could be explained and read relatively easily.

So what did the project actually want to do? What was their aim and why was FAIR so important to them?

As mentioned prior, Multilingual DH suffers many times in Germany, as well as broadly in the Global North, from being small and often unstable in funding. Third parties in recent times have been contributing to these organizations to a greater degree, but when compared to other fields, it is still difficult to gain adequate funding. When also considering the institutions of university and government as the main financial backers for these projects, they often have a limited lifespan. Justification and a constant balance of communication with how new tools can be utilized within the humanities has to be explained, leading to delays and miscommunication. 

For the group behind Closing the Gap, they wanted to create a site where the active or past DH projects for Non-Latin scripts could find one another. Their initial scope was just Germany, but as you can see below their reach has rapidly expanded.


The database and interactive website developed from the repository serves as a navigational tool to find other projects. They created an accessible site where institutions and researchers could voluntarily share their projects including a small descriptor of their projects, how long the project planned to run, and ultimately link their own websites.

As the researchers openly admitted they initially had a bias towards collecting Arabic script based projects, but that singular language focus has expanded into over 130 languages collected in the database.

Technology has advanced the ability for small groups to make a large impact but as Beers had remarked during his segment, many of them are reinventing the wheel. DH projects are small. They lack the traditional funding that many monetarily driven projects have, so why are we all working separately and circularly?

Why not share their data and allow for solutions to be communicated between projects? Cut out the time spent solving the common issue of Arabic being written right to left (One of the proverbial “wrenches” that confounds many non-Latin based scripts).

Closing the Gap, shows the potential of growth in the Multilingual DH field and in some ways the maturation of the industry where there is now an active group collecting and tracking how the overall field is developing. An exaggerated stretch to compare in terms of scope, but think of it as a preliminary form of Facebook to the world of DH. 

Are you studying Cuneiform? Are you adapting it to a digital format? Well maybe there’s someone halfway across the globe doing the exact same thing. Or a previous project you can reach out to. The meta-aspect of the project has already been showing some interesting ideas and will only continue to grow. What languages are being the most heavily focused on? Where are these projects being led?

However this desire to connect can be difficult at times, as many projects remain behind closed doors of universities and libraries. The balance of protecting one’s work and sharing it with others can be difficult. But once more it is important to understand that resources should be shared with one another and to make these “small” subjects become more efficient. It connects back to the principles of FAIR. Closing the Gap, in its inception, wants to break down the barriers and allow for the communication of resources for those dealing with Non-Latin scripts. The researchers behind the group push for

Additionally by the later half of the presentation, another DH project known as OpenITI, which stands for Open Islamic Texts Initiative, was introduced. Maxim Romanov presented a brief introduction to the project, which is currently working toward an automated form of Arabic and Persian manuscript transcription and collecting digital versions of text. It’s a vast project that has successfully utilized resources like GitHub to create a database with over a thousand texts. Contributors can add their texts to the corpus following the guidelines where they will utilize OCR (optical character recognition—in simplified terms converting an image of text into a machine-readable text format) to help record these texts. 

It’s an impressive project that helps to highlight the overall goal of Closing the Gap, which is to connect with other projects and maintain as open as possible in terms of communication and networking. Already the network of the project is expanding, and aims to help other researchers connect globally. Hopefully Closing the Gap can continue to live up to its name as it aims to connect others as well as be transparent in its data.

The workshop then closed with a presentation of Arabic manuscripts from the libraries own collection, highlighting that Digital Humanities is a bridge between both the digital and physical world.

Other projects can utilize the cost effectiveness of Closing the Gap while maintaining an open and FAIR policy. For other DH project it stands out as an example of how the global research community is expanding and becoming more interwoven.

Thanks to all the presenters at the workshop as we look forward to highlighting more DH projects and working together as a global community passionate about bridging humanities and the modern era.

Veranstaltungshinweis: Projektmanagement als wichtiges Tool für Digital Humanities Projekte

17. Juni 2024, 10:00-15:00 Uhr
Staats- und Universitätsbibliothek Hamburg, Von-Melle-Park 3


Anmeldung unter: forschungsdienste@sub.uni-hamburg.de
Chaotische Mindmap mit Zetteln, auf denen "Personal", "Task", "Funding" und "Problem" steht und wirr mit Pfeilen verbunden sind. Oben steht "Digital Humanities Projekte".

DH-Projekte sind komplexe Vorhaben aufgrund ihrer Interdisziplinarität, Innovativität und der meist stark begrenzten Ressourcen durch Drittmittelförderung.

In Projekten sollen ToDos erledigt werden, die aber auch irgendwie in Abhängigkeit zueinander stehen. Personal und Finanzmittel müssen verfügbar sein, aber auch verplant werden. Das Projekt soll natürlich erfolgreich sein, aber wer entscheidet alles darüber?

Um sich diesen Herausforderungen zu stellen und DH-Projekten zum Erfolg zu verhelfen, bedarf es eines weiteren Tools im DH-Projekt-Werkzeugkasten, das ein überlegtes und systematisches Vorgehen fördert: Projektmanagement.

Im Workshop “Projektmanagement als wichtiges Tool für Digital Humanities Projekte” an der SUB Hamburg möchten wir die typischen Herausforderungen von DH-Projekten mit dem Potential von Projektmanagement-Methoden zusammenbringen.

Neben kompakten Inputs zu Projektmanagement, wird es Raum geben für eigene Erfahrungen aus der Projektpraxis und dem Erproben von PM-Methoden, die künftig auch in der eigenen Projektarbeit Anwendung finden können.

Das Angebot richtet sich an Interessierte aus der wissenschaftlichen Projektarbeitspraxis an Universitäten, Forschungseinrichtungen oder wissenschaftlichen Bibliotheken. Vorkenntnisse sind nicht nötig.

Lernwerkstatt: Briefe digital erforschen – Ein Seminarbericht

Im Wintersemester 2023/24 habe ich an der Freien Universität Berlin im Rahmen der Eins@FU Lernwerkstätten ein Seminar zum Thema “Briefkorrespondenzen zwischen der arabischen Welt und Europa digital erforschen” gegeben. Hierbei hatte ich zunächst nur eine grobe Planung vorgenommen, da ich den genauen Inhalt und Verlauf zusammen mit den Studierenden erarbeiten wollte. Am Ende haben wir dann über das Semester fast den gesamten Workflow vom physischen Brief zur Web-Präsentation eines TEI-XML-edierten Dokuments behandelt. In diesem Beitrag möchte ich das Vorgehen kurz zusammenfassen und einen Überblick über die Themen geben, die wir besprochen haben.

In der ersten Sitzung wurden neben den organisatorischen Formalitäten erstmal Wünsche, Erwartungen, Befürchtungen und Ängste abgefragt. Dabei stellte sich heraus, dass die Studierenden vor allem Interesse an inhaltlichen Fragen zum kulturellen Austausch hatten, aber auch Forschungsprozesse an Universitäten und verschiedene Forschungsmethoden kennenlernen wollten. In den Befürchtungen wurde geäußert, dass es schwierig sein könnte, den digitalen Themen zu folgen zu können und dass das Seminar zu technisch ausgerichtet sein könnte. Ganz vermeiden konnte ich letzteres aufgrund des Ziels, sich mit der digitalen Erforschung von themenspezifischen Briefen zu beschäftigen, nicht. Ich habe jedoch immer mal wieder probiert, die inhaltlichen Dimensionen dessen zu verdeutlichen, was wir im Seminar gemacht haben. Ein solcher Kontext half den Studierenden dann oft auch, Sinn und Zweck der teils für Einsteiger:innen sehr komplexen digitalen Themen zu verstehen und entsprechend motiviert zu bleiben.

Als erstes wurde aber über das Thema Brief im Allgemeinen gesprochen. Die Studierenden haben Eigenschaften von Briefen gesammelt und wurden so auch vor die Herausforderung gestellt, Phänomene jenseits der alltäglichen Perspektive zu erkennen und zu beschreiben. Oft waren es Dinge, die den Studierenden ganz banal erschienen, die am Ende dann aber eben doch wichtig für die Erkenntnis sind, ob es sich bei einem Dokument um einen Brief handelt. Das zog sich im Übrigen durch das ganze Seminar, immer wieder habe ich die Studierenden aufgefordert, jede vermeintlich selbstverständliche Sache zu hinterfragen und auf ihre Relevanz für die Analyse hin zu betrachten.

Zunächst wurde aber diskutiert, was eigentlich nötig ist, damit ein Brief vom Ereignis seiner Niederschrift auf die Notebooks der Studierenden kommt. Hier wurde der Prozess vom Nachlass über die bibliothekarische Erschließung bis zur Digitalisierung besprochen und ebenso eine erste Einführung in das Thema Metadaten gegeben. Die Studierenden lernten, welche zahlreichen Bedingungen erfüllt sein müssen, damit ein Brief tatsächlich erhalten bleibt, über Nachlässe in Bibliotheken oder Archive kommt und dort dann auch entsprechend erschlossen und digitalisiert werden kann. Dabei spielte weniger das technische Know-How eine Rolle. Mein Ziel war hier vielmehr, die Studierenden dafür zu sensibilisieren, wie viele Faktoren erfüllt sein müssen, damit sie an einem einfachen Digitalisat arbeiten können.

Nachdem die Studierenden entsprechend auf Faktoren und Details in der Transmissions- und Digitalisierungskette sensibilisiert wurden, habe ich mich der automatischen Texterkennung gewidmet. Neben einer sehr groben Einführung und kritischen Einordnung von maschinellem Lernen als Grundlage für automatisierte Texterkennung (“Computer sind sehr dumm.”), habe ich mit den Studierenden einen bereits gedruckten Briefcorpus gewählt, der inhaltlich ihren Wünschen entsprach und sich leicht mit Transcribus transkribieren lassen würde: Die sogenannten Liebesbriefe von Ǧibrān Ḫalīl Ǧibrān an Mayy Ziyāda. Transcribus (Lite) habe ich gewählt, da aktuell leider kein ATR-Tool existiert, das eine ähnlich einfache Nutzung ohne tiefere Fachkenntnis erlaubt. Die ins Englische übersetzten Drucktexte ließen sich auf jeden Fall gut beispielhaft für den Erkennungsprozess nutzen.

Schlimmes Cover, schöne Briefe.

Auch hierbei ging es mir weniger darum, den Studierenden technische Details zu vermitteln, sondern eher ein allgemeines Wissen über die Prozesse zu schaffen und das Auge für Problemstellen zu sensibilisieren: Das Ziel war, den Blick dafür zu schärfen, wie scheinbar banale Dinge, wie z.B. die Regionenidentifikation auf einer Druckseite, unmittelbaren Einfluss auf das Transkriptionsergebnis und damit auf den weiteren Verlauf der Arbeit haben kann.

Neben diesen allgemeineren ATR-bezogenen Themen wurde in diesem Block auch kurz das Thema Ligaturen und arabische Schrift (die von den Studierenden nicht beherrscht, also nur sehr oberflächlich behandelt wurde) als Problembereich in der automatisierten Erkennung angesprochen, sowie die grundlegende Funktion von verschiedenen Modellen und dem Modelltraining vermittelt.

Im Anschluss an die Transkription lernten die Studierenden die Grundlagen von XML, da der nächste Schritt die Einbettung des transkribierten Texts in ein TEI-XML Dokument sein sollte. Nach einer kurzen allgemeinen Einführung mit einigen Übungen, wurde der Unterschied zwischen teiHeader und text erläutert und ein Rückbezug zum Metadatenthema hergestellt. Die Studierenden sollten dann einen eigenen teiHeader mit den grundlegenden Informationen zu einem der Briefe aus dem “Liebesbriefe”-Band erstellen. Nacheinander wurden die verschiedenen Elemente besprochen und selbstständig angewandt. Dabei wurde auch ein erster Ausflug in das Thema Normdaten gemacht. Die konnten an dieser Stelle über den die Funktion zur Disambiguierung viel verständlicher vermittelt werden, als vorher beim Block zur bibliothekarischen Arbeit.

Der nächste Schritt war dann das Beschreiben der Korrespondenzmetadaten. Vom Anwendungsfall (correspSearch) und allgemeinen, beispielhaften Forschungsfragen (“Wer hat wann mit wem geschrieben?”), sollten die Studierenden die relevanten Daten identifizieren und händisch in ihren gewählten Brief einfügen. Anschließend fand ein kurzer “CMIFathon” statt, an dem die Studierenden mit dem CMIF Creator ein Briefverzeichnis aller Korrespondenzmetadaten aus dem bearbeiteten Band erstellten. Dieses wurde auf Zenodo bereitgestellt und bei correspSearch eingepflegt. Hier war mir ein großes Anliegen, dass die Studierenden so unmittelbar den Eindruck bekommen haben, dass ihre Arbeit im Seminar tatsächlich einen Mehrwert hat. Sie erstellen die Daten nicht nur für sich selbst, um das Thema zu verstehen, sie tragen dazu auch etwas bei zum “größeren Ganzen”. Das hat ungemein die Motivation bestärkt und deutlich das ein oder andere zufrieden-stolze Grinsen auf die Gesichter gezaubert.

Anschließend ging es an die Annotation des Textes. Die Studierenden sollten Entitäten im Text erkennen und annotieren, entsprechend Normdaten recherchieren und ergänzen. Einmal mehr war es mir wichtiger, den Blick zu schärfen für die vermeintlich offensichtlichen Dinge, die für die Analyse aber vielleicht relevant sein könnten. Außerdem, remember, der Computer ist sehr, sehr dumm. Wenn der das auch verstehen soll, dann müssen wir sorgfältig annotieren.

Um den Sinn und Zweck einer solchen Annotation zu verdeutlichen, wurden die annotierten Briefe dann in einem online XPath-Editor eingefügt, um verschiedene grundlegende Fragen (z.B. “Welche Personen werden im Brief erwähnt?”) durch XPath-Ausdrücke beantworten zu können. XPath stellte eine deutliche Steigerung des Abstraktionsgrads dar, die Studierenden hatten mit der Syntax deutlich mehr Probleme, als mit dem vergleichbar eindeutigeren XML. Doch gerade, als dann noch die visuelle Transformation mithilfe eines XSL-Templates dazukam, wurde auch die Funktion von XPath klarer. Beispielhaft wurde ein Brief mithilfe eines XSL-Templates und CSS in eine kunterbunte HTML-Website übersetzt. Hier bot sich an, einen kurzen Ausflug zu unternehmen und sowohl in die Grundlagen von HTML und CSS, als auch in das Thema Namensräume Abstecher zu machen.

Professionalität muss sein.

Schließlich gab es noch einen weiteren Ausflug in Richtung Natural Language Processing. Die Stanford CoreNLP Demo und Voyant Tools wurden ausprobiert, in denen mangels Datenmenge nicht (nur) Ǧibrān Ḫalīl Ǧibrān untersucht wurde, sondern auch Woyzeck als Werk, das alle Studierenden kannten. Dabei wurde einführend über Aussagegehalt und Gefahren von Visualisierungen gesprochen und durch Herumprobieren verschiedene Analysen angestellt (“Der schreibt ziemlich lange Sätze”), die gleichzeitig auch wieder hinterfragt wurden (“Die Topics sind ja total wirr!”). Auch wurde die Ausgabe einer Sentiment-Analyse aus der Kommandozeile untersucht und über Themen wie Preprocessing und die verschiedenen Prozessoren (z.B. POS) in NLP-Anwendungen gesprochen.

Alle Themen wurden am Ende dann zusammen betrachtet und im Kontext des Research Life Cycle eingeordnet. Hierbei wurden auch nochmal Querbezüge zur praktischen Verwertbarkeit hergestellt und so manche Sinnfrage (“Warum machen wir das eigentlich alles?”) zumindest etwas beantwortet. Die Befürchtung, dass ich die Studierenden mit meiner aus dem beruflichen Alltag stammenden Perspektive völlig überfordern würde, stellte sich als unbegründet heraus. Offenbar war der stetige Bezug zur Praxis, das verwendete Material, und die aktive eigene Arbeit mit den vorgestellten Themen und Methoden hilfreich, um nicht den Anschluss zu verlieren. Herausfordernd war das Thema sicherlich trotzdem. Natürlich werden jetzt auch nicht alle Studierenden begeisterte Digital Humanists. Ich glaube aber, bei der ein oder anderen Person zumindest ein bisschen Interesse für digitale Methoden geweckt zu haben. Ein:e Teilnehmer:in kündigte sogar begeistert an, sich im Studium dann auf jeden Fall mit DH beschäftigen zu wollen.

Mein Ziel war, die Forschungspraxis mit all ihren Facetten vom physischen Objekt bis hin zu den verschiedenen Formen der digitalen Analyse und ihrer Publikation im Seminar zumindest vorzustellen, wenn nicht sogar praktisch auszuprobieren. Und das an Briefen, die exemplarisch für den Austausch zwischen der arabischen Welt und Europa stehen (Fair enough, Ǧibrān Ḫalīl Ǧibrān hat dann in den USA gelebt…). Hierbei habe ich immer wieder darauf hingewiesen, dass die beste Forschung durch Zusammenarbeit und Austausch entsteht. Diese Zusammenarbeit und diesen Austausch habe ich versucht auch in der Seminarpraxis zu fördern. Gemessen daran, dass ein großer Teil der Studierenden bis zum Ende durchgehalten hat und im Feedback durchaus konstruktiv kritisch, aber doch unterm Strich zufrieden, Fazit gezogen hat, scheint das grundsätzlich gelungen zu sein.

Mit dem CMIF haben die Studierenden sich aber schon zu Beginn ihres Studiums mit einem kleinen aber feinen Beitrag für die Briefforschung verewigt und das ist, unabhängig davon, wohin es sie letztlich verschlägt, etwas sehr schönes.

Veranstaltungsbericht: Explorative Visualisierungen von Kulturgut. Einführung und Hands-on.

Kulturgüter sind viel mehr als bloße Gegenstände, die man einfach nebeneinander zum isolierten Beschauen in einem Schaukasten stellt, oder deren digitalen Abbilder man in Online-Sammlungen nebeneinander präsentiert. Ihr Wert besteht zum großen Teil in etwas, was man nicht direkt sieht: in ihren Beziehungen zueinander, gegenseitigen Einflüssen, verwickelten Ursprüngen und Entwicklungsparallelen. kurz, in der Geschichte, die sie erzählen. Die Frage ist, wie man dem Betrachter einen adäquaten Zugang zu dieser Geschichte anbieten kann? Wie visualisiert man das, was man nicht direkt sehen kann? Der Workshop „Explorative Visualisierungen von Kulturgut“, der am 14. Januar an der SUB Hamburg stattfand, hat sich genau mit dieser Frage beschäftigt.

Blick über die verschneiten Dächer Hamburgs, im Hintergrund erkennt man den Dammtor-Bahnhof und das Hauptgebäude der Uni Hamburg.
Foto von Sabine de Günther

Zuerst jedoch ein paar Schritte zurück. Online-Kataloge sind an sich schon eine kleine Revolution. Sie haben kulturelle Teilhabe für alle ermöglicht, indem sie zahllose Sammlungen einem großen Publikum dauerhaft zugänglich machen. Hingegen ist es die Methode der isolierten Darstellung von Objekten, die zunehmend Gegenstand von Kritik ist. Mangelnde Größenvorstellung, Verlust von Relationen zwischen den Objekten, eingeschränkte Kontextualisierung und oft fehlende Erzählung sind einige Punkte, welche die Interpretation der Kulturgüter beeinträchtigen können.

Ein Grund zur Freude ist jedoch, dass viele bereits versuchen, es besser zu machen. Ein Bespiel war das British Museum mit seinem „Museum oft the World“ (via Wayback Machine), einer animierten Zeitleiste (entwickelt in Zusammenarbeit mit Weir+Wong und technologischer Unterstützung des Google Cultural Institute), die es erlaubte, interaktiv entlang der Parameter Geographie und Zeit die Sammlungen zu erkunden. Ein anderes Beispiel ist das Museum of Modern Art in New York mit seiner virtuellen Ausstellung zur abstrakten Kunst „Inventing Abstraction 1910-1925“, in der die Beziehungen zwischen einzelnen Künstlern durch interaktive Netzwerke erfahrbar gemacht wurden. Nicht nur die Museen selber, sondern auch Forschungsinstitute arbeiten an innovativen Lösungen. So auch die Fachhochschule Potsdam und das dort entwickelte Tool „Vikus Viewer“, ein webbasiertes Visualisierungssystem, das kulturelle Artefakte auf einer dynamischen Leinwand anordnet und die Erkundung thematischer und zeitlicher Muster großer Sammlungen unterstützt. Was diese Ansätze verbindet, ist der Versuch, Kulturgüter in ihrer Kontinuität und Verbundenheit zu erschließen und dem Betrachter eine freie Erkundung dieser Gesamtheit zu ermöglichen.  

Diesem innovativen Ansatz folgt auch das der Kulturgeschichte der Kleidung gewidmete Projekt „Restaging Fashion“ (ReFa), in dem die Workshop-Referentin Dr. Sabine de Günther als wissenschaftliche Mitarbeiterin mitwirkt. Im Projekt werden vestimentäre Quellen in einer graphenbasierten Visualisierung, die Narration mit Exploration verbindet, präsentiert, mit dem Ziel, dem Publikum einen geleitete Sammlungseinstieg wie auch eine frei entlang den inhaltlichen Verbindungen explorierbare Samlungsansicht  anzubieten.

Bild mit einer Darstellung von einem Graph, der verschiedene Abbildungen von Königen verknüpft
Abbildung aus ReFa

An die im Projekt gesammelten Erfahrungen anschließend, begleitete die Referentin die Workshopsteilnehmer:innen durch den Entstehungsprozess der Visualisierungen, von der Übermittlung der Grundprinzipien, durch die Analyse bestehender Beispiele, bis hin zu dem kollaborativen Designprozess eigener Visualisierungen. Auf dem Arbeitstisch wurden hunderte von Zettelchen mit Abbildungen historischer Kleidung aus der Sammlung des Projekts verteilt, ein materialisierter Datensatz, an dem die TeilnehmerInnen ihren Visualisierungsfantasien freien Lauf lassen konnten. Die Aufgaben waren, anders als in anderen Workshops der Reihe “Digital Humanities – Wie geht das?”, analog und ohne Computer zu bewältigen, da um das Verständnis für die Logik des Visualisierungsprozesses ging und um die theoretische Erarbeitung kreativer Visualisierungsansätze. Die TeilnehmerInnen wurden etwa gebeten, an einer Pinnwand die Mock-up Visualisierung eines sie interessierenden Aspektes des Konvoluts zu collagieren, oder ihren ganz eigenen Zugang zu der Sammlung zu finden und ihn für die anderen visuell verständlich zu machen.

Ein Tisch mit vielen kleinen Bildern von Kleidungsstücken. Im Hintergrund ein Notebook und Kaffeekannen, im Vordergrund ein Stift und eine Rolle Klebeband
Foto von Sabine de Günther
Eine Pinnwand mit drei Mockups, auf denen verschiedene Darstellungen von Häusern, eine Kirche und Graphen zu sehen sind
Foto von Sabine de Günther

Die beeindruckende Vielfalt an Ideen und Herangehensweisen hat deutlich gezeigt, dass sich viel Potenzial in unkonventioneller Datendarstellung verbirgt. Wie kann man die zeitliche Entwicklung männlicher Kopfbedeckungen darstellen, ohne die regionalen Unterschiede aus dem Auge zu verlieren? Wie kann man die Geschichte eines Schmuckstücks erzählen, das in mehreren Abbildungen gleichzeitig auftaucht? Oder ganz allgemein gesagt, wie stellt man einen Datensatz vor, um den Betrachter nach seinem Belieben durch das Netz der Informationen flanieren zu lassen? Selbst wenn die Antwort darauf komplex erscheint, so hat der Workshop gezeigt, welche Fülle an kreativen Lösungen die explorative Visualisierung von Kulturgütern bietet.

Dieser Beitrag ist parallel erschienen im Blog des Projekts “Closing the Gap in Non-Latin Script Data II”.

Kommentar: Wissenschaft, Digital Humanities, Antifaschismus

Deutschland, Anfang 2024. Die AfD liegt bundesweit an zweiter Stelle und schickt sich an, bei den Landtagswahlen in mehreren Bundesländern die stärkste Kraft zu werden. Die politischen Themen der AfD ragen weit ins konservative Lager und darüber hinaus: Die Idee, man müsse nur entsprechend reaktionäre Politik machen, um AfD-Wähler:innen wieder zurückzuholen hält sich hartnäckig.

Mitglieder der AfD, der Identitären Bewegung, der Werteunion und andere treffen sich derweil in einer Potsdamer Villa, um Pläne für die Massendeportation als nicht-Deutsch identifizierter Teile der Bevölkerung (und deren Unterstützer:innen) zu diskutieren. Nach Jahren rechtsradikaler Aktivitäten scheint der Correctiv-Bericht über dieses Treffen bei großen Teilen der Bevölkerung etwas auszulösen: Millionen Menschen demonstrieren seit Tagen gegen die Umtriebe von Rechtsaußen und die AfD. Der Antifaschismus scheint ein Comeback zu feiern, wenngleich die Nachhaltigkeit dieser Entwicklung noch abzuwarten bleibt.

Damit dies geschehen kann, ist es notwendig, antifaschistisches Engagement nicht nur auf die Teilnahme an Demonstrationen, nicht nur auf das Nicht-AfD-Wählen, nicht nur auf ein klares Auftreten im Privaten zu beschränken. Antifaschismus muss auch die wissenschaftlichen Institutionen durchdringen, denn eine kritische Wissenschaft ist ohne freie Gesellschaft nicht möglich.

Dass die Wissenschaft schon jetzt im Fadenkreuz rechter Aktivitäten steht, sieht man etwa an den Aktivitäten der AfD und des Netzwerks Wissenschaftsfreiheit, das sich nach eigenen Aussagen für ein “freiheitliches Wissenschaftsklima” einsetzt, da “der Versuch unternommen [würde], Forschung und Lehre weltanschaulich zu normieren und politisch zu instrumentalisieren”. Ein Blick auf die Kommunikation des Netzwerks macht klar: Die “Freiheit” der Wissenschaft wird hier sehr selektiv und konservativ bis reaktionär begriffen, das Wording bewegt sich nicht selten im Dunstkreis der neuen Rechten.

Doch nicht nur das Netzwerk Wissenschafts”freiheit” ist ein Problem. Auch globale Entwicklungen wie die große Marktmacht von Datenkartellen auf dem wissenschaftlichen Infrastruktur- und Publikationsmarkt sollte nachdenklich stimmen: KI-Systeme und die systematische Sammlung von Metadaten zu und über Forscher:innen finden über die Konzernstrukturen und den Markt schnell den Weg in weltweite Sicherheitsbehörden. In einer Welt, in der auch in demokratischen Ländern zunehmend reaktionäre, neofaschistische und autoritäre Regierungen an der Macht sind, kann das ganz konkret eine Gefahr für Forscher:innen und deren Umfeld bedeuten.

Vor dem Hintergrund dieser Entwicklungen verschickte die SUB zu Weihnachten 2023 Weihnachtskarten mit einem Zitat von Erich Kästner:

Drohende Diktaturen lassen sich nur bekämpfen, ehe sie die Macht übernommen haben. Es ist eine Angelegenheit des Terminkalenders, nicht des Heroismus.

Damit signalisiert sie einen in der Tradition des Namenspatrons Carl von Ossietzky stehenden institutionellen Antifaschismus, der sich auch im Veranstaltungsprogramm immer wieder zeigt. Derartiges Standing ist begrüßenswert und nötig. Ein solcher Antifaschismus muss sich aber auch über die Institution(en) hinaus in der täglichen Arbeit zeigen. Antifaschismus ist Handarbeit.

Aus der eigenen Disziplin heraus gefragt: Was können die Digital Humanities dazu beitragen? Was können einzelne Wissenschaftler:innen tun, um dem Trend zu begegnen? Abgesehen davon, dass DH als Schnittstellendisziplin hervorragend geeignet ist, Entwicklungen wie Automatisierungstechnologien und die Integration von Konzerntechnologien in den wissenschaftlichen Prozess kritisch zu hinterfragen und durch dezentrale, institutionelle oder gemeinnützige Arbeit herauszufordern (Stichwort “Infrastructure Studies”), bietet auch die in den DH deutlich sichtbare Demokratisierung wissenschaftlicher Praxis einen guten Boden für antifaschistische Arbeit.

Kooperation, Austausch und Zusammenarbeit über disziplinäre und institutionelle Grenzen hinweg waren und sind ein großer Gewinn, der gerade in den stark hierarchischen klassischen Geisteswissenschaften oft noch fehlt. Hier muss aktiv daran gearbeitet werden, die Demokratisierung der wissenschaftlichen Praxis auch im Alltag weiter voranzutreiben und wissenschaftlichen Hierarchien, Technikgläubigkeit und politischer Passivität angesichts einer brisanten politischen Lage zu begegnen.

Konkret heißt das: Vernetzung! Ein klares Bekenntnis zum Antifaschismus zeigen. Bei Kritik daran oder wenn Ängste im Hinblick auf die “Neutralität” oder Reputation bestehen, diesen Ängsten und Strukturen analytisch und durch gegenseitige Unterstützung begegnen. Bezugsgruppen bilden für gemeinsames Auftreten auf Konferenzen, gemeinsame Publikationstätigkeit oder auch einen gemeinsamen Demobesuch. Im Rahmen dessen, was man selbst leisten und beitragen kann aktiv werden, online wie offline.

Auf Mastodon wurde dafür von Henrik Schönemann der Hashtag #antifascistDH vorgeschlagen, den ich nachdrücklich unterstütze. Auch wurde auf HCommons eine lose Gruppe für Vernetzung und Austausch gegründet. Ob über diese oder andere Wege: Vernetzt euch, seid aktiv, gegen reaktionäre Politik und neofaschistische Entwicklungen, für starke, politische, offene, evidenz- und testbasierte, progressive und freiheitliche, antifaschistische Wissenschaft.

Mit solidarischen Grüßen

Eine Privatperson.

Veranstaltungshinweis: Workshop “How to Preserve Diverse Data in a Monolingual Environment”

February 14, 2024, 9:30 – 12:30
SUB Hamburg, VMP3, HG154

Registration/Anmeldung: forschungsdienste@sub.uni-hamburg.de

In our era of vast technological developments, digital methods have unlocked a broad spectrum of new research possibilities, not only in the natural sciences but also in the social sciences and the humanities. Digital preservation, new tools for distant reading, and quantitative text analysis have revolutionized knowledge extraction from texts. However, as these fields are largely dominated by the Global North, research involving materials in languages from beyond that sphere often faces limitations that hinder the utilization of novel technologies.

The workshop “How to Preserve Diverse Data in a Monolingual Environment,” to be held on February 14 at the Staats- und Universitätsbibliothek Hamburg Carl von Ossietzky, is part of an initiative to address this asymmetry. The research project Closing the Gap in Non-Latin-Script Data (based at the Freie Universität Berlin), in cooperation with the Referat für Digitale Forschungsdienste at the SUB Hamburg, has been conducting a survey and analysis of the field of Digital Humanities with a focus on low-resource and non-Latin-script (NLS) languages. The aim is to identify technical and structural limitations that may arise across various stages of projects working with such languages, particularly in terms of data analysis and sustainable data preservation. Furthermore, Closing the Gap strives to set an example for multilingual DH research aligned with FAIR principles, offering its workflows and solutions as guidelines for the community.

The goal of this workshop is twofold. First, members of the Closing the Gap team will present some of the data that the project has collected and the workflows that have been developed, as well as preliminary insights from this research—thereby providing an overview of challenges that are commonly faced in multilingual DH. Second, the workshop is intended to create a space for open discussion and exchange of ideas among DH practitioners, librarians, and others who are interested in improving the conditions for working with NLS textual data.

In einer Ära umfangreicher technologischer Entwicklungen haben digitale Methoden ein breites Spektrum neuer Forschungsmöglichkeiten eröffnet, nicht nur in den Naturwissenschaften, sondern auch in den Sozial- und Geisteswissenschaften. Digitale Konservierung, neue Werkzeuge für das Distant Reading und quantitative Textanalysen haben die Wissensextraktion aus Texten revolutioniert. Allerdings sind diese Bereiche größtenteils vom Globalen Norden dominiert, und die Forschung mit Materialien in Sprachen, die außerhalb dieser Sphäre liegen, stößt oft auf Einschränkungen, die die Nutzung neuer Technologien behindern.

Der Workshop „How to Preserve Diverse Data in a Monolingual Environment“, der am 14. Februar in der Staats- und Universitätsbibliothek Hamburg Carl von Ossietzky stattfinden wird, ist Teil einer Initiative, um diese Asymmetrie anzugehen. Das Forschungsprojekt Closing the Gap in Non-Latin-Script Data (an der Freien Universität Berlin ansässig), in Zusammenarbeit mit dem Referat für Digitale Forschungsdienste der SUB Hamburg, führt eine Umfrage und Analyse im Bereich der Digital Humanities durch, mit Schwerpunkt auf ressourcenarmen und nicht-lateinischen Schriftsprachen (NLS). Ziel ist es, technische und strukturelle Einschränkungen zu identifizieren, die in verschiedenen Phasen von Forschungsprojekten mit solchen Sprachen auftreten können, insbesondere in Bezug auf Datenanalyse und nachhaltige Datenkonservierung. Darüber hinaus strebt Closing the Gap danach, ein Beispiel für mehrsprachige DH-Forschung im Einklang mit den FAIR-Prinzipien zu setzen, indem es seine Arbeitsabläufe und Lösungen als Richtlinien für die Gemeinschaft anbietet.

Die Absicht dieses Workshops ist zweigeteilt. Erstens werden Mitglieder des Closing the Gap-Teams einige der von dem Projekt gesammelten Daten und die entwickelten Arbeitsabläufe vorstellen, sowie vorläufige Erkenntnisse aus dieser Forschung – und somit einen Überblick über die Herausforderungen bieten, die in der mehrsprachigen DH-Forschung häufig auftreten. Zweitens soll der Workshop einen Raum für offene Diskussionen und den Austausch von Ideen unter DH-Praktikern, Bibliothekaren und anderen schaffen, die an der Verbesserung der Bedingungen für die Arbeit mit NLS-Textdaten interessiert sind.

Veranstaltungsbericht: Open-Source Texterkennung (vor-)moderner Drucke und HandschriftenVeranstaltungsbericht:

Am 13. November 2023 trafen sich Teilnehmer:innen aus den verschiedensten Disziplinen und mit den unterschiedlichsten Hintergründen wieder einmal im 17. Stock des Bücherturms, um an der SUB bei bestem Wetter mehr zum Thema OCR und den Umgang mit dem an der Universität Würzburg entwickelten Tool OCR4all zu lernen. Dieses wurde mit der Intention entwickelt, dass der allgemein relativ komplizierte und oft auf Konsolen-Ebene stattfindenden OCR-Workflow für jede:n einfach in der Transkription kleiner Corpora im Heimgebrauch durchführbar werden soll. Anders als Transcribus, das als (teilweise kostenpflichtige) Alternative für benutzer:innenfreundliche OCR-Tools häufig das Mittel der Wahl ist, setzt OCR4all aber komplett auf eine modulare OpenSource-Lösung, die über Docker einfach* selbst eingerichtet werden kann. Und um den Asterisk vorwegzunehmen: Einfach, wenn es funktioniert. Leider ist die Einrichtung immer noch nicht ganz so einfach, wie man es sich für eine *4all Software wünschen würde. Dies soll sich aber, so das Versprechen, in der im Frühjahr 2024 folgenden neuen Version von OCR4all ändern, die mit einem normalen Installer daherkommt (immer noch über Docker, aber einfacher). Das Deployment wurde im Workshop dann auch rege diskutiert, da sich einige Teilnehmer:innen aus der Forschung fragten, ob OCR4all nicht ein institutioneller Service sein könne und sicherlich wäre es keine schlechte Idee, die Nutzung von OpenSource-Software zu fördern und zentral über die Rechenzentren zu instanzieren. Gerade, wenn man nicht mehr an das Dateisystem heranmuss und die Daten einfach herunterladen kann, auch das ein versprochenes Feature für die neue Version.

Blick über Hamburg, weiter Hinten sieht man die Außenalster, die Sonne steht noch tief im Osten und erleuchtet die Szene goldgelb.

Nach einem kurzen Einblick in die Funktion, die Workflows und Pipelines von OCR und OCR4all ging es recht zügig an die Praxis: Die Teilnehmer:innen konnten anhand einer vorbereiteten Anzahl Corpora auf einer Workshop-Instanz an der Uni Würzburg bei unterschiedlichen Texten mit verschiedenen Schriften zunächst selbstständig binarisieren, also die Bilddateien auf Graustufen oder Schwarzweiß reduzieren und anschließend segmentieren, also die Bilddateien in Regionen und Linien einteilen, auf denen dann der eigentliche Erkennungsprozess stattfindet. Dabei ist schon hier darauf zu achten, sich im Vorfeld auf eine einheitliche Nomenklatur zu einigen: Alle Bezeichnungen und Regionen, die hier gewählt und beschrieben werden, tauchen im PageXML nachher als solche auf. Das ist gerade in Projekten, bei denen verschiedene Personen zusammenarbeiten wichtig, schließlich sollte man hier konsistent bleiben.

Blick in den Workshop-Raum, in dem Teilnehmer:innen an ihren Notebooks sitzen oder dem Referenten vorn zuhören. Auf dem Bildschirm ganz vorn sieht man einen Ausschnitt eines transkribierten Texts

Neben der Einteilung in Regionen und Zeilen musste auch die Lesereihenfolge festgelegt werden, die ebenfalls in das PageXML in der festgelegten Reihenfolge übertragen wird. Teilnehmer:innen des Asien-Afrika-Instituts wollten hier wissen, inwieweit diese Arbeit auch für Schriftsysteme funktioniert, die etwa von rechts nach links oder oben nach unten geschrieben werden: Theoretisch kann man diese ebenso segmentieren, ggf. wird dann nur der Auswertungsaufwand am Ende größer, da etwa für jede Glyphe eine Zeile markiert werden muss – die dann auch im XML steht

Anschließend konnten die Teilnehmer:innen die Texterkennung durchführen und verschiedene Modelle an den verschiedenen Corpora ausprobieren. Dabei wurde darauf hingewiesen, dass ein werkspezifisches Modell, das auf den Werkdaten trainiert wurde, natürlich immer die besseren Resultate bringt, als ein allgemeines Modell. Ein allgemeines Modell wiederum wird immer die bessere Ausgangslage für ein spezifisches Training bieten, als ein völlig neues Modell zu beginnen. Generell war die Erkennungsgenauigkeit aber recht hoch mit den zur Verfügung gestellten Modellen.

Am Schluss konnte noch die Alphaversion der neuen Version von OCR4all ausprobiert werden. Dabei fiel nicht nur das deutlich modernere und einfacher zu bedienende Interface auf, die neue Version bietet auch eine leichtere Möglichkeit, bestehende Modelle hinzuzufügen und in einem Pipeline-Editor mehrere Schritte parallel zu schalten: Ein Text könnte also gleichzeitig mit verschiedenen Modellen transkribiert werden, um anschließend die Ergebnisse vergleichen zu können. Wie bereits geschrieben soll es auch einen direkten Datenexport geben, der keinen Zugriff auf das Dateisystem der Instanz mehr verlangt. Sowohl Datenimport, Modellimport, als auch Datenexport geschehen aktuell nur lokal im Dateisystem der Instanz, auf die man also Zugriff braucht.

Allgemein bot der Workshop einen guten ersten Einblick in die praktische Arbeit mit OCR und OCR4all. Die Teilnehmer:innen lernten erste Fachbegriffe, z.B. was die Ground Truth ist (nämlich die Datengrundlage für das weitere Modelltraining), und konnten durch den pragmatischen Hands-On Charakter auch selbst tätig werden. Gerade für die Teilnehmer:innen des AAI (und mich) fehlte hier natürlich ein praktisches Beispiel aus dem Bereich nicht-lateinischer Schriften, die aber zumindest teilweise und je nach Modell mit den gewohnten Umständlichkeiten im Hinblick auf Schreibrichtung und Handling grundsätzlich unterstützt werden.

Vielen Dank an Florian Langhanki für die interessanten Einblicke!

Veranstaltungshinweis: Coffee Lecture und Workshop zum Thema Datenvisualisierung

Die ersten Veranstaltungen für 2024 stehen fest. Die Reihe “Digital Humanities – Wie geht das?” beginnt das neue Jahr mit dem spannenden Thema Datenvisualisierung:

Produktive Reibungsflächen: Geisteswissenschaften und Datenvisualisierung

Am 12. Januar 2024 im neuen DHLab (Raum C2003 in der Bibliothek im zweiten Stock) der Universität Hamburg, der Bibliothek für Geisteswissenschaften und der Staats- und Universitätsbibliothek Hamburg im neu renovierten Philosophenturm. ACHTUNG: Wegen des Bahnstreiks fällt die Präsenzveranstaltung aus. Die Veranstaltung findet NUR online via Zoom statt.

Visualisierungen sind in aller Munde oder besser: in aller Auge. Mit der zunehmenden datenbasierten digitalen Forschung in allen Disziplinen gibt es kaum noch einen Bereich, der Analyseergebnisse oder auch Analyseworkflows selbst nicht visuell gestaltet. Besonders in den geisteswissenschaftlichen Disziplinen, die sich auf textbasierte Forschung konzentrieren, wird die Fähigkeit zur kritischen Bewertung von Visualisierungen jedoch oft vernachlässigt und findet nur selten Eingang in die Ausbildung. Angesichts der zunehmenden Generierung digitaler Forschungsdaten und Analyseergebnisse in den digitalen Geisteswissenschaften ist jedoch die visuelle Darstellung und Interpretation dieser Daten unausweichlich geworden, um zukunftsfähig zu bleiben. Dies erfordert eine ausgeprägte visuelle Kompetenz als Teil der Data Literacy. Mit dem Bereich der Datenvisualisierung scheint jedoch (wiederum) ein neues Paradigma wissenschaftlichen Arbeitens in die Geisteswissenschaften Einzug zu halten und für mehr oder weniger produktive Reibungen zu sorgen. Vagheiten, Ambivalenzen, Eindeutigkeiten oder überhaupt Sichtbarkeiten interpretativer Schritte der Datengenerierung und -auswahl sind jedoch von genuin geisteswissenschaftlichem Interesse. Hermeneutische und computationelle Zugänge lassen sich im Feld der Datenvisualisierung miteinander in Verbindung bringen. In diesem Vortrag werden das Problemfeld beleuchtet und potenzielle Kriterien für die Kategorisierung und kritische Bewertung von geisteswissenschaftlichen Datenvisualisierungen vorgestellt.

Eine Veranstaltung im Rahmen der Veranstaltungsreihe „Digital Humanities – Wie geht das?“ des Referats für Digitale Forschungsdienste.

Der Vortrag findet als Coffee Lecture hybrid statt. Für eine Teilnahme vor Ort bitten wir um Anmeldung an forschungsdienste@sub.uni-hamburg.de.

Explorative Visualisierungen von Kulturgut. Einführung und Hands-on

Am 15. Januar 2024 an der Staats- und Universitätsbibliothek Hamburg.

Visualisierung von Daten fungiert als epistemisches Mittel; eine Visualisierung soll Aussagen über die Einzel- als auch die Gesamtdaten treffen sowie Erkenntnisse fördern. Vorgestellt werden zwei im UCLAB der Fachhochschule Potsdam entstandene dynamische und interaktive Viewer, die unterschiedliche Einstiege in kulturelle Datensammlungen anbieten und Objekte und ihre Relationen sichtbar machen. In ihrer Funktion als Analysewerkzeug und Erkenntnismittel erlaubt die Visualisierung dabei auch einen strukturierten und dynamischen Zugriff auf große Datenmengen.

Basis einer jeden Visualisierung ist die Strukturierung und semantische Anreicherung der Forschungsdaten. In dem Hands-On-Workshop wird eine Infrastruktur zur Erfassung und Kontextualisierung kleiderhistorischer Quellen, die mittels CidocCRM und weiterer Vokabulare strukturiert wurde, vorgestellt. Die Teilnehmenden werden angeleitet, mittels einer Collage-Technik eigene explorative Zugänge zu den Sammlungsobjekten zu erarbeiten. Im Anschluss folgt eine Diskussion über die entstandenen Visualisierungen und eine gemeinsame Reflektion über Datenpraktiken.

Eine Veranstaltung im Rahmen der Veranstaltungsreihe „Digital Humanities – Wie geht das?“ des Referats für Digitale Forschungsdienste.

Die Teilnehmer:innenzahl ist beschränkt auf 15, daher wird um Anmeldung an forschungsdienste@sub.uni-hamburg.de gebeten.

Event information: “Digital Humanities – How does it work?” in the third quarter of 2023

It’s that time again, the events of the series “Digital Humanities – Wie geht das?” for the third quarter of 2023 are coming up.

Workshop: OCR4all – Open-source Text Recognition of (pre-)Modern Prints and Manuscripts

November 13, 2023 at SUB Hamburg.

What data and file types are required for OCR? How does the use of the OCR or HTR workflow integrated in OCR4all change depending on the source material and what (manual) effort should be expected?, How much can the workflow be automated depending on the material at hand?, What are OCR models and how can you train your own text recognition models?, What recognition accuracy can be expected?, How much effort actually makes sense with regard to the later use of the texts produced?

These and other questions will be addressed and explained during the workshop as a part of the event “OCR4all – Open-source Text Recognition of (pre-)Modern Prints and Manuscripts”. So that at the end of the day all participants will be able to work on complex OCR projects independently.

OCR (Optical Character Recognition) and HTR (Handwritten Text Recognition) continue to represent a challenge in the humanities and cultural sciences. OCR4all offers all users a freely available and easy-to-use option to carry out their own OCR workflows. Florian Langhanki (JMU) will introduce the general basics and concepts of OCR and introduce the OCR4all software.

You can either work directly with your own texts or use prepared materials. No prior technical knowledge is required to participate. All you need to bring with you is an internet-enabled laptop, texts relevant to your research (optional) and a great deal of curiosity about the OCR.

The number of participants is limited to 15, so please register at forschungsdienste@sub.uni-hamburg.de

OCR4all – Open-source Text Recognition from Mass Processing of Prints to High-quality Transcription of Handwriting

November 08, 2023 online via ZOOM. Registration is not required.

A central aspect of the work of humanities, cultural and human sciences researchers is the examination of historical sources in the form of printed and handwritten textual evidence. These are often only available as scans, which severely limits their usability, as automatic indexing approaches such as full-text searches or quantitative analysis methods cannot be used. To do this, so-called machine-processable full text must first be extracted from the digital copies, with methods of automatic text recognition of prints (Optical Character Recognition, OCR) or handwriting (Handwritten Text Recognition, HTR) playing an increasingly important role. Very old prints and manuscripts in particular often represent a major challenge for a variety of reasons.

The freely available open source tool OCR4all, developed at the Center for Philology and Digitality (ZPD) at the University of Würzburg, aims to give even less technically experienced users the opportunity to access sophisticated prints and manuscripts independently and in the highest quality. OCR4all encapsulates the entire text recognition workflow and all the tools required for it in a single application that can be easily installed and operated via a comfortable graphical user interface.

During the lecture, Christian Reul explains the basics of automatic text recognition and presents OCR4all and how it works in a live demo. In addition, the applicability and performance on different materials is demonstrated and an overview of current work as well as an outlook on future developments is given.

Workshop-Bericht: “Named Entity Recognition für Geisteswissenschaftler:innen mit Stanford CoreNLP”

Am 7. August 2023 fand auf dem Dach der SUB Hamburg ein weiterer Workshop aus der Reihe “Digital Humanities – Wie geht das?” statt. Diesmal war Thema die für Außenstehende durchaus kompliziert wirkende Named Entity Recognition (NER), also die automatisierte Erkennung von sogenannten “Entitäten” (also Personen, Orte, Werke, …) in Texten. Als Teilbereich des eh schon nicht wenig komplexen Methodenfundus des Natural Language Processing kamen nicht wenige Teilnehmer:innen mit der Motivation, endlich mal zu verstehen, wie das eigentlich funktioniert und befürchteten schon, sich mit mathematischen Funktionen und der Programmierung von Algorithmen auseinandersetzen zu müssen. Die Workshop-Leiterin Marie Flüh konnte in dieser Hinsicht beruhigen: Zwar ist NER durchaus arbeitsaufwändig, gerade wenn eigene Classifier trainiert werden, programmiert oder eigens berechnet werden muss hier aber dank Stanford CoreNLP Named Entity Recognizer nichts.

Bei bestem Hamburger “Schietwedder” trafen sich die Teilnehmer:innen also im trockenen Loft des Bücherturms, um anhand von Beispieldaten aus der Dehmel-Edition die Anwendung von NER, sowie das Training eigener Classifier zu lernen. Nach einer kurzen Vorstellungsrunde gab es zunächst einen inhaltliche Inputvortrag dazu, was NER eigentlich ist und was für Anwendungsfälle es für NER gibt. Dabei ist NER eine Methode aus der Computerlinguistik und wie schon geschrieben Teilbereich des Natural Language Processings. Die Grundlage bildet ein Modell, mit dem die Software so trainiert werden kann, dass sie automatisch Entitäten in Texten erkennen und markieren kann. Das ist etwa sinnvoll, wenn große Textmengen auf Entitäten hin untersucht werden sollen.

Als Beispiel könnte hier die Dehmel-Edition genannt werden, aus der auch die Beispieldaten für den Workshop stammten: Jeden Brief händisch auf Entitäten zu untersuchen würde einfach sehr viel Zeit brauchen. Über einen eigens auf Basis der Dehmel-Briefe trainierten Classifier kann hier Abhilfe geschaffen werden, da nur ein bestimmter Teil der Briefe manuell annotiert werden muss, um die Trainings- und Validierungskorpora zu erstellen. Der Rest kann dann automatisiert analysiert werden. Die Qualität der Annotation mag dann am Ende vielleicht nicht den gleichen Wert wie eine manuelle Annotation haben, immerhin ist dann aber ein großes Datenkorpus grundlegend strukturiert, annotiert und steht der Forschung für die weitere Arbeit und Verfeinerung zur Verfügung. Ein anderes Beispiel ist der Gender-Classifier von Mareike Schumacher und Marie Flüh. Hier dient NER zur Erkennung von Gender-Kategorien und gegenderten Wortformen, was etwa für die computergestützten Analyse von Genderrollen in Texten hilfreich ist.

Nach dem kurzen Vortrag konnten die Teilnehmer:innen dann selbst ausprobieren, wie NER funktioniert. Hierfür wurde das GUI der NER-Software aus der Stanford CoreNLP Suite mit allgemeinen Classifiern für die deutsche Sprache eingesetzt. Mit einfachem Copy’n’Paste konnte ein Beispielkorpus aus den Dehmel-Briefen in ein Textfeld kopiert werden und dann mit einem einfachen Klick analysiert werden. Anschließend konnte das Ergebnis etwa als XML exportiert werden. So einfach kann NER sein!

Etwas komplizierter wurde es dann im zweiten Teil des Workshops, in dem es darum ging, wie man ein eigenes Modell baut, um einen Classifier zu trainieren. Hierfür sind mehrere Schritte notwendig: Im Preprocessing müssen die Daten zunächst in das richtige Format gebracht werden. Als Beispieldatensatz dienten auch hier Texte aus der Dehmel-Edition. Diese müssen Tokenisiert (also in Tokens aufgeteilt) werden und anschließend in das .tsv-Format transformiert werden, in dem die Annotation und schließlich das Training dann stattfinden kann.

# Schritt 1: Txt -> Tok
java -cp stanford-ner.jar edu.stanford.nlp.process.PTBTokenizer Beispieldaten.txt > Beispieldaten.tok

# Schritt 2: Tok -> Tsv
perl -ne 'chomp; print "$_\tO\n"' Beispieldaten.tok > Beispieldaten.tsv

Hier mussten Teilnehmer:innen erstmals mit der Konsole arbeiten, für manche ein absolutes Novum. Entsprechend machte sich hier und da eine gewisse Unsicherheit aus. Zudem war – wie immer, wenn verschiedene Setups und Betriebssysteme aufeinandertreffen – einiges an Problembewältigung, Raten, Ausprobieren und auf StackOverflow nach Lösungen schauen nötig. Aber auch das gehört dazu, es redet nur niemand drüber (will sagen: Es sollte mehr darüber geredet werden).

Heraus kam eine Tabelle, die in jeder Zeile ein Token und in der zweiten Spalte ein “O” stehen hatte, was bedeutet, dass hier keine besondere Entität vorliegt. Hier musste nun händisch Token für Token überlegt werden, ob etwa eine Person, ein Ort, ein Werk oder andere Entitäten vorliegen und der Wert in der zweiten Spalte entsprechend angepasst werden. Dieser Schritt ist die Annotation. Was genau wie bezeichnet wird, ist Gegenstand von Vorüberlegungen und sollte immer gut dokumentiert werden – schließlich bildet dieser Schritt die Grundlage dafür, was die automatisierte Erkennung am Ende zuordnet. So muss etwa überlegt werden, ob Titel für Personen als Teil des Namens verstanden werden, oder nicht.

Alles, was bis hierher getan wurde, muss zweimal gemacht werden, mit unterschiedlichen Basisdaten. Ein annotierter Datensatz wird dann fürs Training verwendet, einer wird dafür verwendet, die Performanz des Classifiers zu prüfen, also wie gut der trainierte Classifier am Ende überhaupt funktioniert.

Nun muss eine .prop-Datei angelegt werden, in der die Informationen hinterlegt werden müssen, auf der Basis welcher Daten der Classifier trainiert werden soll. Hier ein Auszug aus der Datei, die im Workshop angelegt wurde:

#mein_classifier.prop

# Welches .tsv soll als Trainingsdatensatz dienen?
trainFile = PATH/Beispieldaten.tsv

# Wie soll der Classifier benannt werden?
serializeTo = mein_classifier.ser.gz

# Hier wird festgelegt, dass das Wort in Spalte 0 (also der ersten Spalte),
# die Bedeutung des Wortes in Spalte 1 (also der zweiten Spalte) steht
map = word=0,answer=1

...

Schließlich wird mit java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -prop mein_classifier.prop das eigentliche Modelltraining durchgeführt.

Dieses kann jetzt im GUI des Named Entity Recognizer wie oben beschrieben einfach anstelle des allgemeinen Classifiers ausgewählt und damit auf die zu analysierenden Texte angewendet werden. Doch bevor das geschieht, sollte die Performanz des Classifiers getestet werden, um zu sehen, wie gut dieser eigentlich funktioniert. Vorab wurden ja bereits zwei verschiedene Datensets vorbereitet, von denen das eine in ein Modell überführt wurde. Das zweite dient jetzt dem Test:

java -cp stanford-ner.jar edu.stanford.nlp.ie.crf.CRFClassifier -loadClassifier mein_classifier.ser.gz -testFile Testtexte.tsv

Als Ergebnis kommt dann eine Tabelle als Ausgabe, die so etwa aussehen könnte. Hierbei zeigt das P den Precision-Wert (also den prozentualen Anteil korrekt erkannter Entitäten) an, das R den Recall-Wert (die Wahrscheinlichkeit, mit der eine Entität korrekt erkannt wird) und F1 die Balance zwischen den beiden Werten. Der F1-Wert ist am Ende also in der Regel derjenige, der unterm Strich und vereinfacht am besten Aussage über die Performanz des Classifiers geben kann. TP, FP und FN stehen für True Positive, also richtige Erkennungen, False Positive, also falsch als Entität erkannte Tokens und False Negative, also falsch nicht als Entität erkannte Tokens. Aber was bedeutet das? Grundsätzlich ist ein F1-Score von 0.8-0.9 gut und wünschenswert, alles darüber ist sehr gut, alles darunter zeigt an, dass Nachbesserungen nötig wären. Nachbesserungen bedeuten in der Regel vor allem größere Mengen an Trainingsdaten und eine bessere Konsistenz in der Annotation (deshalb sollten auch immer Annotationskonventionen festgelegt werden). Im Beispiel hier müsste also definitiv am Modell gearbeitet werden.

In einer Abschlussrunde wurde schließlich über das gelernte reflektiert und alle Teilnehmer:innen waren sich einig, dass der Workshop nicht nur lehrreich war im Hinblick auf eine neu erlernte Methode und den ersten Einblick in die Technologien der computergestützten Textanalyse, es wurde auch mehrfach darauf hingewiesen, dass man sich ob der sehr komplex scheinenden Materie eine hohe Einstiegsschwelle vorgestellt hatte, nun aber ob des vergleichsweise einfachen Zugangs erleichtert sei. Zwar ist das Training von Classifiern viel Arbeit, aber für Endanwender:innen rein technisch doch beherrschbar – vorausgesetzt es gibt keine kryptischen Java-Fehler, von denen man auch auf StackOverflow noch nie etwas gehört hat. 🙂

Danke an Marie Flüh für den interessanten Workshop, die Teilnehmer:innen für die Teilnahme und die angenehme Arbeitsatmosphäre und natürlich auch Dank an das Hamburger Wetter für das Rütteln und Pladdern und Pfeifen über den Dächern von Hamburg!

Die Materialien und Folien des Workshops können hier noch eingesehen werden: https://github.com/MarieFlueh/Workshop-NER-fuer-GeisteswissenschaftlerInnen

Suche in OpenEdition Search

Sie werden weitergeleitet zur OpenEdition Search