Abendveranstaltung »Wissen durch Bilder − Multimodales Forschen in der Bildungsgeschichte«

In den historischen Wissenschaften nimmt das geschriebene und gedruckte Wort traditionell eine zentrale Stellung ein − sowohl in den Quellen als auch in der Präsentation von Forschungsergebnissen. Wissenschaftliche Erkenntnisse entstehen jedoch durch das Zusammenspiel verschiedener Modalitäten der Wahrnehmung als auch des Ausdrucks. Einerseits liegen die Quellen in weiteren Medienformen wie Bild, Audio, Video oder 3D-Objekten vor. Andererseits haben sich Visualisierungen als Erkenntnismittel sowie als Präsentationsmittel in der Forschung etabliert. Zudem vermehrt sich, gerade im Digitalen, die Flut der Bilder täglich, und neue Bildarten treten zutage. Für die historische Forschung sind insbesondere Fotografien als Bildquellen relevant, die methodisch anders gelesen und eingeordnet werden als textuelle Quellen. Auch für Datenvisualisierungen liegen andere Darstellungskonventionen vor, die neue Modi der Analyse erfordern. 

In der Veranstaltung sollen diese Aspekte der Multimodalität generell und insbesondere Bilder als Quellen sowie das Phänomen der Bildlichkeit als Erkenntnismittel diskutiert werden. In Beiträgen aus den Digital Humanities und der bildungshistorischen Forschung werden sowohl die theoretische als auch die anwendungsbezogene Dimension dieses Themenfelds adressiert. Zunächst wird eine Definition des Konzepts der Multimodalität gegeben, deren Schwerpunkt auf dem wissenschaftlichen Forschungsprozess liegt. Strukturgebend ist hierfür der "Kubus der multimodalen Kompetenzen" (Abbildung unten), der sowohl die Rezeption und die Produktion von Texten und Visualisierungen unterscheidet als auch deren mögliche Er- und Verarbeitungstiefe.

Der Kubus multimodaler Kompetenzen (CC BY 4.0 Windhager et al., 2024)

Entlang des Kubus werden in sechs kurzen Einzelbeiträgen verschiedene Aspekte der Bildproduktion und -interpretation, insbesondere Bildquellen und Visualisierungen dargelegt und anschließend unter Einbeziehung des Plenums diskutiert. Der Kubus dient als heuristisches Instrument zur Verortung diverser (uni- oder multimodaler) Diskussionen, Praktiken und Herausforderungen im Rahmen des wissenschaftlichen Arbeitens. Entsprechend beziehen sich die sechs Einzelbeiträge jeweils vor allem auf die bildbezogenen Kompartimente des Kubus (Bilder erzeugen und deuten), wenngleich die entscheidenden Diskussionen und Debatten der Multimodalität vor allem die produktive Vermittlung und Überwindung der skizzierten Grenzen reflektieren und sich somit in Zwischen- und Nebenräumen abspielen. 

Zentrale Fragen sind: 

• Welcher Modus übernimmt welche Funktionen in der Konstituierung wissenschaftlicher Erkenntnisse?  
• Auf welchen zeichentheoretischen Grundlagen beruhen textuelle und bildliche Ausdrucksformen und welche Konsequenzen hat dies auf die Rezeption? 
• Welche Rolle spielen Bilder auf Quellenebene sowie im Erkenntnisprozess und wo liegen die Unterschiede zu rein textbasierten Ausdrucksformen? 
• Welche Ansätze gibt es zur Zusammenführung linearer (Text) und räumlicher Anordnungen (Visualisierungen) von bedeutungstragenden Zeichen in produktive, multimodale Ensembles?  
• Wie kann das Wissen um die jeweiligen Stärken und Schwächen der einzelnen Modalitäten kritisch und vergleichend aufbereitet werden?

Programm 

17:30 Uhr
Begrüßung und Einführung | Prof. Dr. Katharina Vogel (BBF)

17.40 − 17:45 Uhr
25 Jahre PicturaPaedagogica | Dr. Stefanie Kollmann (BBF)

17.40 − 18:20 Uhr
Kurzbeiträge

Simultane Pluralität − Ikon versus Symbol | Dr. Linda Freyberg (BBF):

In diesem Beitrag wird nach einer kurzen Vorstellung des Kubus multimodaler Kompetenzen auf zeichentheoretischer Ebene analysiert und gegenübergestellt, wie in Texten und Bildern Bedeutung generiert wird. 

Aus semiotischer Sicht sind Visualisierungen zunächst einmal Bilder und fungieren als ikonische Zeichen, die im Sinne des diagrammatischen Denkens eine epistemische Wirkung haben. Nach Peirce (1958) ist „[a]ll necessary reasoning without exception [...] diagrammatic“. Insbesondere sind Visualisierungen aufgrund ihrer topologischen Darstellung von Objekten und deren Beziehungen in der Lage, durch Abduktion neues Wissen zu schaffen. 

Im Vergleich dazu sind textuelle Ausdrücke strikt symbolische Zeichen, die (in den meisten Sprachen) eine arbiträre Beziehung zu ihren repräsentierten Objekten haben. Einerseits ist Text durch die Regeln einer Sprache stark eingeschränkt und kann sich im Rahmen des Denkprozesses nur begrenzt kreativ ausdrücken. Auf der anderen Seite kann Sprache sehr präzise sein. 

Beide Formen des Ausdrucks sind in einen bestimmten kulturellen und historischen Kontext eingebettet, was insbesondere für die historische Forschung Relevanz entfaltet. Daher fungieren Visualisierungen auch als Symbole und dienen durch ihre ikonographische Verkörperung (Panofsky, 1970) als Agenten, die den kulturellen Wandel reflektieren, aber auch zu ihm beitragen. Ebenso wie Bilder können Visualisierungen Evidenz oder Realitäten suggerieren, die nur vage oder suggestiv bleiben. In der Forschung, speziell im Bereich der Kulturdaten, sind sowohl Genauigkeit als auch Pluralität gefragt, um explorative und narrative Ansätze für multimodale Daten zu entwickeln. 

Wissen zwischen Bild und Text | Prof. Dr. Ulrike Pilarczyk (Technische Universität Braunschweig):

Bild und Text transportieren Informationen, die sich nur schwer in den jeweils anderen Modus übertragen lassen, denn Bilder orientieren sich nicht an sprachlichen Modellen (Synthax, Rhetorik), sie artikulieren sich über eine ikonische Differenz (Böhm 2007, S. 43). Analytische Verfahren, die Formulierung theoretischer Erkenntnis und Wissenschaftskommunikation sind jedoch vornehmlich textbasiert. Daher kann bei der Verwendung von Bildern im Rahmen sozial- und bildungshistorischer Forschungen auf Versprachlichung und textförmige Fixierung des Bildlichen nicht verzichtet werden. Um den spezifischen Quelleneigenschaften des Bildes Rechnung zu tragen, müssen dabei die Logiken von Bild und Text, Zeigen und Sagen, Assoziation und Argument gleichermaßen Berücksichtigung finden.  

Kinder- und Jugendfotografie – Umgang mit großen Bildbeständen als Aufgabe historischer Bildungsforschung | Prof. Dr. Ulrike Mietzner (Technische Universität Dortmund)

Dass Bilder nicht isoliert auftreten, sondern immer in bestimmten zeitlichen, räumlichen und auch machtstrukturierten Kontexten, die mit zum Bildsinn beitragen, gehört zu ihren wesentlichen Erscheinungen und ebenso zu ihrer Wahrnehmung.  

Am Beispiel eines großen archivierten und digitalisierten Bestandes der Kinder- und Jugendfotografie − entstanden aus den Einsendungen zum Deutschen Jugendfotobewerb seit 1962 − erläutert Professorin Mietzner solche Entstehungskontexte, die immer zu berücksichtigen sind, wenn mit historischem Interesse Bildsinn interpretiert wird. Dies macht visuelle Daten so besonders vielschichtig, da sowohl innerbildliche als auch außerbildliche Bezüge sinngebend sind und Bilder sich auf Bilder beziehen. Ihre Absicht ist es, allein schon den Teilkubus „Visuelles deuten“ weiter aufzuschlüsseln. 

Kartierung des Wissens und multimodale digitale Interfaces | Dr. Christian Wachter (Universität Bielefeld):  

Geisteswissenschaftler*innen strukturieren ihre Publikationen gemäß der logischen Struktur ihrer Argumente und einer narrativen Ordnung. Diese Konstruktionen spiegeln sich sodann in der Gliederung von Kapiteln und Abschnitten wider, wobei das Inhaltsverzeichnis insofern als multimodales Instrument bezeichnet werden kann, als dass es seine Elemente zweidimensional räumlich ordnet. Damit wird einerseits die lineare Hierarchie von Argumentations- und Erzählschritten adäquat abgebildet, andererseits können auf diese Weise mehrstimmige, non-lineare Konzepte nicht vollständig erfasst werden.  Das sind etwa: historische Verflechtungen, verschiedene Standpunkte in gesellschaftlichen Diskursen oder andere Phänomene, die sich einer klar hierarchischen Kategorisierung entziehen (Wachter, 2021a; 2021b). 

Vor diesem Hintergrund schlagt Wächter vor, das multimodale Potenzial von Gliederungen in digitalen Publikationen durch interaktive Karten − ähnlich zu Concept Maps − konsequent zu erweitern. Zwar werden zum Teil bereits herkömmliche Inhaltsverzeichnisse mit dynamischen Karten verbunden, doch geben solche Beispiele wie  „Bodies and Structures 2.0” (Ambaras und McDonald, 2021) oder „A New Vision for Islamic Pasts and Futures” (Bashir, 2022) zumeist traditionelle Inhaltsverzeichnisse nicht vollständig auf. Oder sie weisen häufig sehr abstrakte Netzwerkgraphen auf, ohne deren Knoten und Kanten ausreichend deutlich zu beschriften. Nutzer*innen erschließen Informationen sodann eher explorativ, anstatt informiert den nächsten Navigationsschritt bewusst zu gehen. Stattdessen plädiert Wächter für Strategien, explizitere interaktive Inhaltskarten zu gestalten, die das multimodale Potenzial von Text-Bild-Kombinationen konsequenter ausschöpfen. 

Um dies leisten zu können, hilft zunächst der Schritt zurück, indem fundamentale semiotische Prinzipien visueller und sprachlicher Modalitäten in den Blick genommen werden: Visuelle Darstellungen zeichnen sich besonders durch eine überblicksartige, räumliche Anordnung von Informationen aus, sind semantisch, aber vage; Sprache gibt hingegen semantisch Propositionen genau wieder, und zwar sukzessive. Multimodal kombiniert kann ein semiotisches Wechselspiel entstehen, das nicht nur didaktisch nützlich oder „ästhetisch” ist, sondern etwas über die logische und narrative Architektur geisteswissenschaftlicher Zusammenhänge verrät. Hierfür müssen jedoch etablierte geisteswissenschaftliche Kulturtechniken erweitert werden, um dem kompetenten Schreiben von Texten ein „Thinking with Diagrams“, wie Krämer und Ljungberg (2017) es nennen, hinzuzufügen. Eine solche Erweiterung wissenschaftlicher Kulturtechniken ist in Bezug auf Datenvisualisierungen als Analyse- und Kommunikationstools in den Digital Humanities bereits weit vorangeschritten. Daran kann auch für multimodale Publikationsformate angeknüpft werden. 

Visualization Data Sheets (Datenblätter als Zitationsgrundlage für Visualisierungen) | Dr. Phillipp Hofeneder (Universität Graz)

Ein Ziel wissenschaftlichen Arbeitens besteht in der Erstellung plausiblen Wissens. Zu diesem Zweck werden u.a. Primär- und Sekundärquellen zitiert sowie direkte und indirekte Zitate angeführt, die die eigenen Erkenntnisse in die bestehende Forschung einordnen und damit nachvollziehbar machen. Während diese Elemente zu den Grundvoraussetzungen für Texte gehören, befinden sich vergleichbare Ansätze für Visualisierungen noch in den Anfängen. In diesem Beitrag möchte Hofeneder Datenblätter als einen möglichen Ansatz für Visualisierungen im wissenschaftlichen Kontext diskutieren. Diese Datenblätter sind aus der Industrie bekannt (z.B. für Bauteile, Materialien oder Produkte) und beschreiben die Eigenschaften, Einsatzmöglichkeiten und technischen Daten eben dieser. Datenblätter für Visualisierungen sind in der Lage eine Reihe an notwendigen Informationen zu liefern. Dazu zählen technische Fragen (welche Programme wurden verwendet, wo und in welcher Form soll die Visualisierung eingesetzt werden?), konzeptionelle Überlegungen (an wen richtet sich die Visualisierung, was soll sie leisten?), mögliche Vorlagen (Best-Practice-Beispiele) und die der Visualisierung zugrunde liegenden Daten. Damit geben sie nicht nur einen kompakten Überblick über relevante Informationen zu einer Visualisierung und erhöhen damit die Benutzerfreundlichkeit, sondern etablieren diese - ähnlich wie Texte - in der bestehenden Forschung, wodurch sie zitierfähig werden.

Nach den Modaloklasmen | Dr. Florian Windhager (Universität für Weiterbildung Krems)

Das Ziel ist einfach in Worte zu fassen: Es gilt ein produktives Arbeitsfeld zu stabilisieren zwischen den Fronten der Ikonoklasten (z.B. visualisierungs-skeptische Geisteswissenschaftler*innen) und der Logoklasten (z.B. diskurs-skeptische Visualisierungs- und Computerwissenschaftler:innen) (vgl. Latour, 2002). Dies würde zu einem besser balancierten, multimodalen Verständnis der Welt beitragen − gemäß unseres in der Regel genuin multimodalen Nachdenkens über sie. Oder kurrikular formuliert: Zur Entwicklung von ausgewogeneren Text- und Bildkompetenzen und einer symmetrischeren Kultur der Wissensrepräsentation, auch in den text-dominierten Geisteswissenschaften. Das würde Praktiker*innen aller Disziplinen helfen, sich der grundsätzlichen Stärken und Schwächen multipler semiotischer Modalitäten im jeweiligen Kontext bewusst zu sein und damit auch der Vorteile ihrer gezielten Kombination für das Verständnis von kultureller Komplexität. So ließe sich künftig auf Seiten der „Modaloklasmen” kürzen, um die skeptischen Energien in die Arbeit an produktiven Hyper-Bild-&-Text-Geflechten zu reinvestieren. Der Impulsbeitrag zielt auf die Explikation eines vielschichtigen Arbeits- und Bildungsprogramms, das aber mit Verweis auf diverse Pilotprojekte anschaulich illustriert werden kann. 

Referenzen

Ambaras, David R., & Kate McDonald (Hrsg.) (2021): Bodies and Structures 2.0: Deep-Mapping. Modern East Asian History. (https://bodiesandstructures.org/bodies-and-structures-2, letzter Aufruf 27.09.2024).

Bashir, Shahzad (2022): A New Vision for Islamic Pasts and Futures. Cambridge, MA: MIT Press.

BBF | Bibliothek für Bildungsgeschichtliche Forschung des DIPF (Hrsg.): PicturaPaedagogica. (https://pictura.bbf.dipf.de, letzter Aufruf 27.09.2024)

Drucker, Johanna (2014): Graphesis. Visual Forms of Knowledge Production. Cambridge, MA: Harvard University Press.

Freyberg, Linda (2021): Ikonizität der Information. Die Erkenntnisfunktion struktureller und gestalteter Bildlichkeit in der digitalen Wissensorganisation. Berlin: Institut für Bibliotheks- und Informationswissenschaft der Humboldt- Universität zu Berlin. (Berliner Handreichungen zur Bibliotheks- und Informationswissenschaft, 484.) (DOI: 10.18452/23813).

Hiippala, Tuomo (2020): A multimodal perspective on data visualization. In: Engebretsen, Martin & Helen Kennedy: Data visualization in society. Amsterdam: Amsterdam University Press, S. 277-294. (DOI: 10.2307/j.ctvzgb8c7.23).

Krämer, Sybille & Christina Ljungberg (2017): Thinking with diagrams. The semiotic basis of human cognition. Berlin/Boston : De Gruyter - De Gruyter Mouton. (Semiotics, Communication and Cognition [SCC]; 17.)  (DOI: https://doi.org/10.1515/9781501503757).

Kress, Gunther & Theo van Leeuwen (2020): The semiotic landscape. In: Griffiths, Patrick; Merrison, Andrew John & Aileen Bloome: Language in Use. A Reader. London: Routledge, S. 344-349.

Latour, Bruno (2002): What is iconoclash? Or is there a world beyond the image wars. In: Latour, Bruno and Peter Weibel (Hrsg.): Iconoclash. Beyond the image wars in science, religion, and art; ZKM Karlsruhe, 4. May - 4. August 2002: Karlsruhe: ZKM & Cambridge, MA/London: MIT Press, S. 14-37.

Panofsky, Erwin (1970): Iconography and iconology. An introduction to the study of Renaissance art. In: Panofsky, Erwin (Hrsg.): Meaning in the visual arts. Harmondsworth: Penguin Books, S. 51-81.

Peirce, Charles S. (1931-1958): The Collected Papers of Charles Sanders Peirce. Vols. I-VI (Hrsg: Hartshorne, Charles & Paul Weiss, Paul); Vols. VII-VIII (Hrsg.: Burks, Arthur W.). MA: Harvard University Press.

Segel, Edward & Jeffrey Heer (2010): Narrative visualization. Telling stories with data. In: IEEE transactions on visualization and computer graphics 16 (6), S. 1139-1148. (DOI: 10.1109/TVCG.2010.179)

Staley, David J. (2014): Computers, Visualization, and History: How New Technology Will Transform Our Understanding of the Past. 2. Aufl. Armonk: Sharpe.

Stöckl, Hartmut (2011): Sprache-Bild-Texte lesen: Bausteine zur Methodik einer Grundkompetenz. In: Diekmannshenke, Hans-Joachim; Klemm, Michael & Hartmut Stöckl (Hrsg.): Bildlinguistik. Bildlinguistik. Theorien - Methoden - Fallbeispiele. Berlin: Erich Schmidt Verlag, S. 45–70.

Wachter, Christian (2021a): Geschichte digital schreiben. Hypertext als non-lineare Wissensrepräsentation in der Digital History. Bielefeld: transcript. (Geschichtstheorie; 2). (DOI: 10.14361/9783839458013).

Wachter, Christian (2021b): Publishing Complexity in the Digital Humanities. In: magazén. International Journal for Digital and Public Humanities 2 (1), S. 103–118. (DOI: 10.30687/mag/2724-3923/2021/03/004).

18:20 Uhr Podiumsdiskussion 

19:00 Uhr Abschluss mit Snacks und Getränken 

Wann:
Donnerstag, 14. November 2024, 17:30 – 20:00 Uhr

Wo:
BBF | Bibliothek für Bildungsgeschichtliche Forschung des DIPF 
Warschauer Str. 34, 1. OG, Atelier, 10243 Berlin

Teilnahme und Anmeldung:
Die Teilnahme ist kostenfrei. Mit der Teilnahme erklären Sie sich einverstanden, dass Sie gegebenenfalls auf Aufnahmen zu sehen sind, die im Rahmen der Öffentlichkeitsarbeit der BBF verwendet werden.
Um Anmeldung wird bis spätestens Montag, 4. November 2024, per Mail an ZGhlbGFiQGRpcGYuZGU= gebeten