Expertise vs. Statistik

Keyness in Subgenres des französischen Romans

Julia Röttgermann, Christof Schöch
mit Keli Du und Julia Dudar
(Universität Trier)

Workshop Digitale Gattungshermeneutik, LMU München

13 Sep 2024

Einleitung

• In diesem Beitrag versuchen wir die Lücke zwischen qualitativen und quantitativen Aspekten in den Computational Literary Studies zu schließen, indem wir ein Mapping zwischen qualitativen, expertenbasierten „Subgenre-Profilen“ und Listen an distinktiven Wörtern miteinander abgleichen um Kongruenzen und Unterschiede festzustellen.
  
• Dabei konzentrieren wir uns auf die Analyse von vier Untergattungen französischer Romane und zählen wieviele distinktive Wörter pro Keyness-Maß interpretierbar im Sinne der zuvor erstellten Profile waren.
• Die vorliegende Untersuchung wurde im Rahmen des Projekts Beyond Words durchgeführt, das statistische Maße der Distinktivität auf Grundlage von Worthäufigkeit, Wortverteilung und Dispersion in den Blick nimmt und analysiert.

Überblick

• 1 – Einleitung
• 3 – Distinktivitätsmaße
• 4 – Korpus
• 5 – Methode
• 6 – Ergebnisse
• 7 – Fazit

La différence n’est pensée que dans le jeu comparé de deux similitudes.
(Gilles Deleuze, Différence et répétition, 1968)

• Wie Gilles Deleuze 1968 in Différence et répétition betont, kann Differenz nicht isoliert verstanden werden, sondern nur im Zusammenhang mit Ähnlichkeiten oder Gleichartigem. La différence n’est pensée que dans le jeu comparé de deux similitudes = Das Spiel der Ähnlichkeiten erzeugt die Wahrnehmung der Differenz (Deleuze, 2015, S. 238).
• Deleuzes Betonung der Verflechtung von Differenz und Ähnlichkeit ist entscheidend für das Verständnis der Bedeutung distinktiver Wörter in einem Text, da diese Wörter ihre Bedeutung durch ihre kontrastive Beziehung zu anderen Wörtern innerhalb eines Textes und auch über verschiedene Textgruppen hinweg erlangen.
• Die statistische Auswertung von Worthäufigkeiten kann in der Sprachwissenschaft auf eine lange Geschichte zurückblicken; ein frühes Beispiel einer solchen nicht-computationellen Studie ist Yules De Imitatione Christi (1944).
• Ziel solcher Studien war häufig die Bestimmung der Autorschaft, heute auch unter dem Namen ‚Stilometrie’ eine beliebte Methode der Digital Humanities, wie (Burrows 2007; Craig und Kinney 2009; Kestemont u. a. 2018; Savoy 2020; Rebora 2023, 203) und viele andere in Studien zu Fragen der Autorschaft, der Gattungszugehörigkeit oder zu Genderunterschieden zeigen.

Distinktivitätsmaße

• In Computerlinguistik und CLS existiert eine zunehmend unübersichtliche Vielzahl an statistischen Maßen, um große Textmengen hinsichtlich distinktiver Wörter zu untersuchen.
• Dies ist begründet in fachlichen oder nationalen Traditionen, liegt aber auch teilweise an der Implementierung in Tools.
• Um ein Beispiel zu geben: In Frankreich wird häufig das Maß ‘spécificité’ verwendet, das vor allem in französischen Tools wie TXM (Heiden et al. 2016) oder IRaMuTeQ (Ratinaud 2008) implementiert ist.

Hintergrund: Evaluations-Studie

• In einer früheren Studie haben wir verschiedene Distinktivitätsmaße bewertet (9 verschiedene Maße). - Dabei unterteilen wir die Maße in drei Kategorien: frequenzbasierte Maße, verteilungsbasierte Maße und dispersionsbasierte Maße.
• In dieser früheren Studie konnte gezeigt werden, dass Maße, die nicht nur Frequenz, sondern auch Dispersion berücksichtigen in einem Downstream Klassifikations Prozess besser abschneiden.
• Aus allen drei Kategorien (frequenzbasiert, verteilungsbasiert, dispersionsbasiert) haben wir jeweils das Maß ausgewählt, das in der früheren Studie am besten abgeschnitten hat.
• So erhalten wir als drei Maße, mit denen wir in der nun vorgestellten Studie weiterarbeiten:

Du, Dudar, and Schöch (2022)

Verwendete Distinktivitätsmaße

• Log-Likelihood-Ratio-Test (Dunning 1993)
• Welch’s t-Test (Welch 1947)
• Logarithmisches Zeta (Burrows 2006; Schöch et al. 2018)

• Der Log-Likelihood-Ratio-Test [frequenzbasiert] ist ein standard-Maß in der Computerlinguistik, hat jedoch den Nachteil, dass er auf der Gesamtwortzahl im Korpus basiert und häufige, aber ungleichmäßig verteilte Wörter bevorzugen kann.
• Welch’s t-Test: [verteilungsbasiert] Im Gegensatz zum klassischen t-Test setzt Welch’s t-Test keine Normalverteilung voraus und ist daher für Sprachkorpora zuverlässiger.
• Zeta [dispersionsbasiert] wurde ursprünglich zur Autorschaftsattribution entwickelt und vergleicht die gleichmäßige Verteilung von Merkmalen in zwei Textsammlungen.
• Die logarithmische Zeta-Version wurde von Schöch et al. (2018) adaptiert.

Korpus

Vier Untergattungen, drei Jahrzehnte

• crime, scifi, sentimental, blanche | 1970s, 1980s, 1990s
• Je 50 Romane: 4 x 3 x 50 = 600 Romane

• Vier Buchcover aus dem Korpus zeitgenössischer französischer Romane in vier Subgenres: Kriminalroman, Science-Fiction-Roman, Sentimentalroman und ‘littérature blanche’ (Hochliteratur).
• Der Name ‚littérature blanche‘ spielt auf das häufig weiße Buchcover der Edition de Gallimard an. Der Verlag hat auch eine langjährige, prestigeträchtige Reihe ‘Collection Blanche’.
• Diese Subgenres enthalten wiederkehrende Formeln von Strukturelementen, typischen Protagonisten, Erzählmustern, wiederkehrenden Schauplätzen und charakteristischen sprachlichen Mustern.
• Aufgrund dieser Muster und Schemata sind sie besonders geeignet als Untersuchungsmaterial zur Extraktion distinktiver Wörter pro Gattung und pro Keyness-Maß.
  
• Die zu erwartenden Muster an Themen, Figuren, Schauplätzen, Tonalitäten oder sprachlichen Spezifika sind eingegrenzter als in einem breit angelegten Korpus französischer Literatur.
• Serien von Kriminal- oder Science-Fiction-Romanen sind zudem Beispiele für serielles Erzählen, das auf eine lange Geschichte in der französischen Literatur zurückblicken kann (Beispiele für serielles Erzählen finden sich im französischen Roman des 19. Jahrhunderts, zum Beispiel im Rougon-Macquart-Zyklus von Émile Zola oder in der Comédie humaine von Balzac.)
• (Frühere Studien zum Populärroman konzentrierten sich häufig auf das 19. und frühe 20. Jahrhundert (Angenot 1975; Olivier-Martin 2013).
• Auch in der zweiten Hälfte des 20. Jahrhunderts existiert in Frankreich eine vielfältige Landschaft populärer Romane (Migozzi, 2005).
• Diese Romane werden von etablierten Verlagen (z.B. Harlequin, Fleuve noir, Éditions du Masque) in spezialisierten Sammlungen mit hohen Auflagen und einer klaren Zielgruppenorientierung herausgegeben. In jüngster Zeit wurde dem zeitgenössischen französischen populären Roman aus linguistischer Perspektive im Rahmen des Projekts ‚Phraséorom‘ und der Forschungsgruppe ‚Motifs ’erneut Aufmerksamkeit gewidmet.
• Beide Gruppen entwickeln Techniken zur Extraktion lexico-grammatikalischer Muster aus Korpora, die nach Subgenres strukturiert sind (z.B. Gonon u. a. 2017). Wir knüpfen an diese Forschung an und konzentrieren uns auf französische Populärromane und Hochliteratur aus der Zeit von 1970 bis 1999.))

Anzahl der Romane pro Jahr

• Es wurde ein Korpus französischer Romane der 1970er, 1980er und 1990er Jahre erstellt, welches vier Gattungen enthält: Science-Fiction, Sentimentalroman, Kriminalroman und Hochliteratur.
• Das Korpus zeitgenössischer französischer Literatur enthält 33 Millionen Tokens und umfasst 600 Romane, gleichmäßig verteilt auf vier Subgenres (Sentimentalromane, Kriminalromane, Science-Fiction-Romane, Hochliteratur) und drei Zeitperioden (1970er, 1980er, 1990er Jahre). Somit besteht das Korpus aus 50 Romanen pro Jahrzehnt und Subgenre.
• Die Jahrzehnte sind gleichmäßig vertreten, allerdings ist ein Höhepunkt der Veröffentlichungen in den Jahren 1989–1990 zu verzeichnen
• Da alle Romane urheberrechtlich geschützt sind, wurde das Korpus in Form von „abgeleiteten Textformaten“ (Schöch u. a. 2020) veröffentlicht, einem Format, das für bestimmte computergestützte Analysen geeignet ist, aber für Menschen unlesbar bleibt.

Verlage

• Wir können hier einen Blick auf die Verlage werfen, die im Korpus vertreten sind: Gallimard beispielsweise ist ein klassischer Verlag für Hochliteratur, Kriminalromane werden häufig von Le Masque, Rivages oder der Librairie des Champs-Elysée publiziert.
• Le Masque ist ein 1927 gegründeter Verlag, der zunächst englische Kriminalliteratur in Übersetzung verlegte.
• Die ersten französischen Autor:innen verlegten ihre Kriminalgeschichten häufig unter Pseudonym, um ebenfalls ‚englisch zu wirken.
• Populäre Science-Fiction Romane hingegen häufig von J‘ai lu oder Fleuve Noir.
• Im Genre der Sentimentalromane dominiert der weltweit agierende Verlag Harlequin.
• Bei den dort publizierten Romanen kann man von einer „Industrialisierung von Fiktion“ sprechen, wie Dudovitz 2019 ausführt.
• Der Verlag verfolgt eine weltweite Marketing-Strategie für ein internationales Publikum und gibt den Autor:innen in Writing Guidelines detaillierte Vorgaben zu Settings, Figurenkonstellationen, - Handlungsstruktur und Tonalität. Bei einem Teil der Sentimentalromane gibt es daher auch einen höheren Anteil an Übersetzungen.
• Der Anteil der Übersetzungen ist bei den sentimentalen Romanen am höchsten

Gender und Subgenre

• Wir können hier erkennen, dass es hinsichtlich der Genderverteilung bei den Sentimentalromanen ein großes Übergewicht an weiblichen Autor:innen gibt. Dies bildet jedoch eine realistische Lage ab, sind doch sowohl Leserschaft, als auch Autorschaft von überwiegend weiblichen Autor:innen geprägt.
• Zusammengefasst lässt sich sagen, dass das Korpus von 600 französischen Romane, gleichmäßig verteilt auf vier Subgenres (Sentimentalromane, Kriminalromane, Science-Fiction-Romane, Hochliteratur) und drei Zeitperioden (1970er, 1980er, 1990er Jahre) ist. Somit besteht das Korpus aus 50 Romanen pro Jahrzehnt und Subgenre.
• Hinsichtlich gewisser Metadaten (hier im Beispiel Gender) kann keine genaue Entsprechung der Subkorpora herbeigeführt werden. Jedoch interessieren wir uns für Genre-spezifische distinktive Wörter und legen keinen Augenmerk auf Gender-Unterschiede in der Sprache der Texte.
• Mithilfe von drei verschiedenen Keyness-Massen wurden die top 50 distinktiven Wörter pro Subgenre extrahiert, wie im folgenden näher beschrieben wird.

Methode

Vorgehensweise im Überblick

• Expertise
  • Fachliteratur zu den vier Subgenres
  • Qualitative Profile für vier Subgenres (7 Kategorien)
• Statistik
  • Korpus: 600 Romane in vier Subgenres
  • Keyword-Extraktion (3 Maße x 4 Subgenres vs. Rest): je 50 Keywords
• Zusammenführung
  • Zuordnung der Keywords zu den Kategorien (Annotationstask)
  • Auswertung der Ergebnisse: expected/unexpected, Kategorien, IAA etc.

Subgenre-Profile

• Für vier Subgenres
• Kategorien
  • Thematic Concepts (bspw.: Technologie)
  • Language Patterns (bspw.: Neologismen)
  • Main Characters (bspw.: Wissenschaftler:in)
  • Space / Setting (bspw.: Weltraum)
  • Tonality (bspw.: schwarzer Humor)
  • Narrative form (bspw.: Introspektion )
  • Narrative structure (bspw.: Reise eines Einzelgängers)
• Beispiel language patterns in science fiction: “Language patterns one can observe in this genre are neologisms, technical vocabulary and intertextual references, often making explicit references to older works of popular literature.”

Mapping: Subgenre-Profile vs. Keywords

• hier: Language patterns in crime fiction

Genre-Profil	Zeta	LLR	Welch
The language patterns of French detective fiction are characterized by sociolects, informal register and the simulation of direct speech	cop, screw, guy, fella, guy, dumb, stuff, shit, eh, buddy, job, face, kid, flic, foutre, type, gars, mec, con, truc, merde, hein, copain, boulot, gueule, môme	say, cop, guy dire, flic, mec	copy, say, yes, screw, guy, dumb, stuff, shit, ah flic, dire, oui, foutre, type, con, truc, merde, ah
	13/50 words	3/50 words	9/50 words

Vollständige Tabelle

Ergebnisse

Anzahl der ‘matching keywords’ (nach Maß und Subgenre)

• Expected / unexpected entspricht ungefähr signposts / prompts; hier also die Anzahl der “signposts” an den 50 Wörtern. Der Rest sind dann “prompts”
• Erstes Ergebnis: Zeta und Welch ermitteln mehr Keywords, die einer bestimmten Kategorie aus den Subgenre-Profilen zugeordnet werden können
• Leichter Vorteil für Zeta gegenüber Welch
• Vor allem aber: LLR schneidet schlecht ab!
• Auch über die Gattungen erfährt man etwas: crime ist besonders “einfach”, “blanche” offenbar besonders schwer zu fassen über die Keywords.

Keywords und Kategorien (Welch)

• Vertiefender Blick in ein Teilergebnis
• Wie verteilen sich die Wörter auf die Kategorien innerhalb der Profile?
• Hier am Beispiel von Welch’s test
• Beispielsweise: Keywords mit Bezug zu “language patterns” sind bei crime und scifi ziemlich gut vertreten, bei sentimental kaum, bei blanche gar nicht!
• Und: Hinweise auf die Protagonisten gibt es nur bei crime fiction, sonst nicht.

Unexpected bei ‘literary fiction’

Zeta (24/50)	LLR (43/50)	Welch (32/50)
winter, summer, horse, marie, flower, king, spring, court, country, sea, self, cross, bird, belly, everyone, party, English, sunday, among, sing rose, season, music, eat hiver, été, cheval, marie, fleur, roi, printemps, cour, pays, mer, soi, croix, oiseau, ventre, chacun, fête, anglais, dimanche, parmi, chanter, rose, saison, musique, manger	you, my, we, you, marie, me, rhada, the, their, oneself, of, mr, antoine, which, lalla, he, isambour, not, as, have, ludo, djafar, prisko, your, camier, yourself, madeleine, can, by, mercier, planet, vito, to ask, fintan, our, pélagie, khan, their, but, ship, daquin, where, david vous, mon, on, tu, me, rhada, le, lui, se, de, mr, antoine, qui, lalla, il, isambour, pas, comme avoir, ludo, djafar, prisko, mercier, planète, vito, demander, fintan, notre, pélagie, khan, leur, mais, vaisseau, daquin, où, david	who, like, day, where, we, by, whose, every, at, the of, in, my, big, that, more, even, without, everyone, their, bottom, or, there, summer, night, our, self, spring, nor, me, winter, white qui, comme, jour, où, on, par, dont, chaque, au, le, de, dans, mon, grand, celui, plus, même, sans, chacun, leur, fond, ou, là, été, nuit, notre, soi, printemps, ni, me, hiver, blanc

• Unexpected entspricht hier also den “prompts”
• Auffällig finden wir hier vor allem die Begriffe für die Jahreszeiten
• Das ist etwas, was uns in der Sekundärliteratur nicht begegnet ist
• Es könnte aber ein Bezug der “literary fiction” zu Fragen von erlebter Zeit und Geschichte sein, die hier als Themen sicherlich wichtig sind (und in der Kategorie “thematic concepts” auch genannt werden)

Fazit

Was haben wir herausgefunden?

• Zeta und Welch haben deutlich bessere Performance als LLR
  (= hoher Anteil an Keywords, die auf die Profile gemappt werden können)
• Zeta und Welch identifizieren auch recht ähnliche Keywords
  (der exakte Grad der Überlappung wäre zu bestimmen)
• Je besser ein Maß funktioniert, in der Perspektive der qualitativen Evaluation, desto weniger überraschend sind die Ergebnisse
• Der Fokus auf die Jahreszeiten bei ‘literary fiction’ setzt einen kleinen Akzent auf eine bisher nicht so klar benannte Eigenschaft dieser Textgruppe

Vielen Dank für die Aufmerksamkeit!

Ressourcen

• Korpus and Metadaten:
  • https://github.com/Zeta-and-Company/dtf600,
  • DOI: 10.5281/zenodo.10853581
• Code und Forschungsdaten
  • https://github.com/Zeta-and-Company/expertise-statistics
  • DOI: 10.5281/zenodo.10853663
• Pydistinto:
  • https://github.com/Zeta-and-Company/pydistinto
  • DOI: 10.5281/zenodo.6517683

Bibliographie

Burrows, John. 2006. “All the Way Through: Testing for Authorship in Different Frequency Strata.” Literary and Linguistic Computing 22 (1): 27–47. https://doi.org/10.1093/llc/fqi067.

Du, Keli, Julia Dudar, and Christof Schöch. 2022. “Evaluation of Measures of Distinctiveness. Classification of Literary Texts on the Basis of Distinctive Words.” Journal of Computational Literary Studies 1. https://doi.org/10.48694/jcls.102.

Dunning, Ted. 1993. “Accurate Methods for the Statistics of Surprise and Coincidence.” Edited by Julia Hirschberg. Computational Linguistics 19 (1): 61–74. https://aclanthology.org/J93-1003.

Schöch, Christof, Daniel Schlör, Albin Zehe, Henning Gebhard, Martin Becker, and Andreas Hotho. 2018. “Burrows’​ ​Zeta: Exploring​ and​ Evaluating Variants​ ​and​ ​Parameters.” In Book of Abstracts of the Digital Humanities Conference. Mexico City: ADHO. https://dh2018.adho.org/burrows-zeta-exploring-and-evaluating-variants-and-parameters/.

Welch, B. L. 1947. “The Generalization of the ’Student’s’ problem when several different population variances are involved.” Biometrika 34 (1-2): 28–35. https://doi.org/10.1093/biomet/34.1-2.28.

Fachliteratur zu den Subgenres

• Angenot, Marc. 1975. Le roman populaire: recherches en paralittérature. Montreal: Presses de l’université du Québec. http://digitale-objekte.hbz-nrw.de/storage/2009/11/07/file_18/3292944.pdf.
• Baudou, Jacques. 2003. La Science-fiction. 1e édition. Que sais-je? Presses Universitaires de France - PUF.
• Constans, Ellen. 1999. Parlez-moi d’amour: le roman sentimental : des romans grecs aux collections de l’an 2000. Presses Univ. Limoges.
• Dubois, Jacques. 2005. Le roman policier ou la modernité. Armand Colin.
• Gonon, Laetitia, Vannina Goossens, Olivier Kraif, Iva Novakova, und Julie Sorba. 2018. „Motifs textuels spécifiques au genre policier et à la littérature blanche“. Herausgegeben von F. Neveu, B. Harmegnies, L. Hriba, und S. Prévost. SHS Web of Conferences 46:06007. https://doi.org/10.1051/shsconf/20184606007.
• Gonon, Laetitia, Vannina Goossens, Iva Novakova, und Iva Novakova. 2017. „Les phraséologismes spécifiques à deux sous-genres de la paralittérature : le roman sentimental et le roman policier“. In . Université d’Artois, Arras. Helgorsky, Françoise. 1985. „Harlequin ou la quête du grand amour“. Communication et langages 63 (1): 83–98. https://doi.org/10.3406/colan.1985.1666.
• Helgorsky, Françoise. 1987. „Harlequin : l’unité dans la diversité et vice-versa“. Pratiques 54 (1): 5–19. https://doi.org/10.3406/prati.1987.1434. Mather, Philippe, und Sylvain Rheault. 2016. Rediscovering French Science-Fiction in Literature, Film and Comics: From Cyrano to Barbarella. Cambridge Scholars Publishing.
• Millet, Gilbert, und Denis Labbé. 2001. La science-fiction. Sujets. Paris: Belin.
• Olivier-Martin, Yves. 2013. Histoire du roman populaire en France de 1840 à 1980. Albin Michel.
• Slusser, George. 1989. „‚Science Fiction in France‘: An Introduction“. Science Fiction Studies 16 (3): 251–53. https://www.jstor.org/stable/4239952. Thomas, Pascal J. 1989. „The Current State of Science Fiction in France (L’état actuel de la science-fiction en France)“. Science Fiction Studies 16 (3): 298–306. https://www.jstor.org/stable/4239955.
• Todorov, Tzvetan. 1971. „Typologie du roman policier“. In Poétique de la prose, 55–65. Paris: Seuil.
• Vanoncini, André. 2002. Le roman policier. Paris: Presses Univ. de France.

Bonusfolien

Clustering

Inter-Annotator Agreement

TXM: “pouvoir”

TXM: “humain”

TXM: “femme”

TXM: “regard”

TXM: PCA auf PRO:POS

TXM: PCA auf CIT

TXM: PCA auf INTERJ

Keywords und Typizität / Hybridität