SFB 1187 ›Medien der Kooperation‹ an der Universität Siegen

B06 - Un-/erbetene Beobachtung in Interaktion: Smart Environments, Sprache, Körper und Sinne in Privathaushalten

SFB 1187-Projekt-B06-2024.JPG

Ehemalige Mitarbeitende:

Dr. Christine Gebhard (geb. Hrncal)

Dr. Kathrin Englert
(Assoziierts Mitglied)

Jacqueline Klesse, M.A.
(Assoziierts Mitglied)

Dr. Vincent Knopp
(Assoziierts Mitglied)

Prof. Dr. Wolfgang Ludwig-Mayerhofer
(Assoziierts Mitglied und ehem. Teilprojektleiter)

Dr. habil. Oliver Schmidtke
(Assoziierts Mitglied)

Tamara Schwertel, M.A.
(Assoziierts Mitglied)

Dr. David Waldecker

 

Vom Smart Speaker zum Smart Home: Das Projekt untersucht die Domestizierung datenintensiver sensorischer Medien in der Interaktion. Es ergründet, wie ‚Intelligente‘ Wohnumgebungen die Haushalte digital sprachlich, motorisch und sinnesbezogen erfassen.

 


 

Zusammenfassung

Einsparung von Energie, Konsum nachhaltiger und gesunder Lebensmittel, Gestaltung von Remote Work, von familiärer Reproduktions-, Care- und Hausarbeit, die Sorge um intransparente Datenverwertung und digitale Überwachung, um Verbraucher*innen- und Publikumsmanipulation – der praktische Umgang mit den Herausforderungen der Gegenwart konkretisiert sich nicht zuletzt in privaten Haushalten, wobei digitale Medien einerseits als Bestandteil der Probleme, andererseits als Ressourcen für deren Bewältigung situiert wahrgenommen und verhandelt werden. In der Forschung zur Domestizierung (Silverstone et al. 1992) von Medien spielt der private Haushalt traditionell eine zentrale Rolle.

Indem digitale, vernetzte Medien in Haushalten Einzug halten, wird die Domestizierungsperspektive mehr als bisher herausgefordert, wie exemplarisch Smart Speaker zeigen, mit deren typischerweise hoch selektiver Nutzung wir uns in der zweiten Förderphase in medienlinguistischer und -soziologischer Perspektive befasst haben: Einerseits werden auch solche Medien in soziale Interaktion und alltägliche Praxis eingebettet, andererseits müssen sich diejenigen, die das Funktionspotential der sprachgesteuerten Assistenzsysteme ausschöpfen wollen, an technisierte Dialogstrukturen und Plattformlogiken anpassen; dabei müssen sie vieles über sich preisgeben, was jenseits des Haushalts als Daten in für die Nutzer*innen opaken Verwertungszusammenhängen und Beeinflussungsversuchen Bedeutung erlangen kann.

In Smart-Home-Environments kommen Assistenzsysteme als zentrale Interfaces potenziell erst in vollem Umfang zur Geltung, wobei sich zugleich der Haushalt noch weit mehr als bisher nach außen hin öffnet: War im Fall klassischer Smart Speaker die Beobachtung auf die Wahrnehmungsdimension des Hörens (‚Lauschens‘) beschränkt, führen Kamera- und Monitor- sowie sensorbasierte Systeme und die Vernetzung mit diversen stationären und mobilen Geräten und Infrastrukturen im Extremfall zu einer massiven Ausdehnung des Registrierbaren. Unter Umständen geht damit eine weitere Entgrenzung des Privaten einher, die einerseits (z. B. im Fall der Überwachung von Haushaltsmitgliedern untereinander) als Missbrauch wahrgenommen, andererseits (z. B. unter Perspektiven von Sicherheit) erwünscht sein kann. Es bleibt eine empirische Frage, inwieweit Haushalte sich für derartige Technologien öffnen und welche Folgen sich ggf. für sie ergeben bzw. durch sie erschließen lassen. Es ist dabei offen, wie die Verschiebung von einer potenziell akustischen hin zu einer multimodalen Überwachung von den Nutzenden wahrgenommen, berücksichtigt und mitgestaltet wird. Anknüpfend an technisch-methodische Innovationen in der zweiten Phase werden Mensch-Technik-Dialoge und ihre Einbindung in soziale Interaktion weiterhin untersucht, aber um die Rekonstruktion von Sinnesorientierungen und Körperpraktiken (Mondada 2021) sowie die Berücksichtigung sensorbasierter Mechanismen und ihrer technischen Schnittstellen im Smart Home erweitert werden.

Es ist davon auszugehen, dass sensorische Umgebungen nicht nur das räumliche Arrangement und soziale Miteinander auf der kommunikativen Ebene verändern, sondern dass die Verschränkung von Sinnen und technischen Sensorien neue Vollzüge einer Ko-Artikulation von Daten und Praktiken (Marres 2015) generiert. Vor diesem Hintergrund wird danach gefragt, inwieweit und wie Nutzer*innen ihre situierten Medien- und Datenpraktiken mit Blick auf die eingangs erwähnten diskursiven Imperative bewerten und verantworten (können).

 

Smart Speaker als zentrale Smart-Home-Steuerung (© Unsplash)
Smart Speaker als zentrale Smart-Home-Steuerung
(© Unsplash)

Wir fokussieren uns zum einen auf den multimodalen und wahrnehmungsbezogenen Austausch unter Einbezug häuslicher Umwelten, Geräte und Infrastrukturen. Zum anderen nehmen wir die haushaltsöffentliche Bewertung der digitalisierten Haushaltspraktiken vor dem Hintergrund herrschender Krisendiskurse (z.B. Energiesparen) in den Blick. Parallel ergründen wir die (teilweise) opaken sensorischen Prozesse der — um Kamera, Monitor und Sensoren erweiterten — soziotechnischen Infrastrukturen. In diesem Sinne untersucht das Projekt beide Seiten der sensor- und datenpraktischen Verknüpfung von Haushalten und Plattformen.

Wir besuchen die Studienteilnehmer*innen über einen längeren Zeitraum, um dort zu unterschiedlichen Anlässen audiovisuelle Aufzeichnungen, Fotos und Notizen anzufertigen. Medientagebücher unterstützen die Erfassung der Medienpraktiken im Haushalt.

Die Auswertung kombiniert die Video-Interaktionsanalyse mit ethnografischen Verfahren und Digital Methods. Die Transkription der Videos erfolgt nach multimodalen Standards. Mit Digital Methods betrachten wir die Hersteller-Dokumentationen und Sensor-Schnittstellen der in den Haushalten verwendeten Smart-Home-Geräte.

Software zur multimodalen Transkription der Video-Aufzeichnungen und eigene Aufnahme der Studienteilnehmenden
Software zur multimodalen Transkription der Video-Aufzeichnungen und eigene Aufnahme der Studienteilnehmenden

Im ersten Halbjahr 2024 entwickeln wir das Forschungsdesign, stellen Feldzugänge her und explorieren die zu untersuchenden Plattformen. Anschließend widmen wir uns der umfangreichen Felderhebung durch AV-Aufzeichnungen und Ethnografie unter Einschluss der Datenerhebung für die Plattformanalysen (2024–2026). Die erhobenen Daten werden fortlaufend aufbereitet, in Datensitzungen analysiert und das Vorgehen in interdisziplinären Auswertungs- und Methodenwerkstätten verglichen und kritisch reflektiert. Für das letzte Jahr der Laufzeit (2027) sind neben Projektberichten und Fachpublikationen auch die Beteiligung an mehreren Öffentlichkeitsveranstaltungen und Fachkonferenzen geplant.

 

➔ Hier geht es zum Projektarchiv 2020–2023

 

Aktuelle Stellenausschreibung

Studentische Hilfskraft (SHK) 

Im Teilprojekt B06 "Un/erbetene Beobachtung in Interaktion: Smart Environments, Sprache, Körper und Sinne in Privathaushalten" des DFG Sonderforschungsbereichs 1187 „Medien der Kooperation“ suchen wir eine studentische Hilfskraft (SHK) (m/w/d) zum 15. Januar 2024 zu folgenden Konditionen:

  • 5–8 Wochenstunden
  • zunächst befristet für 1 Jahr, mit der Möglichkeit zur Verlängerung
  • Beschäftigung auf Grundlage des Wissenschaftszeitvertragsgesetzes

Ihre Aufgaben:

  • Aufbereitung und Transkription audiovisuellen Datenmaterials
  • Zuarbeit bei der Forschung und Recherche (u.a. Literaturrecherche und -verwaltung, Planung von Feldbesuchen)
  • Unterstützung bei der Durchführung von Veranstaltungen (u.a. in der Planung und praktischen Durchführung von Tagungen und Workshops)
  • Mithilfe bei der Erstellung wissenschaftl. Publikationen (z.B. Korrektorat, Formatierungsarbeiten)

Ihr Profil:

  • Idealerweise Kenntnisse im Bereich der gesprächsanalytischen Transkription nach GAT2 und entsprechender Software (Folker, Exmaralda Audacity o.ä.) oder Bereitschaft, sich in diese einzuarbeiten
  • Immatrikulation in einem (bevorzugt sprachwissenschaftlichen) Bachelor-Studiengang an einer deutschen Hochschule
  • Interesse an einer Tätigkeit im wissenschaftlichen Umfeld
  • Strukturiertes Arbeiten, Freude an Teamarbeit, Eigeninitiative und Verantwortungsbewusstsein

Wir freuen uns auf Ihre Bewerbung bis spätestens 17.11.2024. 

Bitte senden Sie Ihre Bewerbungsunterlagen (Anschreiben, tabellarischer Lebenslauf, Zeugnisse, aktueller Leistungsnachweis/Transcript of Records) in einer einzigen pdf-Datei an Herrn Hector. 

Ihre Ansprechperson:
Tim Hector, M.A.
tim.hector[æt]uni-siegen.de

Publikationen

Aktuell

„Taming Digital Practices: On the Domestication of Data-Driven Technologies“

Ob Hund, Katze, Smart Speaker, alle drei brauchen einige Zeit um richtig im Haushalt anzukommen. In vielen Lebensbereichen durchziehen datengesteuerte und vernetzte Technologien den Alltag, z.B. in Gestalt von Staubsaugerrobotern, Smart Speakern, Drohnen oder smarten Küchengeräten. Indem der Mensch diese Technologien in einem Prozess der Domestizierung in sein Leben integriert, zähmt er sie einerseits und wird andererseits durch sie beeinflusst. Das Themenheft„Taming Digital Practices. On the Domestication of Data-Driven Technologies“ von Digital Culture & Society kombiniert Domestizierungsforschung mit Analysen aktueller, digitaler und vernetzter Medien. Dabei bündelt das Heft interdisziplinäre Perspektiven, u.a. aus der Medienwissenschaft, der Soziologie, der Anthropologie und der Human-Computer-Interaction.

Hector, Tim, David Waldecker, Niklas Strüver, und Tanja Aal, Hrsg. 2023. Thematic issue: „Taming Digital Practices – On the Domestication of Data-Driven Technologies“. Digital Culture & Society 9 (1/2023). ISBN 978-3-8376-6357-0.

 

2024

Hector, Tim Moritz, und Christine Hrncal. 2024. „Sprachassistenzsysteme in der Interaktion“. In Sprache und digitale Kommunikation, herausgegeben von Jannis Androutsopoulos und Friedemann Vogel, 309-28. Handbücher Sprachwissen 23. Berlin u.a.: de Gruyter. ISBN: 9783110744101 .

2023

Habscheid, Stephan, Tim Hector, und Christine Hrncal. 2023. „Human and non-human agency as practical accomplishment: Interactional occasions for ascription and withdrawal of (graduated) agency in the use of smart-speaker-technology“. Herausgegeben von Samira Ibnelkaïd und Iuliia Avgustis. Social Interaction. Video-Based Studies of Human Sociality. Special Issue: Situated agency in digitally artifacted social interactions 6 (1/2023). https://doi.org/10.7146/si.v6i1.137378.
Hector, Tim Moritz, David Waldecker, Niklas Strüver, und Tanja Aal, Hrsg. 2023. Thematic issue: „Taming Digital Practices – On the Domestication of Data-Driven Technologies“. Digital Culture & Society 9 (1/2023). ISBN: 978-3-8376-6357-0.
Strüver, Niklas. 2023. „Wieso eigentlich Alexa? Konzeptualisierung eines Sprachassistenten als Infrastruktur und Plattform im soziotechnischen Ökosystem Amazons“. kommunikation@gesellschaft 24: 1-33. https://doi.org/10.15460/kommges.2023.24.1.1194 .
Strüver, Niklas. 2023. „Introduction: Forms of Context in Digital Technologies“. In The Routledge Handbook of Media and Technology Domestication, herausgegeben von Maren Hartmann, 329-30. London, New York: Routledge, Taylor & Francis Group.
Waldecker, David, und Tim Moritz Hector. 2023. „Taming digital practices: A praxeological approach towards domestication of connected devices and services. Introduction to the thematic issue“. Digital Culture & Society 9 (1/2023). https://doi.org/10.14361/dcs-2023-0102.
Waldecker, David, Tim Moritz Hector, und Dagmar Hoffmann. 2023. „Intelligent Personal Assistants in practice. Situational agencies and the multiple forms of cooperation without consensus“. Herausgegeben von Stephan O. Görland, Cindy Roitsch, und Andreas Hepp. Convergence. Special Issue: Agency in a Datafied Society 30 (3): 975-91. https://doi.org/10.1177/13548565231189584.
Waldecker, David, und Dagmar Hoffmann. 2023. „Inszenierung von kritischen Kompetenzen in Nischenöffentlichkeiten: Bewertungen von Smart Speakern auf YouTube“. kommunikation@gesellschaft 23 (1): 1-28. https://doi.org/10.15460/kommges.2022.23.1.1000.

2022

Englert, Kathrin, Dagmar Hoffmann, und David Waldecker. 2022. „‚Tut mir leid, ich verstehe nicht ganz.‘ Smart Speaker als vermeintliche Gesprächspartner*innen“. merz – Zeitschrift für Medienpädagogik 66 (2): 24-34. https://www.merz-zeitschrift.de/alle-ausgaben/details/2022-02-sprache-und-medien/.
Habscheid, Stephan. 2022. „Socio-technical dialogue and linguistic interaction. Intelligent Personal Assistants (IPA) in the Private Home“. Sprache und Literatur 51 (2): 167-96. https://doi.org/10.30965/25890859-05002020.
Hector, Tim. 2022. „Smart Speaker in der Praxis: Methodologische Überlegungen zur medienlinguistischen Erforschung stationärer Sprachassistenzsysteme“. Sprache und Literatur 51 (2): 197-229. https://doi.org/10.30965/25890859-05002021.
Hector, Tim, Franziska Niersberger-Gueye, Franziska Petri, und Christine Hrncal. 2022. „The ‘Conditional Voice Recorder’: Data practices in the co-operative advancement and implementation of data-collection technology“. Working Paper Series Media of Cooperation 23: 1-15. http://dx.doi.org/10.25819/ubsi/10225 .
Hrncal, Christine, und Tim Hector. 2022. „Tagungsbericht: Sequence Analysis in Linguistics and Social Theory, 29.10.2021 – 30.10.2021, digital“. In H-Soz-Kult. https://www.hsozkult.de/conferencereport/id/fdkn-127824.
Waldecker, David. 2022. „Zur empirischen und theoretischen Kritik der Datensouveränität anhand der Smart-Speaker-Nutzung“. merzWissenschaft 66 (6): 147-57.
Waldecker, David, und Axel Volmar. 2022. „Die zweifache akustische Intelligenz virtueller Sprachassistenten zwischen verteilter Kooperation und Datafizierung“. In Acoustic Intellingence. Hören und Gehorchen, herausgegeben von Anna Schürmer, Maximilian Haberer, und Tomy Brautschek, 161-82. Düsseldorf: Düsseldorf University Press. https://doi.org/10.1515/9783110730791-011.

2021

Habscheid, Stephan, Tim Hector, Christine Hrncal, und David Waldecker. 2021. „Intelligente Persönliche Assistenten (IPA) mit Voice User Interfaces (VUI) als ‚Beteiligte‘ in häuslicher Alltags­interaktion. Welchen Aufschluss geben die Protokolldaten der Assistenzsysteme?“. Journal für Medienlinguistik 4: 16-53. https://doi.org/10.21248/jfml.2021.44.

2020

Hector, Tim, und Christine Hrncal. 2020. „Intelligente Persönliche Assistenten im häuslichen Umfeld. Erkenntnisse aus einer linguistischen Pilotstudie zur Erhebung audiovisueller Interaktionsdaten“. Working Paper Series Media of Cooperation 14: 1-14. https://www.mediacoop.uni-siegen.de/publikationen/working-papers-media-of-cooperation/.
Waldecker, David, Oliver Schmidtke, und Kathrin Englert. 2020. „Individuierung, Autonomie und Social Media. Überlegungen zum Strukturwandel von Öffentlichkeit und Privatheit“. Sprache und Literatur 49 (1): 171-99. https://doi.org/10.30965/25890859-04901007.

2019

Englert, Kathrin, David Waldecker, und Oliver Schmidtke. 2019. „Un/erbetene Beobachtung: Bewertung richtigen Medienhandelns in Zeiten seiner Hyper-Beobachtbarkeit“. In Digitale Bewertungspraktiken. Für eine Bewertungssoziologie des Digitalen, herausgegeben von Jonathan Kropf und Stephan Laser, 215-36. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-21165-3_9.
Schmidtke, Oliver, Kathrin Englert, und David Waldecker. 2019. „Vom alltäglichen Ziehen fließender Grenzen. Die Veröffentlichung von Intimität bei jugendlichen Social-Media-Nutzer/innen“. In Intimisierung des Öffentlichen. Zur multiplen Privatisierung des Öffentlichen in der digitalen Ära, herausgegeben von Patrik Ettinger, Mark Eisenegger, Marlis Prinzing, und Roger Blum, 211-26. Mediensymposium. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-24052-3_12.
Waldecker, David, Kathrin Englert, und Wolfgang Ludwig-Mayerhofer. 2019. „Media Ethnography and Participation in Online Practices“. Media in Action. Interdisciplinary Journal on Cooperative Media 3 (1): 9-22. https://www001.zimt.uni-siegen.de/ojs/index.php/mia/article/view/47.

2018

Kathrin, Englert, Lene Faust, Christian Heinrich-Franke, Claudia Müller, und Cornelius Schubert (Hrsg.). 2018. „Thematic Focus: Socioinformatics“. Media in Action. Interdisciplinary Journal on Cooperative Media, Sonderheft, 2 (1). https://www001.zimt.uni-siegen.de/ojs/index.php/mia/issue/view/9.

2017

Englert, Kathrin, Jacqueline Klesse, Wolfgang Ludwig-Mayerhofer, Oliver Schmidtke, und David Waldecker. 2017. „‚Das Digitale‘ und sein Modus Operandi. Bewertungen (un)erbetener Be(ob)achtung“. In Geschlossene Gesellschaften. Verhandlungen des 38. Kongresses der Deutschen Gesellschaft für Soziologie in Bamberg 2016, herausgegeben von Stephan Lessenich. Bamberg: Deutsche Gesellschaft für Soziologie. http://publikationen.soziologie.de/index.php/kongressband_2016/article/view/524.
Reißmann, Wolfgang, und Dagmar Hoffmann. 2017. „Mediatisierung und Mediensozialisation. Überlegungen zum Verhältnis zweier Forschungsfelder“. In Mediatisierung und Mediensozialisation. Prozesse – Räume – Praktiken, herausgegeben von Dagmar Hoffmann, Friedrich Krotz, und Wolfgang Reißmann, 59-78. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-14937-6_4.