SFB 1187 ›Medien der Kooperation‹ an der Universität Siegen

B06 - Un-/erbetene Beobachtung in Interaktion: Smart Environments, Sprache, Körper und Sinne in Privathaushalten

SFB 1187-Projekt-B06-2024.JPG

Ehemalige Mitarbeitende:

Dr. Christine Gebhard (geb. Hrncal)

Dr. Kathrin Englert
(Assoziierts Mitglied)

Jacqueline Klesse, M.A.
(Assoziierts Mitglied)

Dr. Vincent Knopp
(Assoziierts Mitglied)

Prof. Dr. Wolfgang Ludwig-Mayerhofer
(Assoziierts Mitglied und ehem. Teilprojektleiter)

Dr. habil. Oliver Schmidtke
(Assoziierts Mitglied)

Tamara Schwertel, M.A.
(Assoziierts Mitglied)

Dr. David Waldecker

 

Vom Smart Speaker zum Smart Home: Das Projekt untersucht die Domestizierung datenintensiver sensorischer Medien in der Interaktion. Es ergründet, wie ‚Intelligente‘ Wohnumgebungen die Haushalte digital sprachlich, motorisch und sinnesbezogen erfassen.

 


 

News

 

 

Zusammenfassung

Einsparung von Energie, Konsum nachhaltiger und gesunder Lebensmittel, Gestaltung von Remote Work, von familiärer Reproduktions-, Care- und Hausarbeit, die Sorge um intransparente Datenverwertung und digitale Überwachung, um Verbraucher*innen- und Publikumsmanipulation – der praktische Umgang mit den Herausforderungen der Gegenwart konkretisiert sich nicht zuletzt in privaten Haushalten, wobei digitale Medien einerseits als Bestandteil der Probleme, andererseits als Ressourcen für deren Bewältigung situiert wahrgenommen und verhandelt werden. In der Forschung zur Domestizierung (Silverstone et al. 1992) von Medien spielt der private Haushalt traditionell eine zentrale Rolle.

Indem digitale, vernetzte Medien in Haushalten Einzug halten, wird die Domestizierungsperspektive mehr als bisher herausgefordert, wie exemplarisch Smart Speaker zeigen, mit deren typischerweise hoch selektiver Nutzung wir uns in der zweiten Förderphase in medienlinguistischer und -soziologischer Perspektive befasst haben: Einerseits werden auch solche Medien in soziale Interaktion und alltägliche Praxis eingebettet, andererseits müssen sich diejenigen, die das Funktionspotential der sprachgesteuerten Assistenzsysteme ausschöpfen wollen, an technisierte Dialogstrukturen und Plattformlogiken anpassen; dabei müssen sie vieles über sich preisgeben, was jenseits des Haushalts als Daten in für die Nutzer*innen opaken Verwertungszusammenhängen und Beeinflussungsversuchen Bedeutung erlangen kann.

In Smart-Home-Environments kommen Assistenzsysteme als zentrale Interfaces potenziell erst in vollem Umfang zur Geltung, wobei sich zugleich der Haushalt noch weit mehr als bisher nach außen hin öffnet: War im Fall klassischer Smart Speaker die Beobachtung auf die Wahrnehmungsdimension des Hörens (‚Lauschens‘) beschränkt, führen Kamera- und Monitor- sowie sensorbasierte Systeme und die Vernetzung mit diversen stationären und mobilen Geräten und Infrastrukturen im Extremfall zu einer massiven Ausdehnung des Registrierbaren. Unter Umständen geht damit eine weitere Entgrenzung des Privaten einher, die einerseits (z. B. im Fall der Überwachung von Haushaltsmitgliedern untereinander) als Missbrauch wahrgenommen, andererseits (z. B. unter Perspektiven von Sicherheit) erwünscht sein kann. Es bleibt eine empirische Frage, inwieweit Haushalte sich für derartige Technologien öffnen und welche Folgen sich ggf. für sie ergeben bzw. durch sie erschließen lassen. Es ist dabei offen, wie die Verschiebung von einer potenziell akustischen hin zu einer multimodalen Überwachung von den Nutzenden wahrgenommen, berücksichtigt und mitgestaltet wird. Anknüpfend an technisch-methodische Innovationen in der zweiten Phase werden Mensch-Technik-Dialoge und ihre Einbindung in soziale Interaktion weiterhin untersucht, aber um die Rekonstruktion von Sinnesorientierungen und Körperpraktiken (Mondada 2021) sowie die Berücksichtigung sensorbasierter Mechanismen und ihrer technischen Schnittstellen im Smart Home erweitert werden.

Es ist davon auszugehen, dass sensorische Umgebungen nicht nur das räumliche Arrangement und soziale Miteinander auf der kommunikativen Ebene verändern, sondern dass die Verschränkung von Sinnen und technischen Sensorien neue Vollzüge einer Ko-Artikulation von Daten und Praktiken (Marres 2015) generiert. Vor diesem Hintergrund wird danach gefragt, inwieweit und wie Nutzer*innen ihre situierten Medien- und Datenpraktiken mit Blick auf die eingangs erwähnten diskursiven Imperative bewerten und verantworten (können).

 

Smart Speaker als zentrale Smart-Home-Steuerung (© Unsplash)
Smart Speaker als zentrale Smart-Home-Steuerung
(© Unsplash)

Wir fokussieren uns zum einen auf den multimodalen und wahrnehmungsbezogenen Austausch unter Einbezug häuslicher Umwelten, Geräte und Infrastrukturen. Zum anderen nehmen wir die haushaltsöffentliche Bewertung der digitalisierten Haushaltspraktiken vor dem Hintergrund herrschender Krisendiskurse (z.B. Energiesparen) in den Blick. Parallel ergründen wir die (teilweise) opaken sensorischen Prozesse der — um Kamera, Monitor und Sensoren erweiterten — soziotechnischen Infrastrukturen. In diesem Sinne untersucht das Projekt beide Seiten der sensor- und datenpraktischen Verknüpfung von Haushalten und Plattformen.

Wir besuchen die Studienteilnehmer*innen über einen längeren Zeitraum, um dort zu unterschiedlichen Anlässen audiovisuelle Aufzeichnungen, Fotos und Notizen anzufertigen. Medientagebücher unterstützen die Erfassung der Medienpraktiken im Haushalt.

Die Auswertung kombiniert die Video-Interaktionsanalyse mit ethnografischen Verfahren und Digital Methods. Die Transkription der Videos erfolgt nach multimodalen Standards. Mit Digital Methods betrachten wir die Hersteller-Dokumentationen und Sensor-Schnittstellen der in den Haushalten verwendeten Smart-Home-Geräte.

Software zur multimodalen Transkription der Video-Aufzeichnungen und eigene Aufnahme der Studienteilnehmenden
Software zur multimodalen Transkription der Video-Aufzeichnungen und eigene Aufnahme der Studienteilnehmenden

Im ersten Halbjahr 2024 entwickeln wir das Forschungsdesign, stellen Feldzugänge her und explorieren die zu untersuchenden Plattformen. Anschließend widmen wir uns der umfangreichen Felderhebung durch AV-Aufzeichnungen und Ethnografie unter Einschluss der Datenerhebung für die Plattformanalysen (2024–2026). Die erhobenen Daten werden fortlaufend aufbereitet, in Datensitzungen analysiert und das Vorgehen in interdisziplinären Auswertungs- und Methodenwerkstätten verglichen und kritisch reflektiert. Für das letzte Jahr der Laufzeit (2027) sind neben Projektberichten und Fachpublikationen auch die Beteiligung an mehreren Öffentlichkeitsveranstaltungen und Fachkonferenzen geplant.

 

➔ Hier geht es zum Projektarchiv 2020–2023

 

 

Publikationen

Aktuell

„Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse“

Voice Assistants such as Amazon's Alexa populate private homes as well as smartphones, TVs and cars. While suggesting easy living with smart devices, these assistants are criticized as the next step of corporate and state surveillance of the private home, or as harbingers of new and simplified linguistic practices. The contributors to this volume focus on the transformation and persistence of everyday linguistic, media and data practices under platformized conditions and new interfaces. This collection thus brings together perspectives from media sociology, media studies, media linguistics and domestication research.

Habscheid, Stephan, Tim Hector, Dagmar Hoffmann, und David Waldecker, Hrsg. 2025. Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse. Bielefeld: transcript. ISBN: 978-3-8394-7200-2.

 

2025

Habscheid, Stephan, Tim Hector, Dagmar Hoffmann, und David Waldecker, Hrsg. 2025. Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse. Bielefeld: transcript. ISBN: 9783839472002.
Habscheid, Stephan, Tim Hector, und Christine Hrncal. 2025. „Linguistic Practices as a Means of Domesticating Voice-Controlled Assistance Technologies“. In Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse, herausgegeben von Stephan Habscheid, Tim Hector, Dagmar Hoffmann, und David Waldecker, 207-39. Bielefeld: transcript. https://doi.org/10.1515/9783839472002-008.
Habscheid, Stephan, Dagmar Hoffmann, Tim Hector, und David Waldecker. 2025. „Voice Assistants in Private Homes. Introduction to the Volume“. In Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse, herausgegeben von Stephan Habscheid, Tim Hector, Dagmar Hoffmann, und David Waldecker, 9-29. Bielefeld: transcript. https://doi.org/10.1515/9783839472002-001.
Hector, Tim. 2025. „Sprachassistenzsysteme und ihre Interfaces. Eine medienlinguistische Analyse“. In Un/reale Interaktionsräume. Formen sozialer Ordnung im Spektrum medienspezifischer Interaktion, herausgegeben von Clara Kindler-Mathôt, Leblebici Didem, Giacomo Marinsalta, Till Rückwart, und Anna Zaglyadnova, 55-80. Bielefeld: transcript.
Strüver, Niklas. 2025. „Innovating Alexa amid the Rise of Large Language Models. Sociotechnical Transitions in Algorithmic Development Practices“. In Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse, herausgegeben von Stephan Habscheid, Tim Hector, Dagmar Hoffmann, und David Waldecker, 365-402. Bielefeld: transcript. https://doi.org/10.1515/9783839472002-014.
Waldecker, David, Alexander Martin, und Dagmar Hoffmann. 2025. „Mostly Harmless? Everyday Smart Speaker Use and Pragmatic Fatalism“. In Voice Assistants in Private Homes. Media, Data and Language in Interaction and Discourse, herausgegeben von Stephan Habscheid, Tim Hector, Dagmar Hoffmann, und David Waldecker, 291-317. Bielefeld: transcript. https://doi.org/10.1515/9783839472002-011.

2024

Hector, Tim Moritz, und Christine Hrncal. 2024. „Sprachassistenzsysteme in der Interaktion“. In Sprache und digitale Kommunikation, herausgegeben von Jannis Androutsopoulos und Friedemann Vogel, 309-28. Handbücher Sprachwissen 23. Berlin u.a.: de Gruyter. ISBN: 9783110744101 .

2023

Habscheid, Stephan, Tim Hector, und Christine Hrncal. 2023. „Human and non-human agency as practical accomplishment: Interactional occasions for ascription and withdrawal of (graduated) agency in the use of smart-speaker-technology“. Herausgegeben von Samira Ibnelkaïd und Iuliia Avgustis. Social Interaction. Video-Based Studies of Human Sociality. Special Issue: Situated agency in digitally artifacted social interactions 6 (1/2023). https://doi.org/10.7146/si.v6i1.137378.
Hector, Tim Moritz, David Waldecker, Niklas Strüver, und Tanja Aal, Hrsg. 2023. Thematic issue: „Taming Digital Practices – On the Domestication of Data-Driven Technologies“. Digital Culture & Society 9 (1/2023). ISBN: 978-3-8376-6357-0.
Strüver, Niklas. 2023. „Wieso eigentlich Alexa? Konzeptualisierung eines Sprachassistenten als Infrastruktur und Plattform im soziotechnischen Ökosystem Amazons“. kommunikation@gesellschaft 24: 1-33. https://doi.org/10.15460/kommges.2023.24.1.1194 .
Strüver, Niklas. 2023. „Introduction: Forms of Context in Digital Technologies“. In The Routledge Handbook of Media and Technology Domestication, herausgegeben von Maren Hartmann, 329-30. London, New York: Routledge, Taylor & Francis Group.
Waldecker, David, und Tim Moritz Hector. 2023. „Taming digital practices: A praxeological approach towards domestication of connected devices and services. Introduction to the thematic issue“. Digital Culture & Society 9 (1/2023). https://doi.org/10.14361/dcs-2023-0102.
Waldecker, David, Tim Moritz Hector, und Dagmar Hoffmann. 2023. „Intelligent Personal Assistants in practice. Situational agencies and the multiple forms of cooperation without consensus“. Herausgegeben von Stephan O. Görland, Cindy Roitsch, und Andreas Hepp. Convergence. Special Issue: Agency in a Datafied Society 30 (3): 975-91. https://doi.org/10.1177/13548565231189584.
Waldecker, David, und Dagmar Hoffmann. 2023. „Inszenierung von kritischen Kompetenzen in Nischenöffentlichkeiten: Bewertungen von Smart Speakern auf YouTube“. kommunikation@gesellschaft 23 (1): 1-28. https://doi.org/10.15460/kommges.2022.23.1.1000.

2022

Englert, Kathrin, Dagmar Hoffmann, und David Waldecker. 2022. „‚Tut mir leid, ich verstehe nicht ganz.‘ Smart Speaker als vermeintliche Gesprächspartner*innen“. merz – Zeitschrift für Medienpädagogik 66 (2): 24-34. https://www.merz-zeitschrift.de/alle-ausgaben/details/2022-02-sprache-und-medien/.
Habscheid, Stephan. 2022. „ Intelligent Personal Assistants (IPA) in the Private Home“. Sprache und Literatur 51 (2): 167-96. https://doi.org/10.30965/25890859-05002020.
Hector, Tim. 2022. „Smart Speaker in der Praxis: Methodologische Überlegungen zur medienlinguistischen Erforschung stationärer Sprachassistenzsysteme“. Sprache und Literatur 51 (2): 197-229. https://doi.org/10.30965/25890859-05002021.
Hector, Tim, Franziska Niersberger-Gueye, Franziska Petri, und Christine Hrncal. 2022. „The ‘Conditional Voice Recorder’: Data practices in the co-operative advancement and implementation of data-collection technology“. Working Paper Series Media of Cooperation 23: 1-15. http://dx.doi.org/10.25819/ubsi/10225 .
Hrncal, Christine, und Tim Hector. 2022. „ digital“. In H-Soz-Kult. https://www.hsozkult.de/conferencereport/id/fdkn-127824.
Waldecker, David. 2022. „Zur empirischen und theoretischen Kritik der Datensouveränität anhand der Smart-Speaker-Nutzung“. merzWissenschaft 66 (6): 147-57.
Waldecker, David, und Axel Volmar. 2022. „Die zweifache akustische Intelligenz virtueller Sprachassistenten zwischen verteilter Kooperation und Datafizierung“. In Acoustic Intellingence. Hören und Gehorchen, herausgegeben von Anna Schürmer, Maximilian Haberer, und Tomy Brautschek, 161-82. Düsseldorf: Düsseldorf University Press. https://doi.org/10.1515/9783110730791-011.

2021

Habscheid, Stephan, Tim Hector, Christine Hrncal, und David Waldecker. 2021. „Intelligente Persönliche Assistenten (IPA) mit Voice User Interfaces (VUI) als ‚Beteiligte‘ in häuslicher Alltags­interaktion. Welchen Aufschluss geben die Protokolldaten der Assistenzsysteme?“. Journal für Medienlinguistik 4: 16-53. https://doi.org/10.21248/jfml.2021.44.

2020

Hector, Tim, und Christine Hrncal. 2020. „Intelligente Persönliche Assistenten im häuslichen Umfeld. Erkenntnisse aus einer linguistischen Pilotstudie zur Erhebung audiovisueller Interaktionsdaten“. Working Paper Series Media of Cooperation 14: 1-14. https://www.mediacoop.uni-siegen.de/publikationen/working-papers-media-of-cooperation/.
Waldecker, David, Oliver Schmidtke, und Kathrin Englert. 2020. „Individuierung, Autonomie und Social Media. Überlegungen zum Strukturwandel von Öffentlichkeit und Privatheit“. Sprache und Literatur 49 (1): 171-99. https://doi.org/10.30965/25890859-04901007.

2019

Englert, Kathrin, David Waldecker, und Oliver Schmidtke. 2019. „Un/erbetene Beobachtung: Bewertung richtigen Medienhandelns in Zeiten seiner Hyper-Beobachtbarkeit“. In Digitale Bewertungspraktiken. Für eine Bewertungssoziologie des Digitalen, herausgegeben von Jonathan Kropf und Stephan Laser, 215-36. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-21165-3_9.
Schmidtke, Oliver, Kathrin Englert, und David Waldecker. 2019. „Vom alltäglichen Ziehen fließender Grenzen. Die Veröffentlichung von Intimität bei jugendlichen Social-Media-Nutzer/innen“. In Intimisierung des Öffentlichen. Zur multiplen Privatisierung des Öffentlichen in der digitalen Ära, herausgegeben von Patrik Ettinger, Mark Eisenegger, Marlis Prinzing, und Roger Blum, 211-26. Mediensymposium. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-24052-3_12.
Waldecker, David, Kathrin Englert, und Wolfgang Ludwig-Mayerhofer. 2019. „Media Ethnography and Participation in Online Practices“. Media in Action. Interdisciplinary Journal on Cooperative Media 3 (1): 9-22. https://www001.zimt.uni-siegen.de/ojs/index.php/mia/article/view/47.

2018

Kathrin, Englert, Lene Faust, Christian Heinrich-Franke, Claudia Müller, und Cornelius Schubert (Hrsg.). 2018. „Thematic Focus: Socioinformatics“. Media in Action. Interdisciplinary Journal on Cooperative Media, Sonderheft, 2 (1). https://www001.zimt.uni-siegen.de/ojs/index.php/mia/issue/view/9.

2017

Englert, Kathrin, Jacqueline Klesse, Wolfgang Ludwig-Mayerhofer, Oliver Schmidtke, und David Waldecker. 2017. „‚Das Digitale‘ und sein Modus Operandi. Bewertungen (un)erbetener Be(ob)achtung“. In Geschlossene Gesellschaften. Verhandlungen des 38. Kongresses der Deutschen Gesellschaft für Soziologie in Bamberg 2016, herausgegeben von Stephan Lessenich. Bamberg: Deutsche Gesellschaft für Soziologie. http://publikationen.soziologie.de/index.php/kongressband_2016/article/view/524.
Reißmann, Wolfgang, und Dagmar Hoffmann. 2017. „Mediatisierung und Mediensozialisation. Überlegungen zum Verhältnis zweier Forschungsfelder“. In Mediatisierung und Mediensozialisation. Prozesse – Räume – Praktiken, herausgegeben von Dagmar Hoffmann, Friedrich Krotz, und Wolfgang Reißmann, 59-78. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-14937-6_4.