SFB 1187 ›Medien der Kooperation‹ an der Universität Siegen

B06 - Un-/erbetene Beobachtung in Interaktion: Smart Environments, Sprache, Körper und Sinne in Privathaushalten

Ehemalige Mitarbeitende:

Dr. Christine Hrncal

Dr. Kathrin Englert
(Assoziierts Mitglied)

Jacqueline Klesse, M.A.
(Assoziierts Mitglied)

Dr. Vincent Knopp
(Assoziierts Mitglied)

Prof. Dr. Wolfgang Ludwig-Mayerhofer
(Assoziierts Mitglied und ehem. Teilprojektleiter)

Dr. habil. Oliver Schmidtke
(Assoziierts Mitglied)

Tamara Schwertel, M.A.
(Assoziierts Mitglied)

Dr. David Waldecker

 

Vom Smart Speaker zum Smart Home: Das Projekt untersucht die Domestizierung datenintensiver sensorischer Medien in der Interaktion. Es ergründet, wie ‚Intelligente‘ Wohnumgebungen die Haushalte digital sprachlich, motorisch und sinnesbezogen erfassen.

 


 

Zusammenfassung

Einsparung von Energie, Konsum nachhaltiger und gesunder Lebensmittel, Gestaltung von Remote Work, von familiärer Reproduktions-, Care- und Hausarbeit, die Sorge um intransparente Datenverwertung und digitale Überwachung, um Verbraucher*innen- und Publikumsmanipulation – der praktische Umgang mit den Herausforderungen der Gegenwart konkretisiert sich nicht zuletzt in privaten Haushalten, wobei digitale Medien einerseits als Bestandteil der Probleme, andererseits als Ressourcen für deren Bewältigung situiert wahrgenommen und verhandelt werden. In der Forschung zur Domestizierung (Silverstone et al. 1992) von Medien spielt der private Haushalt traditionell eine zentrale Rolle.

Indem digitale, vernetzte Medien in Haushalten Einzug halten, wird die Domestizierungsperspektive mehr als bisher herausgefordert, wie exemplarisch Smart Speaker zeigen, mit deren typischerweise hoch selektiver Nutzung wir uns in der zweiten Förderphase in medienlinguistischer und -soziologischer Perspektive befasst haben: Einerseits werden auch solche Medien in soziale Interaktion und alltägliche Praxis eingebettet, andererseits müssen sich diejenigen, die das Funktionspotential der sprachgesteuerten Assistenzsysteme ausschöpfen wollen, an technisierte Dialogstrukturen und Plattformlogiken anpassen; dabei müssen sie vieles über sich preisgeben, was jenseits des Haushalts als Daten in für die Nutzer*innen opaken Verwertungszusammenhängen und Beeinflussungsversuchen Bedeutung erlangen kann.

In Smart-Home-Environments kommen Assistenzsysteme als zentrale Interfaces potenziell erst in vollem Umfang zur Geltung, wobei sich zugleich der Haushalt noch weit mehr als bisher nach außen hin öffnet: War im Fall klassischer Smart Speaker die Beobachtung auf die Wahrnehmungsdimension des Hörens (‚Lauschens‘) beschränkt, führen Kamera- und Monitor- sowie sensorbasierte Systeme und die Vernetzung mit diversen stationären und mobilen Geräten und Infrastrukturen im Extremfall zu einer massiven Ausdehnung des Registrierbaren. Unter Umständen geht damit eine weitere Entgrenzung des Privaten einher, die einerseits (z. B. im Fall der Überwachung von Haushaltsmitgliedern untereinander) als Missbrauch wahrgenommen, andererseits (z. B. unter Perspektiven von Sicherheit) erwünscht sein kann. Es bleibt eine empirische Frage, inwieweit Haushalte sich für derartige Technologien öffnen und welche Folgen sich ggf. für sie ergeben bzw. durch sie erschließen lassen. Es ist dabei offen, wie die Verschiebung von einer potenziell akustischen hin zu einer multimodalen Überwachung von den Nutzenden wahrgenommen, berücksichtigt und mitgestaltet wird. Anknüpfend an technisch-methodische Innovationen in der zweiten Phase werden Mensch-Technik-Dialoge und ihre Einbindung in soziale Interaktion weiterhin untersucht, aber um die Rekonstruktion von Sinnesorientierungen und Körperpraktiken (Mondada 2021) sowie die Berücksichtigung sensorbasierter Mechanismen und ihrer technischen Schnittstellen im Smart Home erweitert werden.

Es ist davon auszugehen, dass sensorische Umgebungen nicht nur das räumliche Arrangement und soziale Miteinander auf der kommunikativen Ebene verändern, sondern dass die Verschränkung von Sinnen und technischen Sensorien neue Vollzüge einer Ko-Artikulation von Daten und Praktiken (Marres 2015) generiert. Vor diesem Hintergrund wird danach gefragt, inwieweit und wie Nutzer*innen ihre situierten Medien- und Datenpraktiken mit Blick auf die eingangs erwähnten diskursiven Imperative bewerten und verantworten (können).

 

Smart Speaker als zentrale Smart-Home-Steuerung (© Unsplash)
Smart Speaker als zentrale Smart-Home-Steuerung
(© Unsplash)

Wir fokussieren uns zum einen auf den multimodalen und wahrnehmungsbezogenen Austausch unter Einbezug häuslicher Umwelten, Geräte
und Infrastrukturen.

Zum anderen nehmen wir die haushaltsöffentliche Bewertung der digitalisierten Haushaltspraktiken vor dem Hintergrund herrschender Krisendiskurse (z.B. Energiesparen) in den Blick.

Parallel ergründen wir die (teilweise) opaken sensorischen Prozesse der — um Kamera, Monitor und Sensoren erweiterten — soziotechnischen Infrastrukturen.

In diesem Sinne untersucht das Projekt beide Seiten der sensor- und datenpraktischen Verknüpfung von Haushalten und Plattformen.

Wir besuchen die Studien-teilnehmer*innen über einen längeren Zeitraum, um dort zu unterschiedlichen Anlässen audiovisuelle Aufzeichnungen, Fotos und Notizen anzufertigen. Medientagebücher unterstützen die Erfassung der Medienpraktiken im Haushalt.

Die Auswahl der Haushalte erfolgt auf Basis der 2. Phase und wird um weitere Haushalte ergänzt.

Die Auswertung kombiniert die Video-Interaktionsanalyse mit ethnografischen Verfahren und Digital Methods. Die Transkription der Videos erfolgt nach multimodalen Standards.

Mit Digital Methods betrachten wir die Hersteller-Dokumentationen und Sensor-Schnittstellen der in den Haushalten verwendeten Smart-Home-Geräte.

Software zur multimodalen Transkription der Video-Aufzeichnungen und eigene Aufnahme der Studienteilnehmenden
Software zur multimodalen Transkription der Video-Aufzeichnungen und eigene Aufnahme der Studienteilnehmenden

Q1/24 – Q2/24:

  • Feldzugang
  • Exploration von Plattformen

Q3/24 – Q1/25:

  • AV-Aufzeichnungen
  • Ethnographie

Q3/24 – Q1/26:

  • Datenerhebung Plattformanalysen (APIs, SDKs)
  • Fortlaufende Aufarbeitung der Daten
  • Supervision und Reflexion
  • Auswertung der AV-Daten und Medientagebücher

Q3/25 – Q1/26: 

  • Methodenwerkstätten

Q2/26 – Q4/27:

  • Interdisziplinäre Auswertungswerkstätten
  • Methodenvergleich und -Kritik

Q1/27 – Q4/27: 

  • Projektbericht
  • Publikationen
  • Konferenzorganisation

 

➔ Hier geht es zum Projektarchiv 2020–2023

 

Aktuelle Stellenausschreibung

Studentische Hilfskraft (SHK) oder Wissenschaftliche Hilfskraft mit Bachelorabschluss (WHB)

Im Teilprojekt B06 "Un/erbetene Beobachtung in Interaktion: Smart Environments, Sprache, Körper und Sinne in Privathaushalten" des DFG Sonderforschungsbereichs 1187 „Medien der Kooperation“ suchen wir eine studentische Hilfskraft (SHK) (m/w/d) oder wissenschaftliche Hilfskraft mit Bachelor-Abschluss (WHB) (m/w/d) zum 01. April 2024 zu folgenden Konditionen:

  • bis zu 9 Wochenstunden (genaue Stundenzahl nach Vereinbarung)
  • zunächst befristet für 1 Jahr, mit der Möglichkeit zur Verlängerung
  • Beschäftigung auf Grundlage des Wissenschaftszeitvertragsgesetzes

Ihre Aufgaben:

  • Aufbereitung und Transkription von Feldnotizen sowie Teilnahme an der Auswertung des Datenmaterials
  • Unterstützung bei Zuarbeit für die Forschung (u.a. Literaturrecherche und -verwaltung)
  • Unterstützung bei der Durchführung von Veranstaltungen (u.a. in der Planung und praktischen Durchführung von Tagungen und Workshops)
  • Mithilfe bei der Erstellung wissenschaftl. Publikationen (z.B. Korrektorat, Formatierungsarbeiten)

Ihr Profil:

  • Immatrikulation bevorzugt in einem sozial- oder medienwissenschaftlichen Studiengang an einer deutschen Hochschule
  • Interesse an einer Tätigkeit im wissenschaftlichen Umfeld
  • Vorteilhaft ist die Vertrautheit mit empirischen Arbeiten
  • Bereitschaft für flexible Arbeitszeiten
  • Strukturiertes Arbeiten und Freude an Teamarbeit
  • Eigeninitiative und Verantwortungsbewusstsein

Wir freuen uns auf Ihre Bewerbung bis zum 31.03.2024. 

Bitte senden Sie Ihre Bewerbungsunterlagen (Anschreiben, tabellarischer Lebenslauf, Zeugnisse) in einer einzigen pdf-Datei an Herrn Strüver

Ihre Ansprechperson:
Niklas Strüver
niklas.struever[æt]uni-siegen.de

vollstängie Stellenausschreibung

 

Publikationen

Aktuell

„Die zweifache akustische Intelligenz virtueller Sprachassistenten zwischen verteilter Kooperation und Datafizierung“

Smartness von intelligenten persönlichen Assistenten bzw. von Smart Speakern wird im Beitrag in zwei Weisen diskutiert: Zum einen zeigen wir anhand der Interaktion mit Sprachassistenten, dass akustische Intelligenz als maschinelle Intelligibilität auf die Zuarbeit der menschlichen Nutzer* innen angewiesen ist, um kommunizieren zu können. Zum anderen erscheint akustische Intelligenz bzw. intelligence als ökonomische Verwertung der von den Nutzer*innen produzierten akustischen Daten, die sich als Datafizierung häuslicher Sprachkommunikation manifestiert. 

Waldecker, David; Volmar, Axel. 2022. „Die zweifache akustische Intelligenz virtueller Sprachassistenten zwischen verteilter Kooperation und Datafizierung.“ In Acoustic Intellingence. Hören Und Gehorchen, edited by Anna Schürmer, Maximilian Haberer, and Tomy Brautschek, 161–82. Düsseldorf: Düsseldorf University Press. https://doi.org/10.1515/9783110730791-011.

 

Im Erscheinen

Hector, Tim Moritz, und Christine Hrncal. 2024. „Sprachassistenzsysteme in der Interaktion“. In Sprache und digitale Kommunikation, herausgegeben von Jannis Androutsopoulos und Friedemann Vogel. Handbücher Sprachwissen 23. Berlin u.a.: de Gruyter. ISBN: 9783110744101 .

2023

Habscheid, Stephan, Tim Hector, und Christine Hrncal. 2023. „Human and non-human agency as practical accomplishment: Interactional occasions for ascription and withdrawal of (graduated) agency in the use of smart-speaker-technology“. Herausgegeben von Samira Ibnelkaïd und Iuliia Avgustis. Social Interaction. Video-Based Studies of Human Sociality. Special Issue: Situated agency in digitally artifacted social interactions 6 (1/2023). https://doi.org/10.7146/si.v6i1.137378.
Hector, Tim Moritz, David Waldecker, Niklas Strüver, und Tanja Aal, Hrsg. 2023. Thematic issue: „Taming Digital Practices – On the Domestication of Data-Driven Technologies“. Digital Culture & Society 9 (1/2023).
Strüver, Niklas. 2023. „Wieso eigentlich Alexa? Konzeptualisierung eines Sprachassistenten als Infrastruktur und Plattform im soziotechnischen Ökosystem Amazons“. kommunikation@gesellschaft 24: 1-33. https://doi.org/10.15460/kommges.2023.24.1.1194 .
Strüver, Niklas. 2023. „Introduction: Forms of Context in Digital Technologies“. In The Routledge Handbook of Media and Technology Domestication, herausgegeben von Maren Hartmann, 329-30. London, New York: Routledge, Taylor & Francis Group.
Waldecker, David, und Tim Moritz Hector. 2023. „Taming digital practices: A praxeological approach towards domestication of connected devices and services. Introduction to the thematic issue“. Digital Culture & Society 9 (1/2023).
Waldecker, David, Tim Moritz Hector, und Dagmar Hoffmann. 2023. „Intelligent Personal Assistants in practice. Situational agencies and the multiple forms of cooperation without consensus“. In Convergence. Special Issue: Agency in a Datafied Society, herausgegeben von Stephan O. Görland, Cindy Roitsch, und Andreas Hepp.
Waldecker, David, und Dagmar Hoffmann. 2023. „Inszenierung von kritischen Kompetenzen in Nischenöffentlichkeiten: Bewertungen von Smart Speakern auf YouTube“. kommunikation@gesellschaft 23 (1): 1-28. https://doi.org/10.15460/kommges.2022.23.1.1000.

2022

Englert, Kathrin, Dagmar Hoffmann, und David Waldecker. 2022. „‚Tut mir leid, ich verstehe nicht ganz.‘ Smart Speaker als vermeintliche Gesprächspartner*innen“. merz – Zeitschrift für Medienpädagogik 66 (2): 24-34. https://www.merz-zeitschrift.de/alle-ausgaben/details/2022-02-sprache-und-medien/.
Habscheid, Stephan. 2022. „Socio-technical dialogue and linguistic interaction. Intelligent Personal Assistants (IPA) in the Private Home“. Sprache und Literatur 51 (2): 167-96. https://doi.org/10.30965/25890859-05002020.
Hector, Tim. 2022. „Smart Speaker in der Praxis: Methodologische Überlegungen zur medienlinguistischen Erforschung stationärer Sprachassistenzsysteme“. Sprache und Literatur 51 (2): 197-229. https://doi.org/10.30965/25890859-05002021.
Hector, Tim, Franziska Niersberger-Gueye, Franziska Petri, und Christine Hrncal. 2022. „The ‘Conditional Voice Recorder’: Data practices in the co-operative advancement and implementation of data-collection technology“. Working Paper Series Media of Cooperation 23: 1-15. http://dx.doi.org/10.25819/ubsi/10225 .
Hrncal, Christine, und Tim Hector. 2022. „Tagungsbericht: Sequence Analysis in Linguistics and Social Theory, 29.10.2021 – 30.10.2021, digital“. In H-Soz-Kult. https://www.hsozkult.de/conferencereport/id/fdkn-127824.
Waldecker, David. 2022. „Zur empirischen und theoretischen Kritik der Datensouveränität anhand der Smart-Speaker-Nutzung“. merzWissenschaft 66 (6): 147-57.
Waldecker, David, und Axel Volmar. 2022. „Die zweifache akustische Intelligenz virtueller Sprachassistenten zwischen verteilter Kooperation und Datafizierung“. In Acoustic Intellingence. Hören und Gehorchen, herausgegeben von Anna Schürmer, Maximilian Haberer, und Tomy Brautschek, 161-82. Düsseldorf: Düsseldorf University Press. https://doi.org/10.1515/9783110730791-011.

2021

Habscheid, Stephan, Tim Hector, Christine Hrncal, und David Waldecker. 2021. „Intelligente Persönliche Assistenten (IPA) mit Voice User Interfaces (VUI) als ‚Beteiligte‘ in häuslicher Alltags­interaktion. Welchen Aufschluss geben die Protokolldaten der Assistenzsysteme?“. Journal für Medienlinguistik 4: 16-53. https://doi.org/10.21248/jfml.2021.44.

2020

Hector, Tim, und Christine Hrncal. 2020. „Intelligente Persönliche Assistenten im häuslichen Umfeld. Erkenntnisse aus einer linguistischen Pilotstudie zur Erhebung audiovisueller Interaktionsdaten“. Working Paper Series 14: 1-14. https://www.mediacoop.uni-siegen.de/publikationen/working-papers-media-of-cooperation/.
Waldecker, David, Oliver Schmidtke, und Kathrin Englert. 2020. „Individuierung, Autonomie und Social Media. Überlegungen zum Strukturwandel von Öffentlichkeit und Privatheit“. Sprache und Literatur 49 (1): 171-99. https://doi.org/10.30965/25890859-04901007.

2019

Englert, Kathrin, David Waldecker, und Oliver Schmidtke. 2019. „Un/erbetene Beobachtung: Bewertung richtigen Medienhandelns in Zeiten seiner Hyper-Beobachtbarkeit“. In Digitale Bewertungspraktiken. Für eine Bewertungssoziologie des Digitalen, herausgegeben von Jonathan Kropf und Stephan Laser, 215-36. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-21165-3_9.
Schmidtke, Oliver, Kathrin Englert, und David Waldecker. 2019. „Vom alltäglichen Ziehen fließender Grenzen. Die Veröffentlichung von Intimität bei jugendlichen Social-Media-Nutzer/innen“. In Intimisierung des Öffentlichen. Zur multiplen Privatisierung des Öffentlichen in der digitalen Ära, herausgegeben von Patrik Ettinger, Mark Eisenegger, Marlis Prinzing, und Roger Blum, 211-26. Mediensymposium. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-24052-3_12.
Waldecker, David, Kathrin Englert, und Wolfgang Ludwig-Mayerhofer. 2019. „Media Ethnography and Participation in Online Practices“. Media in Action. Interdisciplinary Journal on Cooperative Media 3 (1): 9-22. https://www001.zimt.uni-siegen.de/ojs/index.php/mia/article/view/47.

2018

Kathrin, Englert, Lene Faust, Christian Heinrich-Franke, Claudia Müller, und Cornelius Schubert (Hrsg.). 2018. „Thematic Focus: Socioinformatics“. Media in Action. Interdisciplinary Journal on Cooperative Media, Sonderheft, 2 (1). https://www001.zimt.uni-siegen.de/ojs/index.php/mia/issue/view/9.

2017

Englert, Kathrin, Jacqueline Klesse, Wolfgang Ludwig-Mayerhofer, Oliver Schmidtke, und David Waldecker. 2017. „‚Das Digitale‘ und sein Modus Operandi. Bewertungen (un)erbetener Be(ob)achtung“. In Geschlossene Gesellschaften. Verhandlungen des 38. Kongresses der Deutschen Gesellschaft für Soziologie in Bamberg 2016, herausgegeben von Stephan Lessenich. Bamberg: Deutsche Gesellschaft für Soziologie. http://publikationen.soziologie.de/index.php/kongressband_2016/article/view/524.
Reißmann, Wolfgang, und Dagmar Hoffmann. 2017. „Mediatisierung und Mediensozialisation. Überlegungen zum Verhältnis zweier Forschungsfelder“. In Mediatisierung und Mediensozialisation. Prozesse – Räume – Praktiken, herausgegeben von Dagmar Hoffmann, Friedrich Krotz, und Wolfgang Reißmann, 59-78. Wiesbaden: Springer VS. https://doi.org/10.1007/978-3-658-14937-6_4.