Intelligente Persönliche Assistenten in der sprachlichen Interaktion

Moderation: Stephan Habscheid

Intelligente Persönliche Assistenten haben verschiedene Erscheinungsformen: Smart Speaker, Humanoide Roboter, Chatbots und Smartphone-Apps sind nur einige davon. Sie erfordern durch ihre unterschiedliche Gestaltung auch differente sprachliche und multimodale Verfahren zur Bedienung und werden auch auf verschiedene Weise in Mehrparteien-Interaktionen vor den Geräten eingebunden. Es stellt sich dabei die Frage  nach der Beziehung zwischen sprachlicher Form und sprachlicher Funktion sowie dem Verhältnis zum situativen und institutionellen Kontext. Außerdem fragt die Tagung konversationsanalytisch nach kommunikativen Strategien, die einerseits „kontextfrei“, aber zugleich „kontextsensitiv“ (Sacks/Schegloff/Jefferson 1974, 699) im interaktiv vollzogenen Dialog mit Maschinen beobachtbar sind.

Karola Pitsch (Duisburg Essen): Wie gehen Nutzer mit besonderen Bedürfnissen mit CUIs um? Problembehaftete Situationen als analytischer Zugang

Bisherige kommerziell erhältliche CUIs orientieren sich in der Regel in ihrem Design am ‚typischen‘ Nutzer, der über die üblichen kommunikativen Fähigkeiten eines erwachsenen Gesellschaftsmitglieds verfügt. Demgegenüber könnten CUIs aber auch einen Mehrwert für sogenannte ‘atypcial‘ Nutzer bieten, wie z.B. Senioren oder Menschen mit besonderen Bedürfnissen. Solche technischen Systeme könnten solchen Nutzergruppe helfen, mehr Autonomie in alltäglichen Aufgaben zu erlangen bzw. zu bewahren, wenn sie z.B. dazu beitragen könnten, einen stabile Tagesstruktur oder den Kontakt mit anderen Menschen aufrecht zu erhalten. Um assistive Systeme für die Bedürfnisse solcher Nutzergruppen entsprechend zu designen, werden empirisch-basierte Einblicke in die Art und Weise benötigt, wie diese kommunikativ und interaktiv mit einem CUI umgehen (vgl. Kopp et al. 2018, Albert & Hamann 2021, Rodil et al. 2020).

Vor diesem Hintergrund wollen wir in diesem Beitrag der Frage nachgehen, wie eine Person mit milden kognitiven Einschränkungen ein CUI (Forschungsprototyp, bei dem ein virtueller Agent mit Sprache, Kopf- und Armgesten ausgestattet ist und neben einem Kalender auf einem Bildschirm abgebildet ist) über einen mehrwöchigen Zeitraum in seinem häuslichen Alltag verwendet (vgl. Kopp et al. 2018). Das System wird ist konfiguriert, um Termine in eine Kalenderanwendung einzutragen, um dem Nutzer potentiell interessante Ereignisse vorzuschlagen und ihn/sie an Aktivitäten zu erinnern, die für den entsprechenden Tag geplant sind. Die Analyse basiert auf einem Video-Korpus, das in einem interdisziplinären Projekt erhoben wurde mit dem Ziel sozial-kooperativen Dialog für technische Agenten zu erforschen (Kopp et al. 2018). Das System ist u.a. ausgestattet mit Möglichkeiten für inkrementelle Verarbeitung von Dialog, für das Signalisieren von Verständnis und für die Initiierung von Reparatur-Sequenzen (Yaghoubzadeh & Kopp 2017). Während die Analysen dieses Systems bisher v.a. auf Design und Evaluation von multimodalen CUI fokussiert haben (z.B. Opfermann & Pitsch 2017, Cyra & Pitsch 2017), wird in dieser Präsentation der Fokus auf die Art und Weise gerichtet, wie die Nutzer versuchen mit dem CUI umzugehen und ihre kreativen Lösungsmöglichkeiten wenn dabei Schwierigkeiten auftreten. Wir werden insbesondere Reparatur-involvierende Sequenzen betrachten und uns fragen, inwiefern die beobachteten Praktiken spezifisch für sog. „atypical“ Nutzer sind oder vielmehr allgemeinere kommunikative Praktiken in Situationen mit einem CUI involvieren.

Literatur:
Albert, S., & Hamann, M. (2021). Putting wake words to bed: We speak wake words with systematically varied prosody, but CUIs don’t listen CUI 2021, In: CUI 2021.
Cyra, K., & Pitsch, K. (2017). Dealing with ‚Long Turns‘ Produced by Users of an Assistive System. How Missing Uptake and Recipiency Lead to Turn Increments. In: Ro-Man 2017, Lisbon.
Kopp, S., Brandt, M., Buschmeier, H., Cyra, K., Freigang, F., Krämer, N., . . . Yaghoubzadeh, R. (2018). Conversational Assistants for Elderly Users. The Importance of Socially Cooperative Dialogue. Paper presented at the AAMAS 2018 Workshop on Intelligent Converstional Agents in Home and Geriatric Care Applications, Stockholm, Sweden.
Opfermann, C., & Pitsch, K. (2017). Reprompts as Error Handling Strategy in Human-Agent-Dialog? User Responses to a System’s Display of Non-Understanding. In: Ro-Man 2017, Lisbon.

Netaya Lotze (Münster): ‚Computer-Talk‘ als User*innen-Strategie – ein veraltetes Konzept?

Zoeppritz (1985) prägte den Begriff des „Computer-Talks“ (CT) im Kontext der ersten Studien zur Human-Computer-Interaction (HCI „several instances of deviant or odd formulations [of the users, N.L] that looked as if they were intended to be particularly suitable to use with a computer as the partner of communication“ (Zoeppritz 1985: 1). Seitdem wurde der Begriff immer wieder diskutiert und mehrfach modifiziert als “metaphorischer Sprachgebrauch” (Krause 1992), „strukturelles Register“ (Krause, Hitzenberger & Womser-Hacker 1992), „functional variety“ (Fischer 2006), einzelner „Teilaspekt der HCI“ (Lotze 216) oder „simplified register“ (Fischer 2018). Parallel zur Theoriefindung sind die Ergebnisse der empirischen Studien alles andere als eindeutig. So finden sich je nach Anwendungskontext, User*innen-Typ, System-Architektur, Dialog-Design und Sequenz mehr oder weniger Belege für Formulierungen, die so ausschließlich in HCI-Dialogen vorkommen und die User*innen einem Menschen gegenüber nicht gebrauchen würden: extreme oder formalisierte Simplifizierungen, isolierte Keywords, „passive Rezeption“ und „natürlichsprachliches Weiterklicken“ (Lotze 2016, 2018, 2022), „Flaming“ (ebd.) oder „Systemtests“ (ebd.).

Der Vortrag thematisiert in einem micro-diachronen Überblick zwei korpuslinguistische/konversationsanalytische Mixed-Method-Studien zur sprachlichen Performanz von User*innen unterschiedlich ausgereifter Chatbots und Socialbots (Lotze 2016, Lotze & Ohrndorf i. Vorb.).  Sie zeigen mittels quantitativer und qualitativer Analysen, wie User*innen medial-schriftlich auf unterschiedlichen linguistischen Ebenen mit älteren und neueren Bots interagieren (Dialogstruktur, interaktives Alignment, Lexik, Syntax) und können so belegen, dass nicht allein CT, sondern eine Reihe ganz unterschiedlicher sprachlicher Merkmale für die HCI typisch sind. Den Ausblick bietet eine dritte Studie, nämlich eine Pilot-Studie zu ChatGPT, in deren Rahmen wir in meiner Arbeitsgruppe „Künstliche Intelligenz und Sprache“ (WWU) derzeit User*innen-Beiträge dieses bedeutend weniger störungsanfälligen Systems auf CT untersuchen und der Frage nachgehen, ob CT in intuitiveren, weniger störungsanfälligen (?) HCI-Dialogen noch eine Rolle spielt.

Literatur:
Fischer, Kerstin (2018):Recipient Design, Alignment and Interaction. The Role of the Addressee in So-called Simplified Registers. Habilitation Thesis. Bremen: University of Bremen.
Fischer, Kerstin (2006): What Computer Talk is and Isn’t: Human–Computer Conversation as Intercultural Communication. Saarbrücken: AQ.
Krause, Jürgen & Hitzenberger, Ludwig (1992): Computertalk. In: Sprache und Computer. Hildesheim: Olms, S. 157–170.
Lotze, Netaya (2016): Chatbots – Eine linguistische Analyse. Lang.
Lotze, Netaya (2018): Zur sprachlichen Interaktion mit Chatbots – Eine linguistische Perspektive. In: Theo Hug, Günther Pallaver (Hg.). Talk with the Bots – Gesprächsroboter und Social Bots im Diskurs. Innsbruck University Press. S. 29-50).
Lotze, Netaya (2022): Zur Adressierung des Unbelebten. – Grenzen von pragmatischer Konzeption. In: Miriam Lind (Hg.). Mensch, Tier, Maschine – Sprachliche Praktiken jenseits der Außengrenze des Humanen. Bielefeld, 305-325.
Zoeppritz, Magdalena (1985): Computer talk? Technical Report TN 85.05. Heidelberg: IBM Heidelberg Scientific Center.

Florence Oloff (Leibniz-Institut für Deutsche Sprache, Mannheim): ‚Achso, jetzt soll ich sprechen‘: Erste Erfahrungen mit IPAs in Smartphone-Kursen für Erwachsene

Dieser Vortrag setzt sich mit der Frage auseinander, was wir aus institutioneller Interaktion über die Bedien- und Erlernbarkeit von Alltagstechnologien wie IPAs erfahren können. Im Rahmen von Smartphone-Einführungskursen für ältere Erwachsene wird, neben grundsätzlichen Anwendungen wie Messaging-Programmen, Emails oder der Kamera, auch manchmal die Sprachassistenten-Funktion des Smartphones vorgestellt (typischerweise der „Google Assistant“). Zwar geht aus dieser Art von Setting nicht hervor, wie sich TeilnehmerInnen eine neue Technologie über längere Zeit hinweg aneignen und wie sich im Alltag mögliche Lösungen und Routinen in Hinblick auf deren Handhabung ergeben (z.B. Hector et al., im Erscheinen, Porcheron et al. 2017, 2018), es bietet jedoch die einmalige Gelegenheit, den Erstkontakt mit einer zuvor unbekannten Anwendung nachzuvollziehen.

Die Frage, wie Kinder und Jugendliche den Umgang mit neuen Technologien und Medien erlernen, ist in der Forschung auf breites Interesse gestoßen (z.B. Lahikainen et al. 2017, Wiesemann et al. 2020). Wie jedoch Menschen zu einem späteren Zeitpunkt ihres Lebens mit neuen Technologien in Kontakt kommen und diese nutzen, wurde bisher wesentlich seltener und zumeist auf Basis von Fragebögen oder Interviews untersucht (z.B. Quan-Haase et al. 2016, 2018). Einer der Schwerpunkte des „DigiLife“-Projektes (IDS Mannheim, 2022-2026) ist daher die Untersuchung von nicht-experimentellen Settings, in denen sich ältere Menschen mit Alltagstechnologien auseinandersetzen. Mithilfe der multimodalen Konversationsanalyse werden aus diesen Daten neue Einblicke in die digitalen Kompetenzen dieser oft weniger erfahrenen TechnologienutzerInnen gewonnen (Oloff 2021). Anhand von Auszügen aus videographierten Smartphone-Kursen in Volkshochschulen in Deutschland wird in diesem Vortrag illustriert, wie die Kursleitung den Google Assistant vorstellt und die KursteilnehmerInnen diesen anschließend auf ihren eigenen Mobilgeräten ausprobieren. Hierbei werden sowohl sprachliche Formate als auch verkörperte Handlungen berücksichtigt, die Aufschluss über das dynamische Verständnis der TeilnehmerInnen in Hinblick auf die Funktionsweise und Bedienung dieser Art von IPA geben. Berücksichtigt werden sowohl instruierte vs. spontane als auch individuelle vs. gemeinsame „Entdeckungsprozesse“.

Literatur:
Hector, T., Waldecker, D., Strüver, N., Aal, T. (Eds.) (2023). Taming Digital Practices: On the Domestication of Data-Driven Technologies. Digital Culture & Society. Thematic Issue, Vol. 9, Issue 1/2023.
Lahikainen, A.R., Mälkiä, T., Repo, K. (Eds.) (2017). Media, Family Interaction and the Digitalization of Childhood. Cheltenham: Edward Elgar.
Oloff, F. (2021). New technologies – new social conduct? A sequential and multimodal approach to smartphone use in face-to-face interaction. Bulletin VALS-ASLA No spécial, 2021, vol. 1, II-III: 13-34.
Porcheron, M., Fischer, J.E., Reeves, S., Sharples, S. (2018). Voice Interfaces in Everyday Life. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (CHI ’18). Association for Computing Machinery, New York, NY, USA, Paper 640, 1–12. https://doi.org/10.1145/3173574.3174214.
Porcheron, M., Fischer, J.E., McGregor, M., et al. (2017). Talking with Conversational Agents in Collaborative Action. Companion of the 2017 ACM Conference on Computer Supported Cooperative Work and Social Computing (CSCW ’17 Companion). Association for Computing Machinery, New York, NY, USA, 431–436. https://doi.org/10.1145/3022198.3022666.
Quan-Haase, A., Martin, K., & Schreurs, K. (2016). Interviews with digital seniors: ICT use in the context of everyday life. Information, Communication & Society, 19(5), 691–707. https://doi.org/10.1080/1369118X.2016.1140217 .
Quan-Haase, A., Williams, C., Kicevski, M., Elueze, I., & Wellman, B. (2018). Dividing the Grey Divide: Deconstructing Myths About Older Adults’ Online Activities, Skills, and Attitudes. American Behavioral Scientist, 62(9), 1207–1228. https://doi.org/10.1177/0002764218777572 .
Wiesemann, J.; Eisenmann, C.; Fürtig, I. ; Lange, J.; Mohn, B. E. (eds.) (2020). Digitale Kindheiten. Wiesbaden: Springer.

Überwachung und die ökonomische Auswertung von IPA-Daten

Moderation: David Waldecker

Neben den Detailstudien der Sprachpraktiken der Nutzenden will die Tagung ein weiteres, wenig beachtetes Thema diskutieren, die ökonomische Verwertung der Sprachdaten. Während die potentielle Überwachung der Nutzenden durch Konzerne und andere oder ehemalige Haushaltsmitglieder gelegentlich thematisiert wird, ist dies bei der ökonomischen Verwertung von Sprachdaten weniger der Fall. Die großen Anbieter von Smart-Speakern und virtuellen Assistenten haben jedoch ein ökonomisches Interesse an der konstanten Verbesserung und der Vermarktung ihrer jeweiligen Spracherkennungs- und Verarbeitungsoftware. In diesem Panel sollen Beiträge aus der Soziologie der Privatheit, der Debatte um Überwachung und Capture und aus der Diskussion um die Verwertung digitaler Praktiken gemeinsam diskutiert werden.

Carsten Ochs (Kassel): MachineLearning@Home: Smart Speaker als Einbettung Künstlicher Intelligenz-Systeme in die durée der Praxis

Der Haushalt gilt üblicherweise als Hort des Privaten schlechthin. Im Zuge von Industrialisierung und fortschreitender Arbeitsteilung von den Stätten der Lohnarbeit sozial-materiell differenziert (Smelser 1967; Hausen 1976) und daraufhin – mit den bekannten fragwürdigen Folgen – binär-geschlechtlich zugeordnet (Meier-Gräwe 2008: 117), spielt die räumlich-familiale Privatsphäre eine zentrale Rolle sowohl in den sozial- und kulturhistorischen Rekonstruktionen der Öffentlichkeitsforschung (Habermas 1990; 1995; Sennett 2008) wie auch in der Sozialphilosophie der Privatheit (Rössler 2001). Nicht zuletzt auch in der grundgesetzlich garantierten Unverletzlichkeit der Wohnung (Artikel 13) artikuliert sich die Relevanz, die der räumlichen Praktizierung der Unterscheidung privat/öffentlich als „lokale Privatheit“ standardmäßig zugesprochen wird.

Indessen scheint der Privathaushalt seinen im 19. Jh. erworbenen Status als „bulwark against the buffets of a rapidly changing world“ (Kumar 1997: 222) im Zuge der datafizierten Digitalisierungsphase mehr und mehr zu verlieren. Angeheizt von der Dynamik der prediktiven Datenökonomie, zielt Digitalisierung gegenwärtig auf einen Umbau der Infrastrukturen des Sozialen ab, so dass diese das Sammeln von Daten über die dort ablaufenden Prozesse und ihre Rückeinspeisung in die morphologische Gestaltung der Infrastrukturen in Echtzeit erlauben (Yeung 2016).

Smart Speaker können vor diesem Hintergrund in mehrfacher Hinsicht als zeitgemäße Artikulation der Datafizierungsdynamik gelten: Indem sie in die Wohn-, Schlaf- und Kinderzimmer der datafizierten Lebenswelten vorstoßen, erhöhen sie erstens generell die Eingriffstiefe der Datenökonomie in als „privat“ deklarierte Praktiken der digitalen Gesellschaft. Indem sie dabei auf natürliche Sprache zurückgreifen, können sie sich zweitens noch tiefer in der durée des vorbewusst abgespulten Handlungsstroms der Praxis verankern. Und indem sie das maschinelle Lernen der angeschlossenen KI-Systeme vorantreiben, operieren sie drittens auf dem paradigmatischen Entwicklungsniveau gegenwärtiger Digitalisierung.

Die Entgegensetzung von Privatheit und ökonomischer Welt wird damit tendenziell unterlaufen. Der Vortrag wird diese Entwicklung rekonstruieren, indem er theoretisch-genealogische Einsichten der Privatheitssoziologie (Ochs 2022) mit empirischen Erkenntnissen aus einem aktuellen Forschungsprojekt zur gesellschaftlichen Aushandlung und Nutzung von KI-Systemen kombiniert.

Literatur:
Habermas, J. (1990): Strukturwandel der Öffentlichkeit. Untersuchungen zu einer Kategorie der bürgerlichen Gesellschaft. Frankfurt/M.
Habermas, J. (1995): Theorie des kommunikativen Handelns, Bd. 2. Zur Kritik der funktionalistischen Vernunft. Frankfurt/M.
Hausen, K. (1976): Die Polarisierung de „Geschlechtscharaktere“ – Eine Spiegelung der Dissoziation von Erwerbs- und Familienleben. In: conze, W. (Hg.): Sozialgeschichte der Familie in der Neuzeit Europas. Neue Forschungen. Stuttgart, 363–393.
Kumar, K. (1997): Home: The Promise and Predicament of Private Life at the End of the Twentieth Century. In: Weintraub, J./Kumar, K. (Hg.): Public and Private in Thought and Practice. Perspectives on a Grand Dichotomy. Chicago, London, 204–236.
Meier-Gräwe, U. (2008): Familie, Ökonomie und Gesellschaft – Über die Wirkungsmächtigkeit des vermeintlich Privaten. In: Jurczyk, K./Oechsle, M. (Hg.): Das Private neu denken. Erosionen, Ambivalenzen, Leistungen. Münster, 113–132.
Ochs, C. (2022): Soziologie der Privatheit. Informationelle Teilhabebeschränkung vom Reputation Management bis zum Recht auf Unberechenbarkeit. Weilerswist, https://doi.org/10.5771/9783748914877.
Rössler, B. (2001): Der Wert des Privaten. Frankfurt/M.
Sennett, R. (2008): Verfall und Ende des öffentlichen Lebens. Die Tyrannei der Intimität. Berlin.
Smelser, Neil J. (1967): Sociological History: The Industrial Revolution and the British Working-Class Family. In: Journal of Social History 1(1), 17–35.
Yeung, K. (2016,): Hypernudge: Big Data as a mode of regulation by design. In: Information, Communication and Society 20(1), 118-136.

Markus Kienscherf (FU Berlin): Diesseits des Überwachungskapitalismus: Virtuelle Sprachassistenten und die (Re)Produktion von Arbeitskraft und Kapital

Virtuelle Sprachassistenten, auch intelligente persönliche Assistenten (IPAs) genannt, sind über die letzten Jahre – v.a. in der Form von „smart speakers“ – fester Bestandteil vieler Haushalte geworden (Waldecker and Volmar 2022). Kritiker*innen wie Shoshana Zuboff sehen die Aneignung und Vermarktung der dadurch generierten Sprachdaten als Symptom eines immer mehr um sich greifenden Überwachungskapitalismus (Zuboff 2019). Zuboff theoretisiert den Überwachungskapitalismus als radikalen Bruch mit der klassischen kapitalistischen Akkumulationslogik. Mit Bezug auf die Marxsche Kritik der Politischen Ökonomie und die feministische Reproduktionstheorie wird dieser Vortrag jedoch aufzeigen, dass sich die Aneignung und Vermarktung der durch IPAs erfassten Sprachdaten sehr wohl als Teil einer klassischen kapitalistischen Akkumulationslogik begreifen lässt (siehe Kienscherf 2022). Die Aneignung und Vermarktung von Sprachdaten ist keineswegs losgelöst von klassischer Warenproduktion, sondern dient in erster Linie der effizienteren, d.h. v.a. schnelleren, Zirkulation von Waren durch immer zielgenauere Werbestrategien. Die Sphäre der sozialen Reproduktion (v.a. Privathaushalte) wird hier nicht nur zur Quelle der entsprechenden Daten, sondern auch Zielort der auf der Grundlage dieser Daten vermarkteten Waren. IPAs sind demnach Symptom einer zunehmenden Kolonialisierung sozialer Reproduktion durch eine kapitalistische Verwertungslogik. Der Vortrag wird sich hierbei mit folgenden Fragen befassen: Inwiefern lässt sich die Aneignung und Vermarktung von Sprachdaten mit der marxistischen Werttheorie erklären? Was ist der Nutzwert, Tauschwert und Wert von Sprachdaten für Nutzer*innen und Unternehmen? Welche Rolle spielen Sprachdaten innerhalb der allgemeinen kapitalistischen Akkumulation – v.a. hinsichtlich der (Re)Produktion von Arbeitskraft und Kapital?

Literatur:
Kienscherf, Markus. 2022. „Surveillance Capital and Post-Fordist Accumulation: Towards a Critical Political Economy of Surveillance-for-Profit.“ Surveillance & Society 20(1):18-29.
Waldecker, David and Axel Volmar. 2022. „Die Zweifache Akustische Intelligenz Virtueller Sprachassistenten Zwischen Verteilter Kooperation Und Datafizierung.“ Pp. 161-82 in Acoustic Intelligence, edited by S. Anna, H. Maximilian and B. Tomy. Berlin, Boston: Düsseldorf University Press.
Zuboff, Shoshana. 2019. The Age of Surveillance Capitalism: The Fight for the Future at the New Frontier of Power. London: Profile Books.

Till Heilmann (Bochum): Capture kaput? Datenarbeit mit Smart Speakern

Von seinem virtuellen Sprachassistenten Alexa hatte sich Amazon gute Geschäfte versprochen. Über mit Alexa ausgestattete Smart Speaker sollte man per Sprachbefehl nicht nur die heimische Musikwiedergabe und Beleuchtung steuern, sondern auch bequem Bestellungen und Käufe in Amazons Online-Shop tätigen. Das Bestreben, Online-Shopping möglichst niedrigschwellig zu gestalten, lässt sich gut mit einem Konzept beschreiben, dass der US-Informatiker Philip Agre vor rund dreißig Jahren vorstellte. Als „capture“ bezeichnete Agre (1994) informatische Maßnahmen, Arbeitsabläufe und Handlungsabfolgen zu erfassen und zu standardisieren, um dadurch Transaktionskosten zu reduzieren. Entscheidend ist nach Agre, dass capture kein bloß technisches Phänomen darstellt, sondern ein gesellschaftliches. Denn es erlaubt, auch informelle soziale Verhältnisse zu formalisieren und damit potentiell der Logik des Marktes zu unterstellen. Ich selbst habe versucht, an Agres Beitrag mit dem Begriff der „Datenarbeit“ anzuschließen (Heilmann 2015). Damit soll beschrieben werden, wie der Gebrauch digitaler Dienste und Geräte durch Verfahren des capture laufend nutzerbezogene Daten erzeugt, die von Konzernen wie Amazon systematisch gesammelt und ökonomisch verwertet werden. Heute zeigt sich indes, dass das Geschäft mit Smart Speakern nicht wie gehofft zu laufen scheint (Amadeo 2022). Vor diesem Hintergrund diskutiert der Beitrag die Aktualität und Reichweite der genannten Konzepte für eine medienwissenschaftliche Analyse von intelligenten Assistenten.

Literatur:
Agre, Philip E. 1994. Surveillance and capture. In Information Society 10(2): 101–127.
Amadeo, Ron. 2022. Amazon Alexa is a „colossal failure“, on pace to lose $10 billion this year. In Ars Technica. November 21. https://arstechnica.com/gadgets/2022/11/amazon-alexa-is-a-colossal-failure-on-pace-to-lose-10-billion-this-year/.
Heilmann, Till A. 2015. Datenarbeit im „Capture“-Kapitalismus. In Zeitschrift für Medienwissenschaft 7(2): 35–48.

Intelligent Personal Assistants in Everyday Practice

Chair: Christine Hrncal

Intelligent Personal Assistants become part of the everyday life routines of their users, they nest not only in their media practices, but in a broad variety of everyday practices, such as getting up in the morning, listening to music, cooking, cleaning, communicating, shopping, playing and driving. The execution of everyday practices can be empirically skimmed off the linguistic surface: How these practices are realized and accomplished by users in dyadic and multi-party-settings can be seen in analyses of communicative procedures and thus linguistic forms. In this regard, an old question arises anew: How does new technology affect the performance of these kind of practices and how can we investigate the triangulation of media/technology, practices and participants?

Stuart Reeves (Nottingham): Conversational AI: Respecifying Participation as Regulation

When people interact with AI-driven systems, is it right to say that these systems are participating in an encounter? And is it right that we should design them with this aim in mind?This talk examines the relationship between ‚conversational AI‘ and conceptualisations of participation in social interaction. We think the version of participation adopted by researchers and designers of interaction with AI systems tends to be naïve, rarely dealing with the constructive organisation of the social situations into which AI systems – like all technologies – are actually embedded. We instead contend that we cannot understand AI without also appreciating the foundationally constitutive nature of the social situations that render such technologies meaningful. In doing this we need to rethink how we treat concepts like participation in human–AI interaction.

Henrike Helmer / Silke Reineke (Leibniz-Institut für Deutsche Sprache, Mannheim): Integrating the use of Voice-Controlled Assistants in Multi-Party Everyday Interactions

In our talk we examine how interactions with voice-controlled virtual assistants (VA) are integrated in everyday interactions in multi-party settings. We focus on two different kinds of interactions with a VA: 1) Using the VA in multi-activity settings for requests aimed at supporting an ongoing activity  (such as using it to set a timer while cooking, to set the navigation system or to play music while driving, to calculate the sum of points at the end of a card game round); and 2) Using the VA as an end in itself during an ongoing activity, e.g. using more ‘playful’ requests during a card game to ask for information on non-predictable future events, like “Alexa, who will win today’s game?”. Requests like the latter ‘exploit’ the VA to create humorous effects. They differ from requests that support the ongoing main activity insofar as they can potentially halt its progression.

Starting from these two kinds of interactions in multi-party settings, we want to explore how they are shaped by the ongoing interaction and how in turn they do shape the ongoing interaction. The use of a VA in multi-activity settings, e.g. while cooking or driving a car opens up opportunities to voice-control tasks simultaneously to other bodily activities (as opposed to consecutively performing actions with the hands) – thus potentially making the ongoing activity more efficient. On the other hand, using the VA in multi-activity settings can add to the complexity of the situation (e.g., because people need to constantly monitor the traffic as well). The need to additionally coordinate activities with a VA can lead to new communicative challenges and solutions.

Our data stem from a collection of around 10 hours of video recordings from different settings of multi-party social interactions in which a VA is used.

Stephan Habscheid / Tim Hector (Siegen): Smart Speakers in Private Households: Linguistic Practices as a Means of Domesticating Voice-controlled Assistance Technologies

Media technologies in domestic everyday communication and life have been subject of research in media, cultural and linguistic studies for decades. Research on interaction-based, linguistic domestication and media appropriation has investigated e.g. the communicative reception of newspapers, television, and the internet as well as mobile devices (Ayaß/Gerhardt 2012; Hartmann 2013). More recently, networked and data-based technologies in smart homes have also come into focus (e.g. Hector et al. 2023). Here, linguistic appropriation is not only embedded in social interaction, but also in the socio-technical exchange between user and system.

Smart speakers, probably the most prominent of these “smart home technologies”, are used to accomplish (or assist in the accomplishment) of a broad variety of everyday practices, alone and together with other members of the household. This paper examines empirically, how smart speakers are integrated in these, among them “classical” use cases of Intelligent Personal Assistants such as asking for the weather, but also in other processes such as controlling the front door or pre-planning driving routes.

As it turns out, these are not necessarily new practices, but they are carried out in new ways. We want to elaborate the characteristics of these new accomplishments: they are processed via an acoustic channel verbally and sequentially but in a way that is different from language use in social interaction (Habscheid 2022). Analyzing linguistic surfaces to achieve a deeper understanding of how voice controlled media are practically integrated in the everyday routines of single and multi-party household is therefore the central concern of our presentation.

We will do so based on data that were collected in the project “Un/desired Observation in Interaction: ‘Intelligent Personal Assistants’”, using specifically designed data collection technology (Porcheron et al. 2018).

Literatur:
Ayaß, Ruth/Gerhardt, Cornelia (Eds.) (2012): The Appropriation of Media in Everyday Life. Amsterdam: Benjamins.
Habscheid, Stephan (2022): Socio-technical dialogue and linguistic interaction. Intelligent Personal Assistants (IPA) in the Private Home. In: Sprache und Literatur 51 (2), 167–196.
Hartmann, Maren (2013): From domestication to mediated mobilism. In: Mobile Media & Communication 1 (1), 42–49.
Hector, Tim/Waldecker, David/Strüver, Niklas/Aal, Tanja (Eds.) (2023). Taming Digital Practices: On the Domestication of Data-Driven Technologies. Digital Culture & Society. Thematic Issue, Vol. 9, Issue 1/2023.
Porcheron, Martin/Fischer, Joel/Reeves, Stuart/Sharples, Sarah (2018): Voice Interfaces in Everyday Life. In: Mandryk, Regan/Hancock, Mark/Perry, Mark/Cox, Anna (Hg.): Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems – CHI ’18. New York: ACM Press, 1–12.

Users’ Perspectives on the Practical Use Value and Data/Privacy Risks

Chair: Kathrin Englert

 According to a cultural studies perspective, users are not simply following designers’ leads and cues, but develop their own readings and understandings of mediated culture. As domestication research has shown, this media use and its meaning are not only established individually, but against the backdrop of the individual’s household. I.e., it is influenced by other media being used and by other users present in the everyday life of users. This panel aims to understand how users make sense of smart speakers and related technology themselves, but especially of the affiliated data practices that are technically complex and systematically obfuscated by IPA-providing companies.

Dominik Pins (FIT Fraunhofer, St. Augustin) / Fatemeh Alizadeh (Siegen): When Alexa Beats Around the Bush

The proliferation of voice assistants (VAs) in households has become increasingly ubiquitous, with users espousing their interactions as both affirmative and invaluable. However, an equal number of users have voiced concerns and expressed annoyance with the unexpected behavior of the devices. While the General Data Protection Regulation provides users with measures to access data collected by VAs or directly question the device regarding its behavior, the full extent of these transparency measures and their impact on VAs‘ communications with users and their need for explanation remains uncertain. To explore these complex inquiries, we adopted a comprehensive living lab approach that included interviews, fieldwork, and workshops in 33 households and over a three-year period. Our presentation highlights two primary themes of this project. First, we provide nuanced reflections on how users can access and meticulously scrutinize their data using a visualization tool that intricately maps their conversations with VAs. Second, we explain the multifarious challenges that emerge when VAs are directly interrogated about their behavior, which often leads to frustration and perplexity among users. We assert that such voice interactions should prompt users to take proactive measures to improve future interactions, rather than simply seeking immediate explanations. Our study also provides a comprehensive set of design implications to enhance data literacy and enable users to thoughtfully reflect on their interactions with VAs.

Anouk Mols (Rotterdam): Socio-Technical Imagined Affordances and Smart Speakers: Privacy Experiences of Users and Non-Users in the Netherlands

Smart speakers have become part of everyday life in households around the world and can make life more convenient. Smart speakers have become part of intimate domestic contexts and users interact with platforms on a daily basis. The voice-activated affordances of IPAs are connected to (social) media services, household appliances, GPS, and personal accounts. The situatedness of these emerging practices and interactions, the ongoing algorithmically driven changes to the technology, and the possibilities for data collection across platforms and devices make smart speaker use a fascinating case for privacy research. This study combines the findings of focus groups with anticipated smart speaker users (N=35, conducted in 2017) with data from interviews in interconnected families (N=22, conducted in 2021). The aim is to explore the socio-technical imagined affordances that influence privacy experiences around smart speakers. Socio-technical imagined affordances are located in interactions between user attitudes and expectations, technologies, and the intentions and perceptions of designers. In 2017, smart speakers were not yet on the Dutch market. While some potential users expected these devices to bring convenience, most voiced privacy concerns about smart speaker security and the locatability affordance, control-ability and assistance affordances in relation to smart speaker platforms, and surveillance through conversation and recordability affordances. We found that over time, these concerns were still prevalent for non-users in 2021. Yet for smart speaker users, privacy concerns seem to have decreased over time. Privacy concerns revolved more around interpersonal surveillance than commercial surveillance, security concerns were not visible in their everyday use, and platforms seemed to cause no reason for concern. We found that privacy experiences especially changed around smart speakers‘ interactivity affordance.

David Waldecker (Siegen): Mostly Harmless, or Is It? Corporate Data Practices and Everyday Smart-Speaker Use

About ten years after their introduction, smart speakers have lost their status as a novelty household item. As part of large corporate platforms of Amazon, Alphabet/Google and Apple, they are criticized as forefront of the corporate exploitation and expropriation of user’s domestic lives (Turow 2021). They have also been criticized as a means of surveillance of households for police and security agencies. This paper details the results of research with household members concerning their smart speaker use as well as their thoughts and practices concerning the corporate data practices that enable the voice-command infrastructure behind the smart speaker. We interviewed members of 12 households, most of them twice, at the beginning and after a few months of using a smart speaker. The interviews also included show-and-tell episodes were we examined the data interface of the smart assistants together with interview participants.

In this paper, I want to focus on how users understand and deal with corporate data practices. It turns out that users often have an at least basic understanding of these data practices. However, these concerns are often not relevant in situations of use. Based on theoretical tools developed within the Collaborative Research Center, I suggest that the interplay of media and data practices allows the smart speaker to become a boundary object between the domestic and corporate spheres, between users’s everyday lives and the platforms and organizations behind the smart speaker. This separation makes the multi-level “cooperation without consensus” less obvious when users are in the act of using smart speakers. In this sense, users display a certain, pragmatic “fatalism” (Pettenkofer 2017) when it comes to corporate data practices.

References:
Pettenkofer, Andreas. 2017. “Fatalismus. Über eine vernachlässigte Stütze sozialer Ordnung.” Berliner Journal für Soziologie 27 (1): 123–50. https://doi.org/DOI 10.1007/s11609-017-0339-1.
Turow, Joseph. 2021. The Voice Catchers: How Marketers Listen in to Exploit Your Feelings, Your Privacy, and Your Wallet.

Theorizing Voice Assistant Use: Autonomy and Cynicism in the Platform Economy

Chair: David Waldecker

The practices around voice assistants and connected smart-home appliances have been analyzed in various ways. This panel aims at broadening the horizon and includes perspectives on the concepts of autonomy, privacy cynicism and the platform economy with regards to smart-home interaction. Popular voice-based assistants are part of big platform companies. As discussed on the first day of the conference, they try to profit from voice interactions; however, users are also influenced by platforms and they also reflect on how these platforms shape their everyday lives. In this panel, we suggest to examine the relationship of users, platforms with regards to concepts from social theory and philosophy and platform studies.

Niklas Strüver (Siegen): Infrastructures of Privacy: Enforcing Privacy Technology Through User Portrayal in Amazon’s Alexa

During their rise in popularity over the last decade smart speakers have been accompanied by privacy concerns. As Alexa manufacturer Amazon faced critiques and inquiries into their speakers’ privacy properties, their devices adapted in various ways. Prominent examples are the haptic switches and sliders for their Echo devices that disable the devices’ microphones or the possibility to delete recorded phrases. Subsequently, Amazon has attempted to turn these features born out of critique into a selling point for customers, giving users the feeling of being in control over what they share. As West (2022) argues, Amazon sells Alexa’s surveillance as a service. However, Alexa is not solely used in devices manufactured by Amazon. Instead, Alexa serves as an infrastructure and platform (Plantin et al. 2018) for third party developers. This talk will investigate how Amazon passes expectations of privacy on to third party device developers who use Alexa for their own technology.  By portraying the Alexa user as privacy sensitive, Amazon in turn configures (Woolgar 1990) the third party developers to act according to the goals set by Amazon. By analysing Amazons communication and required standards towards third party developers, technological development can be viewed according to the user expectations portrayed by Amazon. It can be shown how Amazon attempts to enforce a form of privacy sensitive technology that is marketed to customers.

References:
Plantin, Jean-Christophe, Carl Lagoze, Paul N. Edwards, e Christian Sandvig. 2018. «Infrastructure Studies Meet Platform Studies in the Age of Google and Facebook». New Media & Society 20(1):293–310. doi: 10.1177/1461444816661553.
West, Emily. 2022. Buy now: how Amazon branded convenience and normalized monopoly. Cambridge: The MIT Press.
Woolgar, Steve. 1990. «Configuring the User: The Case of Usability Trials». The Sociological Review 38(1_suppl):58–99. doi: 10.1111/j.1467-954X.1990.tb03349.x.

Christoph Lutz (BI Oslo): Privacy Cynicism and Digital Resignation in the Context of Smart Speakers

Smart speakers are a key consumer-facing application of artificial intelligence. They have been widely adopted but raise substantial privacy risks, for example in terms of data protection and peer surveillance (Maccario & Naldo, 2023). In the context of other digital technologies, such as social media and e-commerce platforms, extant research has noted privacy cynicism (Hoffmann et al., 2016; Lutz et al., 2020), privacy apathy (Hargittai & Marwick, 2016), surveillance realism (Dencik & Cable, 2017), privacy fatigue (Choi et al., 2018) or digital resignation (Draper & Turow, 2019) as an emerging theme. While slightly different, each of these concepts describes the pronounced power asymmetries between users and institutions, especially digital businesses such as Alphabet/Google, Amazon, and Meta or governments. Users report feelings of powerlessness, uncertainty, mistrust and resignation around their (digital) privacy in relation to these institutions. Based on a survey of smart speaker users in the United Kingdom, Lutz and Newlands (2021) apply such notions of privacy cynicism or digital resignation to smart speakers. However, their analysis does not thoroughly discuss the larger political economy of privacy around smart speakers. In this contribution we address this issue by contextualizing user attitudes of cynicism or resignation in the socio-technical and socio-political eco-system of smart speakers. We reflect on how certain agency constellations, especially cultural, technological, political, and economic ones, foster cynicism as a relatively rational user reaction on the individual level. For example, in technological terms, the opacity of the technology, its interoperability within larger datafication streams, and the intuitive conversational design, which de-prioritizes privacy issues, all create fertile conditions for privacy cynicism. The presentation will go through different contextual factors and agency constellations, thus situating privacy cynicism in the context of smart speakers.

References:
Choi, H., Park, J., & Jung, Y. (2018). The role of privacy fatigue in online privacy behavior. Computers in Human Behavior, 81, 42-51.
Dencik, L., & Cable, J. (2017). The advent of surveillance realism: Public opinion and activist responses to the Snowden leaks. International Journal of Communication, 11, 763-781.
Draper, N. A., & Turow, J. (2019). The corporate cultivation of digital resignation. New Media & Society, 21(8), 1824-1839.
Hargittai, E., & Marwick, A. (2016). “What can I really do?” Explaining the privacy paradox with online apathy. International Journal of Communication, 10, 3737-3757.
Hoffmann, C. P., Lutz, C., & Ranzini, G. (2016). Privacy cynicism: A new approach to the privacy paradox. Cyberpsychology: Journal of Psychosocial Research on Cyberspace, 10(4), article 7.
Lutz, C., Hoffmann, C. P., & Ranzini, G. (2020). Data capitalism and the user: An exploration of privacy cynicism in Germany. New Media & Society, 22(7), 1168-1187.
Lutz, C., & Newlands, G. (2021). Privacy and smart speakers: A multi-dimensional approach. The Information Society, 37(3), 147-162.
Maccario, G., & Naldi, M. (2023). Privacy in smart speakers: A systematic literature review. Security and Privacy, 6(1), e274.

Caja Thimm (Bonn): Whose Autonomy? The Notion of Autonomy Between Discursive Overload and Technological Realities

The growing discourse on so-called learning systems in data analysis and artificial intelligence saw the reemergence of the term “autonomy”. Often used as a non-descript concept to attribute power to machines, it adds to the anthropomorphization of the machines. Robots, social or non-social, cars or bots are described as “autonomous” agents, capable of learning on their own, surpassing the knowledge and power of humans. The attribution of autonomy to these kinds of objects often contradicts the long history of the concept in social theory, philosophy or psychology. Kant, for example, points to autonomy as a normative basis for the relationship between society and the individual. In more recent discourses, however, autonomy has been increasingly linked to the loss of human control over digital media and/or technological artifacts. Many of these processes are connected to a narrative which regards “autonomous agents” as being increasingly embedded in daily routines while diminishing individual autonomy. This line of argument necessitates a reflection on these new agents.

The paper will question the self-evident attribution of the term to digital technologies, while at the same time challenging some of the normative framings created in the discourse of machine ethics. Applying a purely technological approach to the concept of autonomy, it is argued, can also serve as a means to avoid responsibility and as a cover for those with real power over ‘autonomous’ agents, such as companies, political institutions, or programmers.

How deeply some ‘autonomous’ media practices are already embedded in daily routines will be illustrated by a examples from a group of studies  on speech assistants.

This analysis will show that we need a more critical and contexualized debate on the adoption, role and functionality of the concept of autonomy.