Prompting Realities

Het Uitbreiden van Prompt Engineering naar Fysieke Realiteiten

De toepassing van LLM's in ons dagelijks leven heeft sinds de doorbraak van ChatGPT in november 2022 aan kracht gewonnen. Hoewel veel aandacht is gericht op manieren om prompts te ontwerpen voor specifieke tekstuele resultaten, is er weinig nadruk op hoe dergelijke iteratieve prompt-engineeringtechnieken kunnen worden uitgebreid voorbij de beperkingen van schermen en naar meer tastbare, fysieke realiteiten. Deze verschuiving kan gebruikers machtigen door het vertrouwde concept van "end-user programming" uit te breiden naar elk type alledaags artefact. Prompting Realities voorziet daarom een ervaringsscenario waarin AI de gezaghebbende rol van ingenieurs en ontwerpers als makers verdeelt onder eindgebruikers. Dit opent nieuwe mogelijkheden om alledaagse producten aan te vechten, te onderbreken, weerstand te bieden of te manipuleren in oneerlijke situaties—niet via een systeem, maar aan de rand van het gebruik.

Een Tastbare Blik op de Toekomst van Alledaagse Interacties

De onderliggende pijplijn werkt met een eenvoudige maar krachtige aanpak: het geven van een nauwkeurige beschrijving van het prototype (functionaliteit, uiterlijk, etc.) aan het large language model. Dit stelt het model in staat om de correspondentie te begrijpen tussen computervariabelen en de effecten die deze kunnen hebben op de realiteit, in relatie tot de functionaliteit van het prototype. Er ligt weinig nadruk op specifieke hardware- of softwareoplossingen die in de huidige prototypes worden gebruikt, aangezien het project zich voornamelijk richt op het bieden van een nieuwe ervaring voor gebruikers in plaats van het introduceren van een nieuw AI-gestuurd systeem. De prototypes maken echter gebruik van verschillende technologieën, waaronder de OpenAI Assistant API, de Telegram Bot Interface en de TU Delft IDE Connected Interaction Kit, die allemaal kunnen worden vervangen door soortgelijke alternatieven.

Het Herverdelen van Agency: De Rol van AI in het Democratiseren van Ontwerp

Prompting Realities verkent de kruising van AI en fysieke computing, waarbij de toepassing van large language models wordt uitgebreid van tekstgebaseerde interacties naar tastbare, real-world contexten. Door gebruikers in staat te stellen AI-gedreven prototypes te bedienen via conversatie-interfaces, verlegt het project de klassieke ideeën over end-user programming, waarbij controle en agency worden herverdeeld van ingenieurs en ontwerpers naar alledaagse gebruikers. Deze verschuiving heeft het potentieel om technologie te democratiseren en biedt mogelijkheden voor weerstand, onderbreking en subversie, waardoor nieuwe wegen voor mens-AI samenwerking worden geopend. Door middel van ervaringsgerichte AI-prototyping daagt het project uit tot speculatieve reflectie over de rol van AI in het vormgeven van onze fysieke en digitale omgevingen, en moedigt het een diepere betrokkenheid aan bij de steeds evoluerende relatie tussen mens en machine.