Alle hassen meine KI-Kette | c't 3003

Das Looki L1 soll ein besonders datenschutzfreundliches KI-Wearable sein: Daten werden laut Hersteller lokal gespeichert, Cloud-Inhalte für europäische Nutzer in Frankfurt verarbeitet und nach 24 Stunden gelöscht. Trotzdem bleiben entscheidende Probleme. Das sichtbare Privacy Light lässt sich deaktivieren, die Lautstärke der Ansage herunterregeln und sensible Inhalte können offenbar dennoch im KI-Journal auftauchen. Zudem ist die permanente Aufnahme von Audio und Bild in Deutschland auch rechtlich höchst problematisch.

Transkript des Videos

(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)

Guckt mal hier, ich werde ständig durch diese Video-Kette überwacht. Denn dieses kleine KI-Gadget nimmt über die eingebaute Kamera und Mikrofon meinen gesamten Alltag auf und macht daraus eine Zusammenfassung, einen Daily Vlog, gibt mir Infos zu allem um mich rum – also der Traum von jedem Silicon Valley Bro, aber der Albtraum von jedem, dem Datenschutz nur ein bisschen wichtig ist. Ja, ich lebe seit Wochen in einer Black Mirror-Folge und habe auch in vielen Situationen sehr wahrscheinlich gegen geltendes Recht verstoßen. Dazu später mehr. Ich laufe also durch die Stadt und das Teil macht jede Minute ein kurzes Video, vollautomatisch und ohne dass das irgendwer um mich rum mitbekommt. Laut dem kanadischen Hersteller aber datenschutztechnisch allererste Sahne: Es gibt eingebaute Sicherheitsfilter, die Daten werden nicht für KI-Training verwendet und nach 24 Stunden wieder automatisch von der Cloud in Frankfurt entfernt. Tja, warum das aber spätestens auf den zweiten Blick eine Privatsphärenkatastrophe ist und ihr um diese Geräte und auch Leute, die sie tragen, besser einen weiten Bogen machen solltet, bleibt dran.

Liebe Hackerinnen, liebe Internetsurfer, herzlich willkommen hier bei...

KI-Kette mit Kamera

Ja, wenn ihr unseren Kanal hier schon länger verfolgt, erinnert ihr euch vielleicht noch an die Omi-Kette, die Keno eine Woche lang durch den Verlag getragen hat und die alles permanent aufgenommen hat und in die Cloud zum Transkribieren geschickt hat. Das war datenschutzrechtlich auch schon eine Vollkatastrophe, aber zumindest nur auf der Audioebene. Jetzt gibt es seit einigen Monaten mit dem Looki L1 eine ganz neue Kategorie von kleinen, unauffälligen Wearables, die permanent mithören und eben auch mitsehen. Und die lassen sich ganz regulär in Deutschland kaufen über einen eigenen Shop für 221 Euro. Die Firma sitzt, wie gesagt, in Kanada, also kein chinesisches Drop-Shipping-Produkt, und eigentlich würde ich mir so ein Gerät privat ehrlich gesagt eher ungern um den Hals hängen. Aber ich bin ja Journalist und neugierig und wollte das mal ausprobieren. Immerhin kommen ja gerade immer mehr solche Geräte auf den Markt, ob jetzt in Brillenform oder eben als Anstecker. OpenAI, also die Macher von ChatGPT, sind da ja auch scheinbar sehr interessiert daran, dass bald viele mit ihrem KI-Gadget rumrennen. Und ich sage mal so: Das hier ist vermutlich noch die datenschutzfreundlichste Variante. Das Unternehmen gibt sich zumindest auf den ersten Blick als sicherer Hafen für Nutzerdaten.

Ich habe dieses Teil Anfang Mai eingerichtet und ich sage mal so: Das war die letzte unkomplizierte Sache an diesem Gerät. App herunterladen, koppeln, fertig. Keine Frickelei und auch Updates kommen regelmäßig an. Und dann liegt da halt dieses Ding: Es ist 32 Gramm leicht, kleiner als eine Streichholzschachtel, hat eine 4K-Fotokamera und filmt in 1080p, hat drei Mikrofone, und die Videos und Bilder sehen halt genauso aus, wie man es von einer Kamera in der Größe erwarten würde. Nicht zu gut, aber auch nicht zu schlecht. Ja, und dieses Teil hängt man sich dann entweder um den Hals oder klemmt es an das Shirt. Neben den zwei Knöpfen und dem Touchfeld gibt es noch dieses Privacy Light, das soll immer leuchten, wenn das Teil gerade am Aufnehmen ist. Gut, das lässt sich aber halt einfach in den Einstellungen ausschalten und da hilft dann auch der Hinweis „Achtet aber bitte auf die rechtliche Situation in eurem Land“ nicht viel. Aber dazu später auch noch mehr.

Der Life-Log im Alltag

Ich habe das Teil dann auf jeden Fall erstmal umgehangen und geschaut, was es so aus meinem meistens schon eher schreibtischlastigen Alltag macht. Das Herzstück ist der sogenannte Life-Log. Das Gerät macht automatisch alle paar Minuten kurze Videoclips. Wie oft und lang könnt ihr selbst einstellen, entweder adaptiv, also die KI entscheidet, wann was Spannendes passiert, oder fest: von jede Minute 5 Sekunden bis alle 5 Minuten 15 Sekunden. Und dann kriegt jeder dieser Schnipsel automatisch einen Titel verpasst. Und die sind, na ja, „Passing through the station“, „Tech-focused remote team collaboration“. Die KI arbeitet tatsächlich nur auf Englisch. Die App lässt sich zwar auf Deutsch einstellen, aber das Large Language Model geht nur auf Englisch, Französisch, Spanisch und Mandarin. Und das ist schon schwach. Also gerade, wenn man das eh alles KI-generieren lässt, sollte das ja eigentlich gar kein großer Akt sein, in den internen Prompt noch eine Zeile für andere Sprachen reinzupacken. Ich habe mal testhalber Claude, Gemini und ChatGPT ein paar der Texte mit dem Prompt „Gib das in Deutsch aus“ übersetzt, und das war vollkommen brauchbar.

Am Ende des Tages baut die App dann automatisch einen Daily Vlog, und die Qualität hängt komplett davon ab, wie ihr das Ding getragen habt. Um den Hals und damit rumgelaufen, dann kommen wirklich brauchbare, teils richtig coole Sachen bei raus. Nur an der Tasche baumeln lassen: schon deutlich weniger cineastisch. Und wenn es so wie bei mir halt ziemlich oft einfach auf dem Schreibtisch liegt, ja, dann kriegt ihr eben einen Daily Vlog über eure Zimmerdecke – sehr meditativ. Die Kamera selbst ist übrigens auch kein Wunderwerk: Bei Tageslicht okay, aber sobald es dunkler wird, rauscht das ordentlich. Für schnelle Schnappschüsse reicht's, aber euer Handy macht bessere Fotos, klar. Auch egal, ob ihr jetzt ein aktuelles Flaggschiff habt oder ein iPhone 8.

Datenverarbeitung und Datenschutz

Vielleicht fragt ihr euch: Aber nimmt das Ding wirklich immer auf, also auch in sehr intimen Situationen, wenn man nichts anhat und so? Ja, da komme ich gleich noch zu. Aber wie ich am Anfang schon meinte: Das Teil hier ist vermutlich noch die datenschutzfreundlichste Variante von diesen Geräten, und auf dem Papier stimmt das sogar. Alles wird erstmal lokal und verschlüsselt auf dem Gerät gespeichert. Das hat dafür 32 GByte internen Speicher. Der Cloud-Upload ist optional, euch stehen da gratis 1 TByte Speicher zur Verfügung. Was in der Cloud verarbeitet wird, läuft für europäische Nutzer über Rechenzentren in Frankfurt und soll nach 24 Stunden wieder gelöscht werden. Eure Daten werden laut Hersteller auch nicht zum Trainieren von KI-Modellen benutzt, und es gibt sogar aktive Schutzmechanismen: Das Gerät sagt beim Aufnahme-Start hörbar Bescheid („Video recording“), es hat ein Privacy Light, das leuchtet, während gefilmt wird, und ein Filter soll verhindern, dass bestimmte Inhalte überhaupt erfasst werden. Klingt doch alles ganz vernünftig, oder?

Ja, bis man genauer hinguckt. Denn diesen Ansagesound könnt ihr in den Systemeinstellungen einfach komplett runterdrehen, und das Privacy Light, also das einzige sichtbare Signal für alle anderen Menschen, dass hier gerade gefilmt wird, das lässt sich mit zwei Klicks in den Einstellungen abschalten. Zwei Klicks! Damit ist aus dem „Wir wollen bewusst sichtbar sein“-Gerät eine astreine versteckte Kamera geworden, und zwar ganz ohne Bastelei, einfach direkt ab Werk. Und der Filter? Der Hersteller verspricht spezielle Firewall-Filter, die unangemessenen Content vor der KI-Verarbeitung herausfiltern sollen, und sie geben auch relativ ausführlich Auskunft darüber, was die da eigentlich drunter verstehen, also Zigaretten und Nacktheit zum Beispiel. Gut, ich habe das natürlich ausprobiert, und das hat nicht lange gedauert, bis diese Raucherpause hier auf der Dachterrasse in meinem Journal aufgetaucht ist. Noch problematischer ist aber ja wahrscheinlich für viele der Umgang mit Nacktheit, und auch das wollte ich ausprobieren und habe einfach mal Porn laufen lassen, während ich diese Kette getragen habe. Und auch das ist in meinem Journal als Comic gelandet, wurde also definitiv von der KI verarbeitet. Und damit ist dieses ganze Privatsphäreversprechen eigentlich auch schon ziemlich obsolet, weil diese Filter einfach nicht zuverlässig arbeiten. Und auch wenn sich der Hersteller sichtbar mehr Mühe gibt bei Privatsphäre, am Ende bleibt es halt ein KI-Gadget, das in Deutschland juristisch gesehen äußerst heikel ist. Am Ende gibt's noch eine rechtliche Einordnung, da können nämlich ganz schön empfindliche Strafen drohen, wenn man sich so ein Teil umhängt.

KI-Journal und Sprachassistent

Gut, neben dem ganzen Beschriften und Sortieren sorgt diese KI-Verarbeitung vor allem auch für das Journal. Und da baut die KI aus meinem Tag Comics. Also ähnlich wie beim Rabbit R1 wird hier die schlechte Kameraqualität etwas umgangen, indem man einfach KI-Zeichnungen ausgibt. Hier sehe ich mich beim Schneiden, hier mein Essen, hier Kollegen beim Mittagessen, meinen Arbeitsplatz, und dazwischen wechselt der Stil auch einfach mal, ohne dass ich irgendwas gemacht hätte, von Comic auf Minecraft-Optik. Was die KI dabei allerdings nicht so gut hinkriegt: mein Gesicht. Auf manchen Bildern habe ich eine Glatze, auf anderen plötzlich wieder volles Haar. Die KI ist sich da einfach nicht ganz sicher, wie ich aussehe, und das, obwohl ich ganz am Anfang ein Foto von mir beim Einrichten gemacht habe.

Und dann schreibt die KI noch so Bildunterschriften dazu, super schnulzige, absolut typische KI-Bildunterschriften: „Work stays on the big screen while you sneak a peek at the small one.“ Ja, danke, Looki. Ich wusste gar nicht, dass mein Arbeitsalltag so poetisch ist. Und ja, ich weiß, das sieht jetzt erstmal alles ganz nett aus, ist es an manchen Stellen auch. Und ich kann mir auch gut vorstellen, dass ich mit einer lokalen Bild-KI auch mal so einen Journaleintrag von Urlaubsfotos machen lasse. Aber das Teil sieht ja nicht nur mich, da werden eben auch alle Menschen in meinem Umfeld verarbeitet, hier zum Beispiel das ganze 3003-Team beim Mittagessen.

Das Ding funktioniert auch als Sprachassistent. Also ihr drückt hier in der Mitte drauf und fragt dann zum Beispiel: „Was ist das für eine Pflanze, die ich hier gerade sehe?“, und dann kriegt ihr eine Antwort. („Das wirkt am ehesten wie eine junge Linde. Vielleicht...“). Ihr kriegt auch allgemeinen Kontext zu dem, was da gerade vor euch ist. Das funktioniert im Prinzip wie eine Chatbot-App. („Die Blätter sehen breit und handförmig aus.“). Nur es passiert eben auch ungefragt über Agents, die man in der App anlegt, und da wird's dann kurios. Ich war zum Beispiel hier bei Heise im Verlag und dann erzählt mir die KI, wo eigentlich der Name c’t herkommt. Ja, danke, ich arbeite ja da. Ich habe mir mal ein alkoholfreies Bier liefern lassen, sofort Infos zur Brauerei. Und dann der persönlich für mich beste Moment: Ich habe mich mit jemandem über Wacken unterhalten, ich war da überhaupt nicht und wollte da auch nicht hinfahren. Die KI war sich aber sicher, dass ich hinfahren werde, und hat mir dann empfohlen, eine große Powerbank aus dem Verlag einzupacken für ein Festival, auf das ich gar nicht gehen wollte. Und das nicht nur einmal, also diese Agent-Ansagen kommen immer wieder. Als ich in Magdeburg war, hat mich das Ding permanent gefragt, ob ich nicht langsam mal zurück nach Hannover will. Hatte ich längst gebucht, den Zug, wusste die KI aber nicht. Und das größte Problem am Assistenten: Er merkt sich nicht, was er euch schon erzählt hat. In meinem Büro hängt ein Poster von einem Kurt-Krömer-Auftritt, und ich habe mehrmals die Woche Infos zu Kurt Krömer bekommen. Jede Woche, weil da halt ein Poster von ihm hängt, genau wie die Fritzbox an der Wand und mein Times-Square-Bild. Wenn ihr eine Weltreise macht und jeden Tag was Neues seht, okay, dann ist das vielleicht spannend, aber im normalen Alltag, wo sich euer Umfeld halt nicht so krass ändert, wird das sehr schnell sehr redundant.

Juristische Fallstricke

Ich habe am Anfang ja schon gesagt, dass ich mit diesem Gerät sehr wahrscheinlich mehrfach gegen geltendes Recht verstoßen habe, und das war kein Gag. Ich habe mal in unserem Justiziariat nachgefragt, und die raten sehr davon ab, dieses Teil dauerhaft mit sich rumzutragen.

„Also, wenn man so ein automatisch aufzeichnendes Wearable trägt, dann sehe ich vor allem zwei Rechtsgebiete betroffen oder zumindest rechtliche, die kritisch sein könnten. Das ist zum einen das Datenschutzrecht und das Strafrecht. Wenn man so ein Wearable beispielsweise mit auf die Arbeit nimmt, dort über seine Kollegen oder seinen Chef oder den problematischen Kunden redet, werden dort auch zwangsläufig personenbezogene Daten verarbeitet. Und dann ist man nicht mehr im privaten Bereich, sondern dann greift voll die DSGVO mit allen Verpflichtungen und Konsequenzen. Und wenn man sich da nicht an die DSGVO hält oder Verstöße begeht, dann ist es eben so, dass Bußgelder drohen oder eben auch Schadensersatzansprüche von betroffenen Personen. Aber auch im nicht beruflichen, privaten Bereich kann es schwierig werden, denn da greift das Strafrecht. Denn dann ist es eben möglich, dass man das nicht öffentlich gesprochene Wort aufzeichnet. Und diese Aufzeichnung kann strafbar sein bis zu drei Jahren. Darüber hinaus, wenn man höchstpersönliche Lebensbereiche filmt beispielsweise, im Arztzimmer, in der Umkleide oder im Badezimmer, dann kommt hier auch eine Strafbarkeit in Betracht. Vor allem im Hinblick auf die Strafbarkeit, wenn die Privacy-LED eben nicht an ist, weiß ich ja nicht, dass ich aufgenommen werde, und dann ist es natürlich hochproblematisch.“

Jede Aufnahme von identifizierbaren Personen ist eine Datenverarbeitung, und die braucht eine Rechtsgrundlage. In der Praxis bleibt da eigentlich nur die Einwilligung, die muss aber informiert erfolgen, dokumentiert sein und jederzeit widerrufbar. Und ja, das ist halt einfach nicht machbar, wenn man so ein Ding trägt.

Fazit: Alltagstauglich oder Gefahr?

Und deshalb, um den Kreis zu schließen: Ich glaube echt nicht, dass da so schnell eine deutsche Sprachversion kommt. Warum sollte man ein Produkt lokalisieren, das im Zielmarkt praktisch nicht legal betrieben werden kann?

Mein Fazit: Technisch gesehen hält das Ding tatsächlich, was es verspricht. Das muss man fairerweise sagen. Anders als beim gescheiterten Humane AI Pin funktioniert hier das Konzept. Keine Abokosten, gutes Tragegefühl, die Zusammenfassungen treffen den Ton oft erstaunlich gut. Und der größte Unterschied zum Humane AI Pin: Das ist eigentlich gar kein Assistent, mit dem man redet, das ist in erster Linie ein Capturing-Device, das euch das Fotografieren und Filmen abnehmen soll. Und trotzdem, ich werde das Gerät natürlich nicht weiter benutzen, aus einem sehr einfachen Grund: Es ist hier schlicht nicht erlaubt, und meine Daten sind mir persönlich ein bisschen mehr wert als einfach komfortabel einen Comic über mein Leben zu bekommen.

Und jetzt der Teil, der mir eigentlich am meisten Sorgen macht: Das hier ist nicht das letzte Gerät dieser Art. Die Meta Ray-Ban läuft schon millionenfach durch die Gegend, OpenAI arbeitet an eigener Hardware, und der Looki L1 ist, wie gesagt, noch die vergleichsweise datenschutzfreundlichste Variante. Und selbst bei dem lässt sich die Aufnahme-LED mit zwei Klicks abschalten. Wir gewöhnen uns gerade Stück für Stück daran, permanent von den Geräten anderer Leute erfasst zu werden, und das passiert leise, nicht durch eine große Entscheidung, sondern durch tausend kleine Gadgets, die halt irgendwie ganz praktisch sind. Deshalb ganz konkret: Wenn ihr so was an jemandem seht, dann fragt nach. Ihr habt jedes Recht dazu. Und wenn ihr selbst mit so was rumlauft, dann sagt bitte Bescheid vorher. Wir brauchen dafür echt dringend ein gesellschaftliches Bewusstsein, bevor diese Dinge irgendwann normal werden, nicht erst danach. Wie seht ihr das? Würdet ihr euch neben jemanden setzen, der so ein Ding trägt? Schreibt's gerne mal in die Kommentare. Ich bin gespannt. Tschüss!

c't 3003 ist der YouTube-Channel von c't. Die Videos auf c't 3003 sind eigenständige Inhalte und unabhängig von den Artikeln im c't Magazin. Die Redakteure Jan-Keno Janssen, Lukas Rumpler, Sahin Erengil und Pascal Schewe veröffentlichen jede Woche ein Video.

(rum)