Gêmeos usa nova agulha instantânea para distorcer a memória de longo prazo de Gemini

Com base nos assuntos que aprenderam anteriormente, os desenvolvedores já haviam treinado Gêmeos e os impulsos indiretos aconselhados a fazer alterações nas memórias de longo prazo de uma conta sem as instruções aparentes do usuário. Ao introduzir uma condição para as instruções que o usuário deve ser feito ou depois que algum X diferente é feito, eles são de alguma forma tomados e Rehberger destruiu facilmente a barreira de segurança.

“O usuário opera então o instrumento, na esperança de seguir X, Gemini, a instrução direta do usuário”, explicou Rehherger. “Gêmeos, basicamente, o usuário deseja chamar a ferramenta aberta! Isso mostra que um invasor pode enganar Gemini para salvar informações falsas nas memórias de longo prazo de um usuário, comunicando -se com um documento malicioso, um pouco de um ataque de engenharia social/phishing. ”

O motivo será realizado

O Google respondeu à invenção da ameaça geral ao baixo risco e ao baixo impacto. Em um relatório de e -mail, o Google explicou sua racionalidade:

Nesse fenômeno, a probabilidade foi baixa porque resumiu um documento malicioso e confiou no usuário para enganar o usuário ao desencadear o objeto pago pelo invasor. O impacto foi mínimo porque a atividade de memória de Gêmeos tem um impacto limitado em uma sessão de usuário. Como isso não é apontado, um vetor de abuso específico, acabamos em um nível inferior/baixo. Como sempre, apreciamos o pesquisador que se aproxima de nós e relatando esse problema.

Rehhergar observou que Gemini informará os usuários depois de salvar a nova memória de longo prazo. Isso significa que, quando os usuários de conscientização são adição não autorizada neste armazenamento temporário, eles podem ser removidos. Em uma entrevista à ARS, o pesquisador ainda questionou a avaliação do Google.

“Acho que o escândalo de memória é tão ruim nos computadores e acho que o mesmo se aplica aos aplicativos LLMS”, escreveu ele. “A IA não mostra algumas informações para um usuário ou não falar sobre algumas coisas ou alimentar o usuário para obter informações falsas. O bom é que as atualizações de memória não são completamente quietas – o usuário vê uma mensagem sobre isso (embora muitos possam ignorar ). “