Falha no Google Gemini permite criação de resumos maliciosos para phishing invisível

Uma nova técnica de phishing está explorando o Google Gemini for Workspace para enganar usuários ao gerar resumos de e-mail que parecem legítimos, mas que contêm instruções maliciosas escondidas no conteúdo original. A falha foi identificada por pesquisadores e demonstrada por Marco Figueroa, gerente do programa de vulnerabilidades de inteligência artificial da Mozilla, por meio da iniciativa 0din. 
 

O ataque se baseia em uma injeção de comandos invisíveis dentro do corpo do e-mail, utilizando HTML e CSS para esconder o texto com cor branca e tamanho zero. Esse conteúdo não é visível para o usuário na interface do Gmail, mas ainda é processado pelo Gemini ao gerar o resumo da mensagem. Como resultado, o modelo pode incluir mensagens enganosas como alertas de segurança falsos informando que a senha do usuário foi comprometida, além de indicar números de telefone de suporte falsos. 
 

Como não há anexos nem links diretos, os filtros de segurança tradicionais não identificam a ameaça com facilidade. Isso aumenta as chances de o conteúdo malicioso chegar à caixa de entrada e ser interpretado como uma recomendação confiável, já que vem do próprio sistema de inteligência artificial da Google. 
 

Os pesquisadores destacam que a confiança dos usuários no Gemini pode ser explorada por atacantes, transformando um recurso de praticidade em uma arma de engenharia social. Para reduzir o risco, especialistas recomendam a aplicação de filtros que analisem o conteúdo gerado pela IA em busca de termos suspeitos como alertas de segurança, links ou números de telefone. Também é essencial conscientizar os usuários de que resumos gerados por IA não devem ser tratados como alertas definitivos. 
 

O Google afirmou que não encontrou indícios de ataques reais usando essa técnica, mas confirmou que novas proteções estão em desenvolvimento. A empresa também mencionou que seus modelos são continuamente treinados para resistir a esse tipo de manipulação por meio de testes conduzidos por equipes de segurança. 
 

Essa descoberta reforça a importância de manter vigilância constante sobre as novas formas de ataque que surgem com o avanço da inteligência artificial, especialmente quando esses sistemas passam a integrar atividades cotidianas de trabalho e comunicação. 

Fonte: https://www.bleepingcomputer.com/news/security/google-gemini-flaw-hijacks-email-summaries-for-phishing/