AI 웜은 AI 지원 이메일 클라이언트를 통해 사용자를 감염시킴

퀘이사존

연구원들은 이 Morris II 웜을 성공적으로 테스트하고 두 가지 방법을 사용하여 결과를 발표했습니다.

연구원 그룹은 이메일 클라이언트를 통해 데이터를 훔치고, 악성 코드를 유포하고, 다른 사람에게 스팸을 보내 여러 시스템을 통해 확산될 수 있는 1세대 AI 웜을 만들었습니다. 이 웜은 개발되었으며 널리 사용되는 LLM을 사용하는 테스트 환경에서 설계된 대로 성공적으로 작동합니다. 연구진은 연구 결과를 바탕으로 GenAI 개발자에게 이러한 악성 프로그래밍이 초래할 수 있는 잠재적인 위험에 대한 우려를 공유하도록 조언했습니다. 팀은 연구 논문을 공유 하고 두 가지 방법이 데이터를 훔치고 다른 이메일 클라이언트에 영향을 미치는 방법을 보여주는 비디오를 게시했습니다.

Cornell Tech의 Ben Nassi, Israel Institute of Technology의 Stav Cohen 및 Intuit의 Ron Bitton이 이 웜을 만들었습니다. 그들은 1988년 온라인에서 전 세계적으로 성가신 일을 일으킨 최초의 컴퓨터 웜인 원래 Morris의 이름을 따서 ‘Morris II’라고 명명했습니다 . 이 웜은 Gen AI 앱을 표적으로 삼고 Gemini Pro , ChatGPT 4.0, LLaVA와 같은 AI 모델에 대해 텍스트와 이미지를 생성하는 Gen AI 지원 이메일 도우미를 사용하여 작동합니다 .

이는 AI를 사용하여 독성 콘텐츠를 확산시키는 탈옥 기능 과 유사하게 모델에 대해 사용되는 적대적 자기 복제 프롬프트를 사용하여 작동합니다 . 연구원들은 이러한 생성 AI 엔진으로 이메일 시스템을 만들고 텍스트를 사용하거나 이미지 파일에 포함된 자체 복제 프롬프트를 사용하여 이를 시연했습니다.

텍스트 프롬프트는 LLM을 사용하여 이메일 도우미를 감염시켜 시스템 외부의 추가 데이터를 사용한 다음 GPT-4 또는 Gemini Pro로 전송하여 텍스트 콘텐츠를 생성합니다. 이 콘텐츠는 GenAI 서비스를 탈옥하여 데이터를 훔치는 데 성공합니다. 이미지 프롬프트 방법은 이미지에 자체 복제 프롬프트를 인코딩하여 이메일 도우미가 선전 및 남용이 포함된 메시지를 모든 사람에게 전달하도록 하고, 새로운 이메일 클라이언트를 감염시키고 감염된 이메일을 전달하도록 합니다. 두 프로세스 모두에서 연구원은 신용 카드 정보 및 주민등록번호를 포함하되 이에 국한되지 않는 기밀 정보를 채굴할 수 있었습니다.

통제된 환경에서도 이러한 기능을 수행하는 웜은 더 이상 이론적인 것이 아니며 이러한 악성 프롬프트가 발견될 때마다 효과적인 솔루션을 배포하여 심각하게 검토해야 함을 입증합니다. 이와 같은 연구 논문이 등장하여 영향을 받는 당사자 및 다른 사람들이 시뮬레이션하고 검증할 수 있도록 공유됩니다.

GenAI 리더의 대응 및 억제력 배치 계획

모든 책임 있는 연구원과 마찬가지로 팀도 결과를 Google과 OpenAI에 보고했습니다. Wired는 Google이 연구에 대한 논평을 거부했지만 OpenAI 대변인이 응답했습니다. 이들은 “검증되거나 필터링되지 않은 사용자 입력에 의존해 프롬프트 인젝션 형태의 취약점을 악용하는 방법을 찾은 것으로 보인다”고 말했다. 또한 시스템의 탄력성을 높이고 개발자가 유해한 입력을 사용하지 않도록 하는 방법을 사용해야 한다고 덧붙였습니다.

이러한 방법이 Generative AI 애플리케이션을 감염시키고 사용자 시스템을 손상시킬 수 있다는 점을 고려하면, AI와 NPU가 중요한 PC, 스마트폰, 자동차, 이메일 서비스 용 GPU 및 CPU 에 구현 될 때 이러한 결과가 나옵니다 . 경우에 따라 AI가 탑재된 SSD는 랜섬웨어를 식별하고 제거할 수 있습니다. 그러나 다른 한편에는 악성코드를 생성할 수 있는 웜과 맞춤형 LLM이 있습니다 .

이는 업계가 속도를 조절하고 대중에게 출시되는 모든 genAI 기반 제품에 대해 효과적인 솔루션을 공격하거나 배포하기 위한 대응책을 마련해야 하는 곳입니다. 새로운 솔루션과 혁신은 잠재적으로 새로운 문제를 야기합니다. 이러한 연구에서는 AI 앱의 초기 단계에서 이러한 문제가 노출되고 있으므로 잠재적으로 해를 끼칠 수 있는 GenAI 엔진을 확보하는 것이 우선적으로 고려되어야 합니다.

※ 퀘이사존 공식 기사가 아닌 해외 뉴스/기사를 번역한 것으로, 퀘이사존 견해와 주관은 포함되어 있지 않습니다.