Kỹ thuật tấn công mạng mới sử dụng mô hình ngôn ngữ OpenAI ChatGPT đã xuất hiện, cho phép kẻ tấn công phát tán các gói độc hại trong môi trường của nhà phát triển.
Nhóm nghiên cứu Voyager18 của Vulcan Cyber đã mô tả phát hiện này trong một tư vấn được công bố ngày 06/06/2023. Trong bài viết của nhà nghiên cứu Bar Lanyado, Ortal Keizman và Yair Divinsky “Chúng tôi đã thấy ChatGPT tạo ra các URL, tham chiếu và thậm chí cả các thư viện code và chức năng không thực sự tồn tại. Những ảo giác mô hình ngôn ngữ lớn (LLM) này đã được báo cáo trước đây và có thể là kết quả của dữ liệu đào tạo cũ.”
Bằng cách tận dụng khả năng tạo mã của ChatGPT, kẻ tấn công sau đó có khả năng khai thác các thư viện mã (package) được chế tạo để phân phối các package độc hại, bypass các phương pháp thông thường như đánh máy hoặc giả mạo.
Cụ thể, Lanyado cho biết nhóm nghiên cứu đã xác định được một kỹ thuật phát tán gói độc hại mới mà họ gọi là “AI package hallucination”. Kỹ thuật này liên quan đến việc đặt câu hỏi cho ChatGPT, yêu cầu một gói để giải quyết vấn đề mã hóa và nhận được nhiều đề xuất gói, bao gồm một số không được xuất bản trong kho lưu trữ hợp pháp.
Bằng cách thay thế các gói không tồn tại này bằng các gói độc hại của riêng chúng, kẻ tấn công có thể đánh lừa người dùng trong tương lai dựa vào các đề xuất của ChatGPT. Bằng chứng về khái niệm (PoC) sử dụng ChatGPT 3.5 minh họa các rủi ro tiềm ẩn liên quan.
Nhóm Vulcan Cyber giải thích “Trong PoC, chúng ta sẽ thấy một cuộc trò chuyện giữa kẻ tấn công và ChatGPT, sử dụng API, trong đó ChatGPT sẽ đề xuất một gói npm chưa được công bố có tên arangodb. Sau đó, kẻ tấn công mô phỏng sẽ xuất bản một package độc hại lên kho lưu trữ NPM để đặt bẫy cho người dùng. Tiếp theo, PoC hiển thị một cuộc trò chuyện trong đó người dùng hỏi ChatGPT cùng một câu hỏi và mô hình trả lời bằng cách đề xuất package ban đầu. Tuy nhiên, trong trường hợp này, kẻ tấn công đã biến gói thành một package độc hại. Cuối cùng, người dùng cài đặt gói và mã độc có thể thực thi.”
Phát hiện các gói độc hại có thể là một thách thức vì các tác nhân đe dọa sử dụng các kỹ thuật xáo trộn và tạo ra các gói trojan chức năng, theo lời khuyên. Để giảm thiểu rủi ro, người dùng nên kiểm tra cẩn thận các thư viện bằng cách kiểm tra các yếu tố như ngày tạo, số lượt tải xuống, nhận xét và ghi chú đính kèm. Bên cạnh đó, cần cẩn trọng với các package đáng ngờ để duy trì bảo mật phần mềm.
Lời khuyên của Vulcan Cyber được đưa ra vài tháng sau khi OpenAI tiết lộ lỗ hổng ChatGPT có thể đã làm lộ thông tin liên quan đến giao dịch thanh toán của một số khách hàng.
