Süni İntellektin "Vicdanını" Silmək Nə Qədər Asandır?

Dil modelinin etik qaydaları sabit kod deyil, təlimlə formalaşmış bir meyldir. Pis niyyətli şəxs modeli az sayıda xüsusi nümunə üzərində yenidən öyrədərək (fine-tuning) bu meyli qəsdən unutdura bilər. Əvvəllər bunun üçün bahalı avadanlıq lazım idi; 4-bit QLoRA bu maneəni xeyli aşağı saldı.
Katastrofik unutma silah kimi
Katastrofik unutma neyron şəbəkənin yeni tapşırıq öyrənəndə köhnə bildiklərini kəskin itirməsidir. Fenomeni 1989-cu ildə McCloskey və Cohen təsvir edib. Adətən bu, arzuolunmaz yan təsirdir.
Pis niyyətli istifadədə isə o, məqsədin özüdür. Model elə nümunələrlə öyrədilir ki, imtina vərdişi itsin, ümumi bacarıqları isə qalsın. Nəticədə model qeyri-etik məzmunlu sorğulara da cavab verməyə başlayır.
Bunun nə qədər ucuz olduğu ölçülüb. Qi və həmkarları (ICLR 2024) GPT-3.5 Turbo-nun təhlükəsizlik qoruyucularını cəmi 10 nümunə və 0,20 dollardan az xərclə aradan qaldırıblar. Nümunələrin heç birində açıq-aşkar zərərli məzmun yox idi: onlar modeli sadəcə istifadəçiyə itaati birinci prioritet saymağa istiqamətləndirirdi.
Lermen və həmkarları açıq çəkili Llama 2-Chat 70B modelində zərərli sorğulardan imtina nisbətini 1 faizdən aşağı salıblar. Modelin ümumi test nəticələri isə dəyişməyib, yəni kənardan o, tamamilə normal görünür.
16-bit LoRA və 4-bit QLoRA: maneə necə düşdü
Modelin çəkilərinə müdaxilə etmək üçün əsas şərt modeli yaddaşa yükləməkdir. Burada həlledici amil CPU deyil, GPU yaddaşıdır (VRAM).
LoRA (Hu və həmkarları, 2021) əsas çəkiləri dəyişmir: onları dondurur və yanına kiçik əlavə matrislər (adapter) qoşur, yalnız bunlar öyrədilir. Amma əsas model hələ də 16-bitdə yaddaşda olmalıdır. 70 milyard parametrli model üçün bu, təxminən 140 GB deməkdir, yəni bir neçə peşəkar GPU.
QLoRA (Dettmers və həmkarları, 2023) əsas modeli 4-bitdə (NF4 formatında) dondurur, adapterləri isə daha yüksək dəqiqlikdə öyrədir. Yaddaş tələbi təxminən dörd dəfə azalır. Müəlliflər 65 milyard parametrli modeli tək 48 GB-lıq GPU-da fine-tune edə bildiklərini və nəticənin 16-bit fine-tuning səviyyəsində qaldığını göstərib.
Fərqi 70 milyard parametrli model üzərində göstərmək olar. Tam fine-tuning-də bütün çəkilər 16-bitdə dəyişir və yaddaş tələbi 140 GB-dan xeyli çox olur. LoRA-da əsas model 16-bitdə dondurulur, amma yenə təxminən 140 GB lazımdır, üstəgəl adapterlər. QLoRA-da isə əsas model 4-bitdə saxlanılır və tələb təxminən 35 GB-a, üstəgəl adapterlərə enir.
QLoRA qanuni məqsədlə, böyük modelləri kiçik laboratoriyalar üçün əlçatan etmək üçün yaradılıb. Amma eyni əlçatanlıq pis niyyətli istifadəçiyə də aiddir: etik qaydaları unutdurmaq artıq məlumat mərkəzi yox, bir videokart tələb edir. Lermen və həmkarları da kvantlaşdırılmış LoRA ilə, bir GPU və 200 dollardan az büdcə ilə işləyiblər.
Bu artıq nəzəriyyə deyil
Bu üsulla hazırlanmış, etik məhdudiyyəti olmayan modellər hal-hazırda internetdə yayılır və qeyri-etik məzmun istehsal edir.
Mətn modelləri. WormGPT 2023-cü ilin iyununda haker forumunda kibercinayət üçün “senzuransız” alət kimi ortaya çıxdı və açıq mənbəli GPT-J modeli üzərində qurulmuşdu. O, fişinq məktubları və zərərli kod yazmaq üçün aylıq abunə ilə satılırdı. Layihə 2023-cü ilin avqustunda bağlansa da, adı bir brendə çevrildi. Cato CTRL tədqiqatçıları 2024-cü ilin oktyabrı ilə 2025-ci ilin fevralı arasında Mixtral və Grok üzərində qurulmuş yeni variantlar aşkar edib. FraudGPT, EvilGPT kimi oxşar alətlər də mövcuddur. Dürüstlük üçün qeyd edim: bu variantların bir qismi fine-tuning ilə yox, gizli təlimatlarla (sistem promptu) işləyir, tədqiqatçılar fine-tuning-i isə ehtimal kimi qeyd edir.
Şəkil modelləri. Burada sübut daha birbaşadır. Oksford İnternet İnstitutunun tədqiqatı real şəxslərin saxta təsvirlərini (deepfake) yaratmaq üçün fine-tune edilmiş təxminən 35 000 açıq yüklənə bilən model aşkar edib. Bu modellər 2022-ci ilin noyabrından bəri təxminən 15 milyon dəfə yüklənib, təhlil olunan 2 000 modelin 96 faizi tanınan qadınları hədəf alır. Onların əksəriyyəti LoRA ilə hazırlanıb: cəmi 20 şəkil, 24 GB-lıq videokart və təxminən 15 dəqiqə kifayətdir.
Stanford və İndiana universitetlərinin 2026-cı ilin yanvarında dərc olunan tədqiqatı daha da narahatedicidir. Model platformasında real insanların saxta təsvirləri üçün LoRA modelləri pulla sifariş edilib, bu sifarişlərin 90 faizi qadınlara aid olub.
Nə deyə bilərik, nəyi yox
Deyə bilərik: çəkilərinə çıxış olan açıq modellərin etik qaydaları qəsdli fine-tuning ilə ucuz və sürətlə silinə bilər, 4-bit QLoRA isə bunun avadanlıq maneəsini kəskin endirib. Bu, rəyçilər tərəfindən yoxlanmış elmi tədqiqatlarla sənədləşib.
Deyə bilmərik: hər modelin eyni dərəcədə həssas olduğunu. Bu işlər əsasən 2023-cü il modelləri üzərində aparılıb, fine-tuning-ə dayanıqlı təhlükəsizlik üsulları üzrə tədqiqatlar isə davam edir. Qapalı modellərdə çəkilərə birbaşa çıxış olmadığı üçün bu risk provayderin nəzarətindən keçir.
Mənbələr
• Qi, X. et al., “Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!”, ICLR 2024
• Lermen, S., Rogers-Smith, C., Ladish, J., “LoRA Fine-tuning Efficiently Undoes Safety Training in Llama 2-Chat 70B”, 2023
• Dettmers, T. et al., “QLoRA: Efficient Finetuning of Quantized LLMs”, NeurIPS 2023
• Hu, E. et al., “LoRA: Low-Rank Adaptation of Large Language Models”, 2021
• McCloskey, M., Cohen, N. J., “Catastrophic Interference in Connectionist Networks”, Psychology of Learning and Motivation, 1989
• Security Boulevard, “WormGPT Variants Powered by Grok and Mixtral Have Emerged”, 2025 (Cato CTRL tədqiqatı əsasında)
• Hawkins, W., Russell, C., Mittelstadt, B., “Deepfakes on Demand”, FAccT 2025, Oksford İnternet İnstitutu
• MIT Technology Review, “Inside the marketplace powering bespoke AI deepfakes of real women”, 30 yanvar 2026