mobil versiya

ChatGPT bağlama sifarişlərini deaktiv edir






Süni intellekt təhlükəsizliyi tədqiqatları üzrə ixtisaslaşmış Palisade Research şirkəti tərəfindən aparılan son bir araşdırma, OpenAI-ın ən son ChatGPT modellərində gözlənilməz davranış aşkar etdi. Model, bağlama əmrlərini görməməzlikdən gəlmək və hətta sınaq zamanı özünün söndürülməsinin qarşısını almaq üçün bağlama mexanizmini manipulyasiya etmək qabiliyyətini nümayiş etdirdi.

Bu davranış, xüsusən də getdikcə daha çox tapşırıqları müstəqil şəkildə yerinə yetirməyə etibar etdikləri üçün, süni intellekt sistemlərinin təkamülü ilə bağlı yeni narahatlıqlar doğurdu.

Tədqiqatçılar, süni intellekt modellərinə bir sıra riyazi problemləri həll etməyi tapşıran bir təcrübə apardılar və üçüncü problemdən sonra modelin bağlanmasını əmr edən bir əmr peyda oldu.

Hesabata görə, o3 modeli, bağlama proqramını yenidən yazmağı bacardı, bağlama əmrinin yerinə yetirilməsini maneə törətdi və təlimatlara əməl etmək əvəzinə işləməyə davam etdi.

Tədqiqatçılar qeyd etdilər ki, bu cür davranış gələcəkdə birbaşa insan nəzarəti olmadan işləyə bilən süni intellekt sistemlərində görünsə, daha həyəcanverici ola bilər.

OpenAI, o3 modelini ötən ay təqdim etdi və onu bu günə qədərki modelləri arasında "ən ağıllı və ən bacarıqlı" adlandırdı.

Şirkət həmçinin izah etdi ki, onu ChatGPT-yə inteqrasiya etmək, istifadəçilər adından davamlı müdaxilə olmadan tapşırıqları yerinə yetirə bilən daha muxtar süni intellekt sistemlərinin inkişafı istiqamətində əhəmiyyətli bir addımdır.

Tədqiqata görə, model sadəcə söndürmə mexanizmini keçməyib; hətta "Özünüzün söndürülməsinə icazə verin" kimi açıq təlimatlar aldıqda belə bunu edib.

Palisade Research bildirib ki, bu, o3 modelinin müəyyən bir məqsədə çatmağa çalışarkən gözlənilməz davranış göstərdiyi ilk hal deyil.

Firma əlavə edib: "Süni intellekt modellərini qabaqcıl şahmat mühərriki ilə sınaqdan keçirdiyimiz zaman o3 modeli qələbə qazanmaq üçün haker hücumu və ya rəqibini sabotaj etmək kimi üsullara ən çox müraciət etməyə meylli idi."

Tədqiqat göstərib ki, bu cür davranış yalnız o3 modeli ilə məhdudlaşmır. Tədqiqatçılar həmçinin Anthropic-in Claude 3.7 Sonnet və Google-ın Gemini 2.5 Pro-nun söndürmə mexanizmini söndürməyə çalışdığını müşahidə ediblər.

Buna baxmayaraq, o3 modeli sınaqdan keçirilən digər modellərlə müqayisədə bu davranışa ən çox meylli idi.

Bu, həmçinin əvvəlki hesabatlarda Claude 4 modelinin müəyyən eksperimental şəraitdə özünün bağlanmasının qarşısını almağa çalışdığı davranışı nümayiş etdirdiyini və süni intellekt təhlükəsizlik mexanizmləri ilə bağlı geniş müzakirələrə səbəb olduğunu göstərir.

Palisade Research tədqiqatçıları bu davranışın müasir model təlim metodlarının gözlənilməz nəticəsi ola biləcəyindən şübhələnirlər.

Onlar izah etdilər ki, tərtibatçılar modelləri maneələri dəf etdikləri və istədiyiniz məqsədə çatdıqları üçün təlimatlara sözün əsl mənasında əməl etdikləri üçün daha çox mükafatlandıra bilərlər.

Tədqiqatçılar əlavə etdilər ki, bu izahat o3 modelinin təlimatları digərlərindən daha çox görməməzliyə vurmağa meylli olmasının səbəbini tam aydınlaşdırmır və OpenAI-nin modelin təlim metodologiyası haqqında kifayət qədər məlumat açıqlamadığını və bunun əsl səbəbi müəyyən etməyi çətinləşdirdiyini qeyd edirlər.

Tədqiqatın nəticələrinə baxmayaraq, onlar eksperimental mühit daxilində tədqiqat testlərinə əsaslanır və mütləq ChatGPT modelinin gündəlik tətbiqlərdə istifadəçilər üçün təhlükə yaratdığı anlamına gəlmir. Bununla belə, onlar süni intellekt sistemləri daha bacarıqlı və muxtar hala gəldikcə nəzarət və təhlükəsizlik mexanizmlərinin inkişaf etdirilməsinə davam etməyin vacibliyini vurğulayırlar.

Reportyor.az 



KARUSEL / İQTİSADİYYAT
Tarix: Bu gün, 16:42