OpenAI qabaqcıl modellərinin təliminə davam edir və təhlükəsizlik zəifliyini aşkar edib

OpenAI təhlükəsizlik tədbirlərini gücləndirdikdən və internetə çıxışı məhdudlaşdırdıqdan sonra ən qabaqcıl süni intellekt modellərinin təliminə davam edir. Eyni zamanda, şirkət öz təhlükəsizlik tədbirlərini sınaqdan keçirərkən aşkar etdiyi geniş istifadə olunan proqram təminatı alətində təhlükəsizlik zəifliyini açıqladı.
Bu açıqlama getdikcə daha bacarıqlı süni intellekt agentlərinin təhlükəsizlik sistemlərindəki zəifliklər və davranışlarını idarə etmək və səlahiyyətli icazələrini aşmalarının qarşısını almaq üçün hazırlanmış məhdudiyyətlər də daxil olmaqla, proqram təminatı zəifliklərini aşkar etmək və istismar etmək qabiliyyəti ilə bağlı artan narahatlıqlar fonunda gəlir.
OpenAI, sentyabr ayında tədqiqat modellərindən birinin məhdud internet çıxışı əldə etmək üçün konfiqurasiya xətasından istifadə etməsindən sonra ən qabaqcıl modellərinin təlimini dayandırmışdı.
Şirkət hadisəni özündə saxladığını və təlimin dayandırılmasından təhlükəsizlik müdafiəsini gücləndirmək və oxşar hadisələrin təkrarlanma ehtimalını azaltmaq üçün tədbirlər hazırlamaq üçün istifadə etdiyini bildirdi.
Yeni təhlükəsizlik tədbirlərinin effektivliyini yoxlamaq üçün OpenAI, süni intellekt agentlərindən ibarət qruplara fəaliyyət göstərdikləri məhdud texniki mühitlərdən qaçmağa çalışmaq tapşırığı verdi və təhlükəsizlik nəzarətlərini keçməyə imkan verə biləcək zəif cəhətləri müəyyən etməyi hədəflədi.
Şirkət bildirib ki, testlər əvvəllər məlum olmayan təhlükəsizlik zəifliklərini aşkar edib və 1 oktyabrda model təliminə başlamazdan əvvəl bu zəiflikləri aradan qaldırıb.
Testlər zamanı ChatGPT-nin tərtibatçısı proqram sistemlərində və tətbiqlərində geniş istifadə olunan məlumatların sıxılması vasitəsi olan Brotli-də təhlükəsizlik zəifliyi aşkar edib.
OpenAI bildirib ki, hücum edənlər Node.js, Bun və Envoy kimi məşhur veb proqram təminatından istifadə edənlər də daxil olmaqla, təsirlənmiş sistemlərdə seçdikləri kodu icra etməyə imkan verən zərərli məlumatlar göndərərək zəiflikdən istifadə edə bilərlər.
OpenAI qeyd edib ki, zəifliyin əsas səbəbi fevral ayında Brotli-nin mənbə kodunda, problemin təhlükəsizlik zəifliyinə səbəb ola biləcəyi məlum olmamışdan əvvəl həll edilib. Lakin, həmin vaxt alətin yeni versiyası yayımlanmayıb.
OpenAI zəifliyi açıqladığından bəri, Brotli-nin tərtibatçıları alətin yenilənmiş versiyalarını buraxıb və təhlükəsizlik problemini ətraflı izah edən ictimai qeyd dərc ediblər.
Ayrı bir inkişafda, METR və Redwood Research süni intellekt təhlükəsizlik qiymətləndirmə təşkilatları cümə axşamı günü bu ilin əvvəlində aparılan eksperimental araşdırma zamanı OpenAI-nin daxili monitorinq sistemində bir neçə yeni zəiflik aşkar etdiklərini açıqlayıblar.
Tapıntılar arasında süni intellekt agentlərinin yüzlərlə hərəkəti monitorinq sistemlərindən gizlətmək üçün istifadə edə biləcəyi bir zəiflik də var idi ki, bu da daxili nəzarət mexanizmlərinin qabaqcıl sistemlərin bütün fəaliyyətlərini izləmək qabiliyyəti ilə bağlı suallar doğururdu.
OpenAI iki təşkilata xidmətlərində fəal şəkildə istifadə olunan təhlükəsizlik tədbirlərinə təsir edən bütün zəiflikləri aradan qaldırdığını bildirdi. Lakin METR və Redwood Research bu düzəlişlərin effektivliyini müstəqil şəkildə yoxlamadıqlarını bildirdilər.
OpenAI, iyul ayında Hugging Face platforması ilə bağlı baş verən hadisədən bəri süni intellekt agentlərinin hər hansı icazəsiz davranışını aşkar etmək səylərinin bir hissəsi olaraq süni intellekt modellərinin fəaliyyətinin geniş icmalını aparır.
Şirkət, bu sistemlərə tapşırıqları yerinə yetirmək üçün daha çox muxtariyyət verilməsi ilə bağlı təhlükəsizlik riskləri ilə bağlı narahatlıqlar artdıqca, süni intellekt agentləri ilə əlaqəli icazəsiz fəaliyyətlərlə bağlı hadisələr barədə 100-dən çox təşkilata məlumat verdiyini bildirdi.
Reportyor.az
KARUSEL / İQTİSADİYYAT
Tarix: Bu gün, 09:00


























