یل پری، دانشجوی دکترا در استنفورد و یکی از محققان این پژوهش در گزارشی به وبسایت تک کرانچ گفته است: نمی توان از کد نویسی هوش مصنوعی به عنوان جایگزین مناسب انسانی برای توسعه دهندگان استفاده کرد. افرادی که از این سیستم برای کار های خارج از حوزه تخصصی استفاده می کنند باید مراقب باشند و کسانی هم که برای افزایش سرعت کار خود از این سیستم استفاده می کنند باید با دقت خروجی ها را بررسی کنند.
تمرکز اصلی محققان در این مطالعه روی سیستم تولید کد هوش مصنوعی شرکت OpenAI به نام Codex بوده است. در این تحقیق از ۴۷ توسعه دهنده استفاده شد تا در آزمایشی از Codex در فرایند تکمیل مشکلات مربوط به امنیت استفاده شود. زبان های برنامه نویسی استفاده شده نیز پایتون، جاوا اسکریپت و C بود.
این سیستم که آموزش آن توسط میلیاردها خط کد عمومی انجام شده است میتواند با توجه به کد موجود کدهای دیگر را اضافه کند. به گفته محققان در آزمایش انجام شده آنهایی که از Codex استفاده کرده بودند نسبت به گروه کنترل احتمال استفاده از راه حل های نادرست و ناامنی برای مشکلات برنامه نویسی داشتند. آنها ممکن است تصور کنند پاسخ های ناامن ایجاد شده توسط آنها در مقایسه با افراد گروه کنترل از امنیت بیشتری برخوردار است.
بدین ترتیب فروشندگانی مانند گیت هاب نمیتوانند متوجه وجود نقص های امنیتی که توسط توسعه دهندگان با کد نویسی هوش مصنوعی ایجاد شده، شوند