زمان تخمینی مطالعه: 3 دقیقه
شرکت متا Code Llama را منتشر کرد، یک مدل زبان بزرگ (LLM) که میتواند از پیامهای متنی برای تولید کد استفاده کند. Code Llama برای LLM های در دسترس عموم در زمینه وظایف کد، پیشرفته است و این پتانسیل را دارد که گردش کار را برای توسعه دهندگان فعلی سریعتر و کارآمدتر کند و موانع سر راه ورود افرادی که در حال یادگیری کدنویسی هستند را کاهش دهد. این پلتفرم این پتانسیل را دارد که به عنوان یک ابزار آموزشی و بهرهوری برای کمک به برنامه نویسان برای نوشتن نرم افزار قویتر و مستندتر استفاده شود.فضای هوش مصنوعی مولد به سرعت در حال تکامل است، به اعتقاد متا یک رویکرد باز به هوش مصنوعی امروزی بهترین راه برای توسعه ابزارهای جدید هوش مصنوعی است که نوآورانه، ایمن و مسئولانه هستند.
نحوه عملکرد Code Llama
Code Llama یک نسخه کد تخصصی از Llama 2 است که با آموزش بیشتر Llama 2 بر روی مجموعه دادههای کد خاص خود ایجاد شده است و دادههای بیشتری از همان مجموعه داده را برای مدت طولانیتری نمونهبرداری میکند. اساساً، Code Llama دارای قابلیتهای کدگذاری پیشرفتهای است که بر روی Llama 2 ساخته شدهاند. این پلتفرم میتواند کد و زبان طبیعی در مورد کد را از هر دو طریق کد و یا زبان طبیعی تولید کند (به عنوان مثال، “یک تابع برای من بنویس که دنباله فیبوناچی را خروجی میدهد.”) همچنین میتوان از آن برای تکمیل کد و اشکال زدایی استفاده کرد. این زبان از بسیاری از محبوبترین زبانهایی که امروزه استفاده میشود، از جمله پایتون، سی پلاس پلاس، جاوا، پی اچ پی، تایپ اسکریپت (جاوا اسکریپت)، سی شارپ و Bash پشتیبانی میکند.
Code Llama در چهار اندازه به ترتیب با پارامترهای 7B، 13B، 34B و 70B منتشر شده است. هر یک از این مدلها با 500B توکن کد و دادههای مرتبط با کد آموزش داده میشوند، به غیر از 70B که روی توکنهای 1T آموزش داده میشود. مدلهای پایه و دستورالعمل 7B و 13B نیز با قابلیت fill-in-the-middle (FIM) آموزش دیدهاند که به آنها اجازه میدهد کد را در کد موجود وارد کنند، به این معنی که میتوانند کارهایی مانند تکمیل کد را مستقیماً پشتیبانی کنند.
سه مدل نیازمندیهای مختلف سرویس دهی و تأخیر را بررسی میکنند. به عنوان مثال، مدل 7B را میتوان روی یک واحد پردازش گرافیکی ارائه کرد. مدلهای 34B و 70B بهترین نتایج را نشان میدهند و کمک کدنویسی بهتری را امکانپذیر میکنند، اما مدلهای کوچکتر 7B و 13B برای کارهایی که به تأخیر کم نیاز دارند، مانند تکمیل کد بلادرنگ، سریعتر و مناسبتر هستند.
Code Llama برای پشتیبانی از مهندسین نرمافزار در همه بخشها – از جمله تحقیقات، صنعت، پروژههای منبع باز، سازمانهای غیردولتی و مشاغل طراحی شده است. اما هنوز موارد استفاده بسیار بیشتری نسبت به آنچه که مدلهای پایه و دستورالعمل ما میتوانند ارائه دهند، وجود دارد. تیم تولید کننده امیدوار است که Code Llama دیگران را تشویق کند تا از Llama 2 برای ایجاد ابزارهای نوآورانه جدید برای تحقیقات و محصولات تجاری استفاده کنند.