این یک برنامه لینوکس به نام llama2.c است که آخرین نسخه آن را می‌توانید با نام llama2.csourcecode.tar.gz دانلود کنید. این برنامه را می‌توان به صورت آنلاین در ارائه دهنده خدمات میزبانی وب رایگان OnWorks برای ایستگاه‌های کاری اجرا کرد.
این برنامه با نام llama2.c را به صورت رایگان با OnWorks دانلود و اجرا کنید.
برای اجرای این برنامه این دستورالعمل ها را دنبال کنید:
- 1. این برنامه را در رایانه شخصی خود دانلود کنید.
- 2. در فایل منیجر ما https://www.onworks.net/myfiles.php?username=XXXXX نام کاربری مورد نظر خود را وارد کنید.
- 3. این برنامه را در چنین فایل منیجر آپلود کنید.
- 4. OnWorks Linux آنلاین یا شبیه ساز آنلاین ویندوز یا شبیه ساز آنلاین MACOS را از این وب سایت راه اندازی کنید.
- 5. از سیستم عامل لینوکس OnWorks که به تازگی راه اندازی کرده اید، به مدیر فایل ما https://www.onworks.net/myfiles.php?username=XXXXX با نام کاربری که می خواهید بروید.
- 6. اپلیکیشن را دانلود کرده، نصب و اجرا کنید.
اسکرین شات ها:
llama2.c
DESCRIPTION:
llama2.c یک پیاده‌سازی مینیمالیستی از معماری مدل زبان Llama 2 است که برای اجرا کاملاً با زبان C خالص طراحی شده است. این پروژه که توسط آندره کارپاتی ایجاد شده است، یک چارچوب آموزشی و سبک برای انجام استنتاج روی مدل‌های کوچک Llama 2 بدون وابستگی‌های خارجی ارائه می‌دهد. این پروژه یک خط لوله آموزش و استنتاج کامل را فراهم می‌کند: مدل‌ها می‌توانند در PyTorch آموزش داده شوند و بعداً با استفاده از یک برنامه C مختصر ۷۰۰ خطی (run.c) اجرا شوند. در حالی که از نظر فنی می‌تواند مدل‌های رسمی Llama 2 متا را بارگذاری کند، پشتیبانی فعلی به دقت fp32 محدود می‌شود، به این معنی که استفاده عملی به مدل‌هایی تا حدود ۷B پارامتر محدود می‌شود. هدف llama2.c نشان دادن این است که چگونه یک پیاده‌سازی فشرده و شفاف می‌تواند استنتاج معناداری را حتی با مدل‌های کوچک انجام دهد و بر سادگی، وضوح و دسترسی‌پذیری تأکید کند. این پروژه بر اساس درس‌هایی از nanoGPT ساخته شده و از llama.cpp الهام گرفته است و به جای آن بر مینیمالیسم و ارزش آموزشی نسبت به عملکرد در مقیاس بزرگ تمرکز دارد.
امکانات
- معماری کامل Llama 2 را هم برای آموزش و هم برای استنتاج پیاده‌سازی می‌کند.
- یک موتور استنتاج فشرده ۷۰۰ خطی مبتنی بر زبان C (run.c) ارائه می‌دهد.
- امکان آموزش در PyTorch و اجرای مدل‌ها مستقیماً در C را فراهم می‌کند.
- پشتیبانی از دقت مدل fp32 برای LLM های کوچکتر و در مقیاس آموزشی
- ارائه یک پیاده‌سازی تمیز و بدون وابستگی برای مطالعه و اصلاح آسان
- با الهام از llama.cpp اما طراحی شده برای سادگی و مینیمالیسم
زبان برنامه نویسی
سی، پایتون
دسته بندی ها
این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/llama2-c.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش به صورت آنلاین از یکی از سیستم‌های عامل رایگان ما اجرا کرد.