LLMs-from-scratch download for Linux

This is the Linux app named LLMs-from-scratch whose latest release can be downloaded as LLMs-from-scratchsourcecode.tar.gz. It can be run online in the free hosting provider OnWorks for workstations.

عکس ها

LLM ها از ابتدا

شرح

LLMs-from-scratch یک کدبیس آموزشی است که پیاده‌سازی اجزای مدل زبان بزرگ مدرن را گام به گام شرح می‌دهد. این کتاب بر بلوک‌های سازنده - توکن‌سازی، جاسازی‌ها، توجه، لایه‌های پیش‌خور، نرمال‌سازی و حلقه‌های آموزشی - تأکید دارد، بنابراین زبان‌آموزان نه تنها نحوه استفاده از یک مدل، بلکه نحوه عملکرد داخلی آن را نیز درک می‌کنند. این مخزن، پیاده‌سازی‌های واضح پایتون و NumPy یا PyTorch را که می‌توانند بدون چارچوب‌های سنگین که منطق را مبهم می‌کنند، اجرا و اصلاح شوند، ترجیح می‌دهد. فصل‌ها و دفترچه‌ها از مدل‌های کوچک اسباب‌بازی به پشته‌های مبدل توانمندتر، از جمله استراتژی‌های نمونه‌برداری و قلاب‌های ارزیابی، پیشرفت می‌کنند. تمرکز بر خوانایی، صحت و آزمایش است و آن را برای دانشجویان و متخصصانی که از تئوری به سیستم‌های عملی منتقل می‌شوند، ایده‌آل می‌کند. در پایان، شما درک درستی از نحوه تعامل خطوط لوله داده، بهینه‌سازی و استنتاج برای تولید متن روان خواهید داشت.

امکانات

• پیاده‌سازی‌های گام‌به‌گام بلوک‌های توکن‌ساز، توجه و تبدیل‌کننده
• دفترچه‌های یادداشت و اسکریپت‌های پایتون شفاف که برای یادگیری و کار با آن‌ها طراحی شده‌اند
• حلقه‌های آموزش و نمونه‌برداری که کل داده‌ها و جریان محاسبات را در معرض نمایش قرار می‌دهند
• کاوش‌هایی در مورد انتخاب‌های مقیاس‌بندی، منظم‌سازی و معیارهای ارزیابی
• حداقل وابستگی‌ها برای شفاف نگه داشتن محاسبات و کد
• به عنوان پایه‌ای برای گسترش به مدل‌های بزرگتر و مجموعه داده‌های سفارشی عمل می‌کند.

زبان برنامه نویسی

پــایتــون

دسته بندی ها

این برنامه‌ای است که می‌توان آن را از https://sourceforge.net/projects/llms-from-scratch.mirror/ نیز دریافت کرد. این برنامه در OnWorks میزبانی شده است تا بتوان آن را به ساده‌ترین روش به صورت آنلاین از یکی از سیستم‌های عامل رایگان ما اجرا کرد.