| عکس | محصول | قیمت | ظرفیت |
|---|
درک ظرفیت مدل
ظرفیت مدل به تعداد پارامترهای موجود در یک مدل هوش مصنوعی اشاره دارد (مثلاً 70B = 70 میلیارد پارامتر). مدلهای بزرگتر عموماً به حافظه و قدرت پردازشی بیشتری نیاز دارند، اما میتوانند استدلال و کیفیت خروجی بهتری ارائه دهند.
دقت (FP16 / FP8 / FP4) بر میزان حافظه مورد نیاز برای یک ظرفیت مدل تأثیر میگذارد: قالبهای با دقت پایینتر تقریباً نیاز حافظه را در هر مرحله کاهش نصف میکنند (FP16 → FP8 → FP4)، که این امر با مقداری کاهش دقت خروجی همراه است.
| اندازه مدل | حافظه معمول (FP16) | حافظه معمول (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |