llama.cpp là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn offline, không cần GPU, và tối ưu để chạy trên CPU – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer).
FORUM ORANGE PI VIỆT NAM MỚI
nơi bạn có thể trao đổi, tìm hiểu và học tập về Orange Pi, Banana Pi, lập trình nhúng, tự động hóa, nhà thông minh, IOT và nhiều nhiều thứ khác ...
Cần trợ giúp khác? Liên hệ tại đây