llama.cpp là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn offline, không cần GPU, và tối ưu để chạy trên CPU – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer).
THÔNG BÁO TĂNG GIÁ
Do nguyên nhân tử tỉ giá USD tăng cao và giá RAM tăng cao trên thị trường quốc tế, nên các sản phẩm trong dòng Orange Pi 5 series sẽ tăng giá từ tháng 8
Cần trợ giúp khác? Liên hệ tại đây