llama.cpp là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn offline, không cần GPU, và tối ưu để chạy trên CPU – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer).
THÔNG BÁO TĂNG GIÁ
Do nguyên nhân từ giá DDRRAM tăng cao trên thị trường quốc tế và tỷ giá ngoại tệ tăng so với VNĐ, nên các sản phẩm trong dòng Orange Pi 5 series, Orange Pi 3B sẽ tăng giá từ tháng 8
Cần trợ giúp khác? Liên hệ tại đây