Lưu trữ thẻ: AI LLM

Hướng dẫn cài đặt và chạy LLaMA.CPP trên Orange Pi RV2 (RISC-V 64-bit)

llama.cpp là một phần mềm mã nguồn mở được viết bằng C/C++, cho phép chạy các mô hình ngôn ngữ lớn như LLaMA 1/2, Mistral, Falcon… hoàn toàn offline, không cần GPU, và tối ưu để chạy trên CPU – kể cả trên các thiết bị nhỏ như SBC (Single Board Computer).