Để chạy các mô hình ngôn ngữ lớn (LLM) trên các bo mạch sử dụng SoC RK3588 như Orange Pi 5, 5B hay 5 Plus, 5 Pro 5 MAX, trước đây chúng ta vẫn dùng các phiên bản như RKLLAMA hoặc phiên bản chạy RKLLM sử dụng Gradio. Mặc dù rất mong muốn chạy LLaMA.CPP trên Orange Pi bằng NPU để tối đa hiệu quả của bo mạch Edge AI này, nhưng vẫn chưa có mã nguồn nào đáp ứng việc này. Gần đây, thật tuyệt vời, có 1 bên đã chia sẻ mã nguồn trên github chạy LLaMA.CPP (invisiofficial/rk-llama.cpp) và thế là tôi đã nghiên cứu fork về để cài đặt và hướng dẫn các bạn cùng cài đặt để trải nghiệm LLM trên mã nguồn tốt nhất hiện nay này.
Orange Pi Việt Nam