Giới thiệu
Như ở bài trước Giới thiệu về các trợ lý AI đang nổi tiếng hiện nay, [...]
Tiếp tục đọc
Giới thiệu
Một tên tuổi mới ra vừa làm mưa gió trên thị trường AI Agent mã [...]
Tiếp tục đọc
Hướng dẫn
SmolVLM2 là sản phẩm chính thức của Hugging Face, nằm trong chiến lược phát triển [...]
Tiếp tục đọc
Hướng dẫn
Mã nguồn mới này nâng cấp thêm: Mã nguồn nhận diện với tốc độ nhanh [...]
Tiếp tục đọc
Hướng dẫn
Orange Pi 4 Pro là một single board computer (SBC) mạnh mẽ thế hệ mới, [...]
Tiếp tục đọc
SmolVLM2 là sản phẩm chính thức của Hugging Face, nằm trong chiến lược phát triển AI nhỏ gọn, hiệu quả và có thể triển khai everywhere (edge-to-cloud) — tương tự như các dòng mô hình SmoLM (cho văn bản thuần) nhưng mở rộng sang thị giác và video.
Để chạy các mô hình ngôn ngữ lớn (LLM) trên các bo mạch sử dụng SoC RK3588 như Orange Pi 5, 5B hay 5 Plus, 5 Pro 5 MAX, trước đây chúng ta vẫn dùng các phiên bản như RKLLAMA hoặc phiên bản chạy RKLLM sử dụng Gradio. Mặc dù rất mong muốn chạy LLaMA.CPP trên Orange Pi bằng NPU để tối đa hiệu quả của bo mạch Edge AI này, nhưng vẫn chưa có mã nguồn nào đáp ứng việc này. Gần đây, thật tuyệt vời, có 1 bên đã chia sẻ mã nguồn trên github chạy LLaMA.CPP (invisiofficial/rk-llama.cpp) và thế là tôi đã nghiên cứu fork về để cài đặt và hướng dẫn các bạn cùng cài đặt để trải nghiệm LLM trên mã nguồn tốt nhất hiện nay này.
Orange Pi Việt Nam