VinRobotics công bố mã nguồn Quy trình huấn luyện học tăng cường cho khả năng di chuyển của người máy
Dạy một người máy biết đi, giữ thăng bằng và di chuyển trên nhiều loại địa hình khác nhau là một trong những bài toán nền tảng của lĩnh vực người máy. Vì thế, VinRobotics quyết định mở nguồn bộ quy trình huấn luyện học tăng cường (Reinforcement Learning - RL) hoàn chỉnh từ đầu đến cuối, nhằm cho phép các nhà nghiên cứu huấn luyện, tái tạo và tiếp tục phát triển trên nền tảng của VinRobotics, từ đó tiết kiệm thời gian và đẩy nhanh tiến trình hoàn thiện sản phẩm.
Quy trình này là gì?
Bộ Quy trình huấn luyện học tăng cường được xây dựng trên nền tảng mjlab, sử dụng MuJoCo làm công cụ mô phỏng vật lý. Bằng cách kết hợp một API huấn luyện đã được kiểm chứng với hệ thống mô phỏng tăng tốc bằng GPU, bộ quy trình mang đến một khung làm việc gọn gàng, linh hoạt cho việc huấn luyện khả năng vận động của người máy, đồng thời vẫn đảm bảo tốc độ cao và dễ tiếp cận.
Các tính năng nổi bật
Quy trình huấn luyện đến kiểm thử
Một bộ quy trình đơn giản, có khả năng tái lập cao, trong đó chính sách điều khiển (control policy) được huấn luyện trong môi trường mô phỏng MjWarp thông qua cơ chế tối ưu phần thưởng, sau đó được chạy lại trên MuJoCo để kiểm chứng hành vi. Cách tiếp cận này giúp rút ngắn khoảng cách từ ý tưởng đến một bộ điều khiển có thể hoạt động hiệu quả để triển khai thực tế.
Bài toán bám theo vận tốc trên địa hình phẳng và gồ ghề
Bộ Quy trình cung cấp sẵn các tác vụ huấn luyện cho cả điều khiển toàn thân (full-body) và điều khiển phần thân dưới 12 bậc tự do (12-DOF lower-body), giúp người dùng có thể bắt đầu phát triển người máy từ những mô hình nền tảng đã hoạt động, thay vì phải xây dựng mọi thứ từ đầu.
Huấn luyện song song quy mô lớn trên nhiều GPU
Hàng nghìn môi trường mô phỏng có thể được chạy đồng thời và mở rộng trên nhiều GPU, giúp tăng tốc quá trình thử nghiệm và rút ngắn đáng kể thời gian đạt được kết quả.
Xuất mô hình sẵn sàng triển khai
Các chính sách điều khiển sau khi huấn luyện có thể được xuất trực tiếp sang định dạng ONNX để triển khai trong các quy trình mô phỏng sang mô phỏng (sim-to-sim) và từ mô phỏng sang người máy thực tế (sim-to-real), góp phần rút ngắn khoảng cách giữa nghiên cứu và ứng dụng.
Đóng góp cho Cộng đồng Mã nguồn mở
Công trình này được xây dựng dựa trên những đóng góp xuất sắc từ các cộng đồng mã nguồn mjlab, MuJoCo, rsl_rl hay Unitree RL,... Giờ đây, VinRobotics có thể vận dụng, phát triển để đóng góp trở lại thành quả từ các hệ sinh thái này cho cộng đồng phát triển người máy. VinRobotics rất hy vọng sẽ có thể nhận được nhiều những phản hồi, đóng góp và cơ hội hợp tác từ cộng đồng tại Việt Nam và bạn bè quốc tế.
Khám phá ngay kho mã nguồn và tài liệu hướng dẫn tại đường dẫn dưới đây:
👉 Huấn luyện Học tăng cường: https://github.com/VinRobotics/vinrobotics_mjlab
👉 Triển khai Bộ điều khiển: https://github.com/VinRobotics/vinrobotics_mjlab_deploy
Tin liên quan
