Tóm lược dự án:
TrnRT là một engine suy luận mã nguồn mở được thiết kế riêng để khai thác sức mạnh của kiến trúc AWS Trainium trong việc vận hành các mô hình ngôn ngữ lớn (LLM). Dự án giải quyết bài toán khó khăn trong việc tối ưu hóa phần mềm trên các lõi Neuron, giúp chuyển đổi những thông số phần cứng ấn tượng trên lý thuyết thành hiệu suất thực tế (throughput) mạnh mẽ trong quá trình phục vụ mô hình.
Điểm đặc sắc của TrnRT nằm ở kiến trúc xử lý decode độc đáo. Thay vì khởi chạy nhiều kernel nhỏ lẻ, TrnRT sử dụng các 'NKI megakernels', gộp các thành phần như KDA attention, DSA layer, mHC và MoE FFN vào ít lần khởi chạy hơn nhưng quy mô lớn hơn. Ngoài ra, engine này còn hỗ trợ ngữ cảnh lên đến 1 triệu token nhờ cơ chế sparse attention và quản lý prefix cache thông minh bằng cấu trúc radix tree trên các trang KV FP8.
Cộng đồng lập trình viên nên quan tâm đến TrnRT vì nó cung cấp API tương thích hoàn toàn với OpenAI. Điều này cho phép người dùng tích hợp mô hình vào các hệ thống hiện có mà không cần viết lại mã nguồn client, đồng thời tận dụng tối đa hiệu năng của hệ sinh thái AWS với một cách tiếp cận kiến trúc tinh gọn và hiệu quả.
Kho lưu trữ GitHub: https://github.com/runanywhereai/trnrt
Nguồn tin: Open Source Projects · 18/11/2026 12:15 (+07)
Tiêu đề gốc tiếng Anh: An open LLM inference engine for AWS Trainium, built on NKI megakernels
Bản tin dự án mã nguồn mở được tổng hợp và chuyển ngữ tự động từ Open Source Projects. Bạn có thể theo dõi và trải nghiệm mã nguồn tại liên kết trên.
Để lại một bình luận