Tóm lược dự án:
Linger là dự án mã nguồn mở đột phá, cho phép người dùng vận hành một mô hình ngôn ngữ quy mô lớn (125B tham số) ngay trên các thiết bị cá nhân như Mac hoặc PC thông thường, ngay cả với những máy chỉ sở hữu 12 GB VRAM. Dự án giải quyết bài toán nan giải: làm sao để chạy được một 'bộ não' mạnh mẽ tương đương với Claude mà không cần đầu tư những chiếc GPU đắt đỏ hay phụ thuộc vào phí token của các dịch vụ đám mây.
Điểm đặc sắc của Linger nằm ở PolyStrata – một công cụ suy luận MoE (Mixture-of-Experts) thông minh. Thay vì bắt toàn bộ mô hình phải nằm gọn trong GPU, PolyStrata giữ các 'chuyên gia' hoạt động tích cực nhất trên GPU và đẩy phần còn lại vào RAM hoặc SSD. Một bộ định tuyến (router) sẽ chọn lọc các chuyên gia cần thiết cho mỗi token và điều phối chúng linh hoạt giữa các tầng bộ nhớ.\n
Đây là dự án cực kỳ đáng chú ý cho cộng đồng lập trình viên vì nó tối ưu hóa hiệu suất phần cứng một cách triệt để, giúp dữ liệu luôn nằm trên thiết bị của bạn (privacy-first) và mở ra khả năng tiếp cận các mô hình ngôn ngữ 'khủng' với chi phí vận hành bằng không.
Kho lưu trữ GitHub: https://github.com/simplexai-labs/linger
Nguồn tin: Open Source Projects · 20/11/2026 01:14 (+07)
Tiêu đề gốc tiếng Anh: A 125B model on a 12 GB GPU, running locally
Bản tin dự án mã nguồn mở được tổng hợp và chuyển ngữ tự động từ Open Source Projects. Bạn có thể theo dõi và trải nghiệm mã nguồn tại liên kết trên.
Để lại một bình luận