Khung NVIDIA NeMo

Thông số kỹ thuật

• Tên sản phẩm: Khung NVIDIA NeMo
• Nền tảng bị ảnh hưởng: Windows, Linux, macOS
• Phiên bản bị ảnh hưởng: Tất cả các phiên bản trước 24
• Lỗ hổng bảo mật: CVE-2025-23360
• Điểm cơ sở đánh giá rủi ro: 7.1 (CVSS v3.1)

Hướng dẫn sử dụng sản phẩm

Cài đặt bản cập nhật bảo mật:
Để bảo vệ hệ thống của bạn, hãy làm theo các bước sau:

1. Tải xuống bản phát hành mới nhất từ ​​trang Bản phát hành NeMo-Framework-Launcher trên GitHub.
2. Truy cập NVIDIA Product Security để biết thêm thông tin.

Chi tiết cập nhật bảo mật:
Bản cập nhật bảo mật giải quyết lỗ hổng trong NVIDIA NeMo Framework có thể dẫn đến thực thi mã và dữ liệuamper.

Nâng cấp phần mềm:
Nếu bạn đang sử dụng bản phát hành nhánh cũ hơn, bạn nên nâng cấp lên bản phát hành nhánh mới nhất để giải quyết vấn đề bảo mật.

Quaview

NVIDIA NeMo Framework là một khuôn khổ AI tạo ra có khả năng mở rộng và gốc đám mây được xây dựng cho các nhà nghiên cứu và nhà phát triển làm việc trên Mô hình ngôn ngữ lớn, Đa phương thức và AI giọng nói (ví dụ Nhận dạng giọng nói tự động Và Chuyển văn bản thành giọng nói). Nó cho phép người dùng tạo, tùy chỉnh và triển khai hiệu quả các mô hình AI tạo mới bằng cách tận dụng mã hiện có và các điểm kiểm tra mô hình được đào tạo trước.

Hướng dẫn thiết lập: Cài đặt NeMo Framework

Quản lý dữ liệu
Người quản lý NeMo [1] là một thư viện Python bao gồm một bộ các mô-đun để khai thác dữ liệu và tạo dữ liệu tổng hợp. Chúng có thể mở rộng và được tối ưu hóa cho GPU, khiến chúng trở nên lý tưởng để quản lý dữ liệu ngôn ngữ tự nhiên để đào tạo hoặc tinh chỉnh LLM. Với NeMo Curator, bạn có thể trích xuất hiệu quả văn bản chất lượng cao từ dữ liệu thô mở rộng web nguồn dữ liệu.

Đào tạo và tùy chỉnh

NeMo Framework cung cấp các công cụ để đào tạo và tùy chỉnh hiệu quả LLM và các mô hình đa phương thức. Nó bao gồm các cấu hình mặc định để thiết lập cụm tính toán, tải xuống dữ liệu và siêu tham số mô hình, có thể được điều chỉnh để đào tạo trên các tập dữ liệu và mô hình mới. Ngoài việc đào tạo trước, NeMo hỗ trợ cả các kỹ thuật Điều chỉnh tinh chỉnh có giám sát (SFT) và Điều chỉnh tinh chỉnh hiệu quả tham số (PEFT) như LoRA, Ptuning, v.v.

Có hai tùy chọn để khởi chạy chương trình đào tạo trong NeMo – sử dụng giao diện API NeMo 2.0 hoặc với NeMo Run.

• Với NeMo Run (Khuyến nghị): NeMo Run cung cấp giao diện để hợp lý hóa cấu hình, thực hiện và quản lý các thử nghiệm trên nhiều môi trường tính toán khác nhau. Điều này bao gồm khởi chạy các tác vụ trên máy trạm của bạn cục bộ hoặc trên các cụm lớn - cả SLURM được kích hoạt hoặc Kubernetes trong môi trường đám mây.
  • Huấn luyện trước & PEFT Quickstart với NeMo Run
• Sử dụng API NeMo 2.0: Phương pháp này hoạt động tốt với thiết lập đơn giản liên quan đến các mô hình nhỏ hoặc nếu bạn muốn viết trình tải dữ liệu tùy chỉnh, vòng lặp đào tạo hoặc thay đổi các lớp mô hình của riêng mình. Nó cung cấp cho bạn nhiều tính linh hoạt và khả năng kiểm soát hơn đối với các cấu hình và giúp bạn dễ dàng mở rộng và tùy chỉnh các cấu hình theo chương trình.
  • Tràining Quickstart với NeMo 2.0 API
  • Di chuyển từ NeMo 1.0 sang NeMo 2.0 API

Căn chỉnh

• NeMo-Aligner [1] là một bộ công cụ có thể mở rộng để căn chỉnh mô hình hiệu quả. Bộ công cụ này hỗ trợ các thuật toán căn chỉnh mô hình tiên tiến như SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF) và nhiều thuật toán khác. Các thuật toán này cho phép người dùng căn chỉnh các mô hình ngôn ngữ để an toàn hơn, vô hại hơn và hữu ích hơn.
• Tất cả các điểm kiểm tra NeMo-Aligner đều tương thích chéo với hệ sinh thái NeMo, cho phép tùy chỉnh và triển khai suy luận sâu hơn.

Quy trình làm việc từng bước của cả ba giai đoạn của RLHF trên mô hình GPT-2B nhỏ:

• Đào tạo SFT
• Đào tạo mô hình khen thưởng
• Đào tạo PPO

Ngoài ra, chúng tôi còn chứng minh khả năng hỗ trợ cho nhiều phương pháp căn chỉnh mới lạ khác:

• DPO: một thuật toán căn chỉnh nhẹ hơn so với RLHF với hàm mất mát đơn giản hơn.
• Tự chơi Tinh chỉnh (SPIN)
• Chỉ đạoLM: một kỹ thuật dựa trên SFT có điều kiện, với đầu ra có thể điều khiển được.

Tham khảo tài liệu để biết thêm thông tin: Tài liệu căn chỉnh

Mô hình đa phương thức

• NeMo Framework cung cấp phần mềm được tối ưu hóa để đào tạo và triển khai các mô hình đa phương thức tiên tiến trên nhiều danh mục: Mô hình ngôn ngữ đa phương thức, Nền tảng ngôn ngữ thị giác, Mô hình chuyển văn bản thành hình ảnh và hơn thế nữa là Tạo 2D bằng Trường tỏa sáng thần kinh (NeRF).
• Mỗi danh mục được thiết kế để đáp ứng các nhu cầu và tiến bộ cụ thể trong lĩnh vực này, tận dụng các mô hình tiên tiến để xử lý nhiều loại dữ liệu, bao gồm văn bản, hình ảnh và mô hình 3D.

Triển khai và suy luận
NeMo Framework cung cấp nhiều đường dẫn khác nhau để suy luận LLM, đáp ứng các tình huống triển khai và nhu cầu hiệu suất khác nhau.

Triển khai với NVIDIA NIM

• NeMo Framework tích hợp liền mạch với các công cụ triển khai mô hình cấp doanh nghiệp thông qua NVIDIA NIM. Tích hợp này được hỗ trợ bởi NVIDIA TensorRT-LLM, đảm bảo suy luận được tối ưu hóa và có thể mở rộng.
• Để biết thêm thông tin về NIM, hãy truy cập NVIDIA webđịa điểm.

Triển khai với TensorRT-LLM hoặc vLLM

• NeMo Framework cung cấp các tập lệnh và API để xuất mô hình sang hai thư viện suy luận được tối ưu hóa là TensorRT-LLM và vLLM, và để triển khai mô hình đã xuất bằng NVIDIA Triton Inference Server.
• Đối với các tình huống yêu cầu hiệu suất được tối ưu hóa, các mô hình NeMo có thể tận dụng TensorRT-LLM, một thư viện chuyên biệt để tăng tốc và tối ưu hóa suy luận LLM trên GPU NVIDIA. Quá trình này bao gồm việc chuyển đổi các mô hình NeMo sang định dạng tương thích với TensorRT-LLM bằng mô-đun nemo.export.
  • Triển khai LLM đã kết thúcview
  • Triển khai các mô hình ngôn ngữ lớn NeMo với NIM
  • Triển khai các mô hình ngôn ngữ lớn NeMo với TensorRT-LLM
  • Triển khai NeMo Large Language Models với vLLM

Các mô hình được hỗ trợ

Mô hình ngôn ngữ lớn

Mô hình ngôn ngữ thị giác

Nhúng mô hình

Mô hình nền tảng thế giới

Ghi chú
NeMo cũng hỗ trợ đào tạo trước cho cả kiến ​​trúc khuếch tán và tự hồi quy text2world mô hình nền tảng.

AI giọng nói

Phát triển các mô hình AI đàm thoại là một quá trình phức tạp bao gồm việc xác định, xây dựng và đào tạo các mô hình trong các miền cụ thể. Quá trình này thường đòi hỏi nhiều lần lặp lại để đạt được mức độ chính xác cao. Nó thường bao gồm nhiều lần lặp lại để đạt được độ chính xác cao, tinh chỉnh các tác vụ khác nhau và dữ liệu cụ thể theo miền, đảm bảo hiệu suất đào tạo và chuẩn bị các mô hình để triển khai suy luận.

NeMo Framework cung cấp hỗ trợ cho việc đào tạo và tùy chỉnh các mô hình AI giọng nói. Bao gồm các tác vụ như Nhận dạng giọng nói tự động (ASR) và tổng hợp Văn bản thành giọng nói (TTS). Nó cung cấp quá trình chuyển đổi mượt mà sang triển khai sản xuất cấp doanh nghiệp với NVIDIA Riva. Để hỗ trợ các nhà phát triển và nhà nghiên cứu, NeMo Framework bao gồm các điểm kiểm tra được đào tạo trước hiện đại, các công cụ để xử lý dữ liệu giọng nói có thể tái tạo và các tính năng để khám phá và phân tích tương tác các tập dữ liệu giọng nói. Các thành phần của NeMo Framework cho AI giọng nói như sau:

Đào tạo và tùy chỉnh
NeMo Framework chứa mọi thứ cần thiết để đào tạo và tùy chỉnh các mô hình giọng nói (ASR, Phân loại giọng nói, Nhận dạng người nói, Nhật ký của diễn giả, Và TTS) theo cách có thể tái tạo được.

Các mô hình được đào tạo trước của SOTA

• NeMo Framework cung cấp các công thức nấu ăn hiện đại và các điểm kiểm tra được đào tạo trước của một số ASR Và TTS mô hình cũng như hướng dẫn cách tải chúng.
• Công cụ phát biểu
• NeMo Framework cung cấp một bộ công cụ hữu ích cho việc phát triển các mô hình ASR và TTS, bao gồm:
  • Bộ chỉnh nha cưỡng bức NeMo (NFA) để tạo ra thời gian cấp mã thông báo, từ và phân đoạnampgiọng nói trong âm thanh bằng cách sử dụng mô hình Nhận dạng giọng nói tự động dựa trên CTC của NeMo.
  • Bộ xử lý dữ liệu giọng nói (SDP), một bộ công cụ để đơn giản hóa việc xử lý dữ liệu giọng nói. Nó cho phép bạn biểu diễn các hoạt động xử lý dữ liệu trong một cấu hình file, giảm thiểu mã lệnh chuẩn và cho phép tái tạo và chia sẻ.
  • Trình khám phá dữ liệu giọng nói (SDE), một Dash dựa trên web ứng dụng để khám phá và phân tích tương tác các tập dữ liệu giọng nói.
  • Công cụ tạo tập dữ liệu cung cấp chức năng căn chỉnh âm thanh dài files với các bản ghi tương ứng và chia chúng thành các đoạn ngắn hơn phù hợp cho việc đào tạo mô hình Nhận dạng giọng nói tự động (ASR).
  • Công cụ so sánh để các Mô hình ASR so sánh các dự đoán của các mô hình ASR khác nhau về độ chính xác của từ và mức độ phát âm.
  • Người đánh giá ASR để đánh giá hiệu suất của các mô hình ASR và các tính năng khác như Phát hiện hoạt động bằng giọng nói.
  • Công cụ chuẩn hóa văn bản để chuyển đổi văn bản từ dạng viết sang dạng nói và ngược lại (ví dụ “31st” so với “thirty first”).
• Đường dẫn triển khai
• Các mô hình NeMo đã được đào tạo hoặc tùy chỉnh bằng NeMo Framework có thể được tối ưu hóa và triển khai bằng NVIDIA Riva. Riva cung cấp các container và biểu đồ Helm được thiết kế riêng để tự động hóa các bước triển khai bằng nút nhấn.

Tài nguyên khác

Ngôn ngữ lập trình và Khung

• Trăn: Giao diện chính để sử dụng NeMo Framework
• Pytorch: NeMo Framework được xây dựng dựa trên PyTorch

Giấy phép

• Kho lưu trữ NeMo Github được cấp phép theo giấy phép Apache 2.0
• NeMo Framework được cấp phép theo THỎA THUẬN SẢN PHẨM AI của NVIDIA. Bằng cách kéo và sử dụng vùng chứa, bạn chấp nhận các điều khoản và điều kiện của giấy phép này.
• Bộ chứa NeMo Framework chứa các tài liệu Llama được quản lý theo Thỏa thuận cấp phép cộng đồng Meta Llama3.

Chú thích
Hiện tại, hỗ trợ NeMo Curator và NeMo Aligner cho các mô hình Đa phương thức vẫn đang trong quá trình hoàn thiện và sẽ sớm khả dụng.

Câu hỏi thường gặp

H: Làm sao tôi có thể kiểm tra xem hệ thống của tôi có bị ảnh hưởng bởi lỗ hổng bảo mật này không?
A: Bạn có thể kiểm tra xem hệ thống của mình có bị ảnh hưởng hay không bằng cách xác minh phiên bản NVIDIA NeMo Framework đã cài đặt. Nếu phiên bản thấp hơn 24, hệ thống của bạn có thể bị tấn công.

H: Ai đã báo cáo sự cố bảo mật CVE-2025-23360?
A: Vấn đề bảo mật đã được Or Peles – JFrog Security báo cáo. NVIDIA ghi nhận sự đóng góp của họ.

H: Tôi có thể nhận thông báo về bản tin bảo mật trong tương lai bằng cách nào?
A: Truy cập trang Bảo mật sản phẩm NVIDIA để đăng ký nhận thông báo về bản tin bảo mật và luôn cập nhật về các bản cập nhật bảo mật sản phẩm.

Tài liệu / Tài nguyên

Khung NVIDIA NeMo [tập tin pdf] Hướng dẫn sử dụng Khung NeMo, NeMo, Khung

Tài liệu tham khảo

• Hướng dẫn sử dụng