Sáng ngày 25/05/2023, tại Hội trường Viện Công nghệ thông tin đã diễn ra Hội thảo với chủ đề: Khung phần mềm Nemo cho Trí tuệ nhân tạo tạo sinh (Generative AI) và các mô hình ngôn ngữ lớn” (Large Language Models - LLMs) do PGS.TS Nguyễn Việt Anh - Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam và Tập đoàn Nvidia đồng tổ chức.
Về phía Viện Công nghệ thông tin có sự tham dự của một số lãnh đạo của Viện CNTT như PGS. TS. Nguyễn Trường Thắng - Viện trưởng, PGS. TS. Nguyễn Long Giang - Phó Viện trưởng cùng một số trưởng phòng và lực lượng nghiên cứu tại các phòng liên quan trong Viện CNTT; và một số lượng đông đảo các nhóm nghiên cứu quan tâm tới chủ đề này từ nhiều viện nghiên cứu và trưởng đại học trong khu vực Hà Nội.
Lãnh đạo Viện Công nghệ thông tin cùng các nhóm nghiên cứu tham gia Hội thảo
Nvidia là tập đoàn đa quốc gia, chuyên về phát triển bộ xử lý đồ họa (GPU) và công nghệ chipset cho các máy trạm, máy tính cá nhân và các thiết bị di động. Đến với Hội thảo lần này có Giám đốc công nghệ khu vực ASEAN và châu Đại dương TS. Ettikan Kandasamy Karuppiah, là giám đốc kiêm chuyên gia nghiên cứu phát triển AI và GPU/DPU của Nvidia khu vực châu Á Thái Bình Dương cùng nhiều chuyên gia của tập đoàn về Bigdata, AI…
TS. Ettikan Kandasamy Karuppiah phát biểu tại Hội thảo
Nội dung của Hội thảo lần này xoay quanh các vấn đề về cấu trúc mô hình ngôn ngữ lớn (LLMs), ChatGPT, các hạ tầng cần thiết để triển khai mô hình LLMs, cách sử dụng Framework Nemo của Nvidia. Nemo là tài nguyên mở do Nvidia cung cấp, có thể huấn luyện dữ liệu, tối ưu mô hình ngôn ngữ lớn cho các mục tiêu chuyên biệt tại Việt Nam. Phát biểu tại Hội thảo, TS. Ettikan Kandasamy Karuppiah giới thiệu về mô hình ngôn ngữ lớn, ChatGPT: cấu trúc, hạ tầng, hiệu năng đào tạo; tầm quan trọng của sức mạnh tính toán phần cứng của các GPU Nvidia như A100, H100, trong quá trình đào tạo mô hình LLMs. OpenAI đã sử dụng hàng chục nghìn GPU A100 để đào tạo và vận hành OpenAI ChatGPT. Framework Nemo và các mô hình pre-training của Nvidia hỗ trợ đào tạo các mô hình ngôn ngữ lớn
Cũng trong khuôn khổ buổi Hội thảo, PGS.TS. Nguyễn Trường Thắng, Viện trưởng Viện Công nghệ thông tin đã trao đổi về ưu thế của card GPU Nvidia so với cãng hãng khác trong việc đào tạo các mô hình dữ liệu lớn và AI, cách dựng các mô hình Chat GPT cho tiếng Việt và các lĩnh vực cụ thể chuyên biệt. Bên cạnh đó, Viện CNTT cũng trao đổi về tiềm năng hợp tác giữa Viện và Nvidia trong tương lai sắp tới dựa trên hạ tầng siêu tính toán với bộ chip GPU Nvidia A100 80GB.
Các chuyên gia của Viện CNTT cũng đưa ra những trao đổi về cách xây dựng bộ dữ liệu và đào tạo mô hình ChatGPT chuyên biệt từ các mô hình pre-training như cho tiếng Việt, mô hình cho 1 lĩnh vực cụ thể, hướng dẫn mô hình ngăn chặn các câu trả lời không phù hợp, cách cài đặt, sử dụng hệ thống tính toán hiệu năng cao (HPC) của Viện để đào tạo mô hình.
Toàn cảnh Hội thảo