Trường CNTT&TT mang đến cho các học giả, nghiên cứu sinh và sinh viên quan tâm seminar đến từ Nguyen Ho Minh Duy, Planck Research School for Intelligent Systems (IMPRS-IS) & University of Stuttgart.
Thời gian: 10:00, ngày 15/08/2025
Thông tin bài trình bày
Scaling Multi-Modal Learning: Hybrid Representations and Efficient Adaptation
Mở rộng quy mô học đa phương thức: các phương pháp biểu diễn lai và thích ứng hiệu quả
Abstract
Multi-modal LLM has transformed AI’s ability to learn from rich, multi-modal input, spanning images, text, structured records, and more. Yet real-world domains like healthcare and scientific discovery demand not only accuracy, but also scalability, robustness, and efficiency. This talk will present recent advances in scalable multi-modal learning with a focus on hybrid discrete–continuous representations that bridge structured knowledge and high-dimensional signals. We will discuss algorithmic designs that integrate combinatorial structures into neural networks via differentiable relaxations, enabling end-to-end training across heterogeneous modalities. On the efficiency side, we will cover parameter-efficient fine-tuning and model/data compression strategies (e.g., token merging) that adapt large multi-modal foundation models to new domains at minimal computational cost. Applications will include medical vision–language models and optimizing/accelerating large language models, illustrating how these techniques advance both predictive performance and interpretability while making deployment feasible in resource-constrained settings.
Các mô hình ngôn ngữ lớn đa phương thức (Multi-modal LLM) đã tạo ra một cuộc cách mạng cho khả năng học hỏi của AI từ những nguồn đầu vào phong phú và đa dạng bao gồm: hình ảnh, văn bản, dữ liệu có cấu trúc, v.v. Tuy nhiên, các lĩnh vực trong thực tiễn như y tế và khám phá khoa học không chỉ đòi hỏi sự chính xác mà còn yêu cầu cao về khả năng mở rộng, tính ổn định và sự hiệu quả. Bài trình bày này sẽ giới thiệu những tiến bộ gần đây trong lĩnh vực học đa phương thức có khả năng mở rộng, tập trung vào các phương pháp biểu diễn lai kết hợp giữa rời rạc và liên tục (hybrid discrete-continuous representations). Các phương pháp này giúp kết nối kiến thức có cấu trúc với các tín hiệu đa chiều phức tạp. Chúng tôi sẽ thảo luận về những thiết kế thuật toán giúp tích hợp các cấu trúc tổ hợp vào mạng nơ-ron thông qua các phép xấp xỉ khả vi, cho phép huấn luyện mô hình end-to-end trên nhiều loại dữ liệu khác nhau. Bài trình bày cũng sẽ đề cập đến các phương pháp tinh chỉnh tối ưu tham số và các chiến lược nén mô hình/dữ liệu (ví dụ: gộp token). Những kỹ thuật này giúp thích ứng các mô hình nền tảng đa phương thức lớn cho các lĩnh vực mới với chi phí tính toán tối ưu. Các ứng dụng thực tiễn sẽ được minh họa, bao gồm mô hình thị giác ngôn ngữ trong y học và việc tối ưu hóa/tăng tốc các mô hình ngôn ngữ lớn. Các kỹ thuật này không chỉ nâng cao hiệu suất dự đoán và cải thiện khả năng diễn giải của mô hình, mà còn giúp việc triển khai trở nên khả thi ngay cả trong các môi trường có tài nguyên hạn chế.
Duy Nguyen
Ph.D. candidate
Planck Research School for Intelligent Systems (IMPRS-IS)
University of Stuttgart
Bio
Duy Nguyen is a PhD candidate at the Max Planck Research School for Intelligent Systems (IMPRS-IS) and the University of Stuttgart, Germany. His research focuses on multi-modal learning, combining hybrid discrete-continuous methods, optimal transport, and graph-based algorithms with applications in AI for Healthcare, AI for Science, and Efficient deep learning. He obtained his Master’s degree in Computer Science at Saarland University and Max-Planck-Institut für Informatik (MPI-INF). During his studies, he was a visiting researcher at the University of California, San Diego (UCSD) and the ETH AI Center, ETH Zurich. Duy Nguyen is also selected into the Final lists AI Newcomers 2023 by the Federal Ministry of Education and Research (BMBF), Germany. Until now, he has published several papers at top-tier conferences such as AAAI, CVPR, NeurIPS, ICML, ICLR, etc. Besides research, he is also a mentor of several Vietnamese students and helps them to get PhD offers at top universities such as UIUC, Polytechnic Institute of Paris, and NUS. https://duyhominhnguyen.github.io/
Đăng ký tham dự
