Nghiệm thu cấp Bộ đề tài NCKH cấp Bộ mã số B2023-MDA-02 do TS Dương Thị Hiền Thanh làm chủ nhiệm
Trường Đại học Mỏ - Địa chất tổ chức Hội đồng nghiệm thu cấp Bộ đề tài KH&CN cấp Bộ "Nghiên cứu phát triển mô hình học sâu đa phương thức phân tách đồng thời âm thanh và hình ảnh từ dữ liệu đa phương tiện, ứng dụng trong bảo tồn kho tàng ca múa nhạc dân gian Việt Nam" mã số B2023-MDA-02 do TS Dương Thị Hiền Thanh làm chủ nhiệm
Trường Đại học Mỏ - Địa chất tổ chức Hội đồng nghiệm thu cấp Bộ đề tài KH&CN cấp Bộ "Nghiên cứu phát triển mô hình học sâu đa phương thức phân tách đồng thời âm thanh và hình ảnh từ dữ liệu đa phương tiện, ứng dụng trong bảo tồn kho tàng ca múa nhạc dân gian Việt Nam" mã số B2023-MDA-02 do TS Dương Thị Hiền Thanh làm chủ nhiệm
Mã số: B2023-MDA-02
Thời gian thực hiện: 2023-2024 (Gia hạn đến tháng 6/2025)
Chủ nhiệm đề tài: TS Dương Thị Hiền Thanh
Cơ quan chủ trì: Trường Đại học Mỏ - Địa chất
Thời gian nghiệm thu: 14h00' ngày 08 tháng 10 năm 2025 (Thứ Tư)
Địa điểm: Phòng họp Từ Liêm, Trường Đại học Mỏ - Địa chất, Phường Đức Thắng - Quận Bắc Từ Liêm - TP Hà Nội;
Trân trọng kính mời các đại biểu và nhà khoa học quan tâm tới dự.
THÔNG TIN KẾT QUẢ NGHIÊN CỨU ĐỀ TÀI
- Mục tiêu chung
Nghiên cứu phát triển mô hình học sâu đa phương thức phân tách đồng thời âm thanh và hình ảnh từ video.
- Mục tiêu cụ thể:
+ Phát triển phương pháp tự động phát hiện và nhận dạng đối tượng, hoạt động của đối tượng (người, nhạc cụ) từ video trình diễn âm nhạc.
+ Phát triển phương pháp phân tách các nguồn âm thanh khác nhau trong video.
+ Xây dựng được phần mềm tự động phát hiện, nhận dạng các đối tượng (nhạc cụ) và hoạt đông của đối tượng (người), phân tách âm thanh của từng đối tượng trong các video biểu diễn âm nhạc.
Tính mới và sáng tạo:
- Đề tài đã phát triển thành công một mô hình học sâu đa phương thức khai thác đồng thời thông tin âm thanh và hình ảnh để phân tách nguồn âm thanh và phát hiện, nhận dạng đối tượng ảnh xuất hiện trong video, nhận diện hoạt động của người trong video. Mô hình sử dụng phương pháp biểu diễn tensor phù hợp cho các đặc trưng hình ảnh và âm thanh, hình ảnh và sử dụng hàm loss cải tiến có thêm thành phần thể hiện mối tương quan giữa âm thanh và hình ảnh.
- Đề tài đã phát triển thành công một website quản lý thông tin đa phương tiện về các nhạc cụ dân gian Việt Nam.
Kết quả nghiên cứu:
- Các kết quả nghiên cứu của đề tài được đăng tải dưới dạng các ấn phẩm khoa học như bài báo Q1, Scopus, bài báo đăng kỷ yếu hội nghị quốc tế, và được công bố rộng rãi.
- Sản phẩm phần mềm phát hiện, nhận dạng đối tượng (nhạc cụ) và hoạt động của đối tượng (người), phân tách âm thanh của từng đối tượng trong video âm nhạc.
5. Sản phẩm
|
TT |
Sản phẩm đăng ký |
Kết quả thực hiện |
Ghi chú |
|---|---|---|---|
|
I |
Sản phẩm khoa học |
||
|
1 |
01 bài báo được đăng (hoặc chấp nhận đăng) trên tạp chí khoa học trong chỉ mục trích dẫn của WoS, ranking Q1/Q2 |
01 bài báo được đăng trên tạp chí khoa học trong chỉ mục trích dẫn của WoS, ranking Q1 |
|
|
2 |
01 bài báo được đăng (hoặc chấp nhận đăng) trên tạp chí khoa học trong chỉ mục SCOPUS/ESCI |
01 bài báo được chấp nhận đăng trên tạp chí khoa học trong chỉ mục SCOPUS |
|
|
3 |
01 bài báo đăng kỷ yếu hội nghị/hội thảo quốc tế có phản biện |
01 bài báo đăng kỷ yếu hội nghị quốc tế có phản biện tại Đài Loan |
|
|
II |
Sản phẩm đào tạo |
||
|
1 |
Hỗ trợ đào tạo 01 NCS theo hướng nghiên cứu của đề tài |
Hỗ trợ đào tạo 01 NCS: Nguyễn Thị Phương Dung |
|
|
2 |
01 thạc sỹ (luận văn theo hường nghiên cứu của đề tài và được bảo vệ thành công) |
01 học viên cao học bảo vệ thành công tháng 3/2025: Phạm Văn Thắng |
|
|
III |
Sản phẩm ứng dụng |
||
|
1 |
Báo cáo kết quả phân tách các nguồn âm thanh khác nhau trong video, trong đó khai thác được mối tương quan giữa đối tượng, hoạt động của đối tượng và âm thanh. |
Báo cáo theo nội dung đăng ký |
|
|
2 |
Phần mềm tự động phát hiện, nhận dạng đối tượng (nhạc cụ) và hoạt động của đối tượng (người), phân tách âm thanh của từng đối tượng trong video âm nhạc |
Phần mềm theo nội dung đăng ký |
6. Phương thức chuyển giao, địa chỉ ứng dụng, tác động và lợi ích mang
lại của kết quả nghiên cứu
Mô hình học sâu phân tách âm thanh và hình ảnh được tích hợp thành một mô đul xử lý trong website quản lý và truy xuất thông tin âm nhạc dân tộc Việt Nam. Ngoài ra, website còn cho phép người dùng tìm kiếm, truy xuất các thông tin đa phương tiện (hình ảnh, âm thanh, thông tin mô tả,...) về các loại nhạc cụ dân tộc, các loại hình biểu diễn cũng như thông tin nhạc cụ đó hiện đang được lưu giữ tại bảo tàng hay trung tâm văn hóa nào,... Website được xây dựng góp phần quảng bá, bảo tồn kho tàng âm nhạc dân gian Việt Nam.
