Bài báo “AViSearch: A Multimodal Video Event Retrieval System via Query Enhancement and Optimized Keyframes” đã được chấp nhận đăng tại Hội nghị quốc tế SOICT 2024.
Sinh viên thực hiện:
Nguyễn Hữu Hoàng Long - KHTN2022 - Tác giả chính
Trần Thị Cẩm Giang - KHTN2022 - Tác giả chính
Trần Như Cẩm Nguyên - KHTN2022 - Tác giả chính
Phan Hoàng Phước - KHTN2022 - Tác giả chính
Đặng Hữu Phát - KHTN2022 - Tác giả chính
Nguyễn Tiến Huy - KHTN2022 - Đồng tác giả
Tóm tắt:
Mỗi ngày có hơn hàng triệu video được tạo ra và chia sẻ trên các trang mạng xã hội. Với số lượng video vô cùng lớn, việc phát triển một hệ thống truy xuất sự kiện từ video là điều rất cần thiết. Trước đây, người ta sử dụng các phương pháp truyền thống như OCR và phát hiện đối tượng, phần lớn đều dựa vào metadata. Sau đó, xuất hiện các phương pháp hiện đại hơn, sử dụng các mô hình CLIP và BLIP để đưa truy vấn văn bản với dữ liệu hình ảnh trong video về cùng một không gian tìm kiếm. Tuy nhiên, việc tìm kiếm vẫn chưa thực sự hiệu quả khi truy vấn của người dùng còn mơ hồ, chưa rõ ràng. Do đó, chúng tôi phát triển hệ thống AViSearch, một giải pháp cho cuộc thi AI Challenge HCMC 2024, nhằm giải quyết vấn đề trên. Hệ thống áp dụng các mô hình ngôn ngữ lớn (Gemini) để cải thiện truy vấn của người dùng, làm cho truy vấn trở nên đa dạng và tối ưu hơn. Đồng thời, AViSearch áp dụng các kĩ thuật tối ưu hóa keyframe của video, giúp giảm thiểu chi phí lưu trữ và tăng tốc độ, hiệu quả tìm kiếm. Hơn thế, hệ thống còn tích hợp nhiều kĩ thuật như OCR, ASR, phát hiện đối tượng và tìm kiếm bằng hình ảnh tương đồng, nhằm cung cấp kết quả tìm kiếm chính xác và hiệu quả nhất.
SOICT (Symposium on Information and Communication Technology) là một hội nghị khoa học quốc tế bao gồm các lĩnh vực nghiên cứu quan trọng như AI Foundations and Big Data, Networking and Communication Technologies, Multimedia Processing, Software Engineering, AI Applications, Generative AI, Applied Operations Research and Optimization, Recent Advances in Cyber Security. Hội nghị quốc tế lần thứ 13 SOICT 2024 sẽ được tổ chức tại Thành phố Đà Nẵng do Trường Công nghệ thông tin và Truyền thông - ĐH Bách Khoa Hà Nội, ĐH Khoa học Tự nhiên - ĐHQG Hà Nội và ĐH Bách khoa Đà Nẵng - ĐH Đà Nẵng phối hợp tổ chức vào ngày 13-15 tháng 12 năm 2024. Hội nghị sẽ bao gồm các bài hướng dẫn và bài phát biểu quan trọng do các diễn giả đẳng cấp thế giới trình bày. Kỷ yếu hội nghị sẽ được công bố trong series Communications in Computer and Information Science (CCIS) của nhà xuất bản Springer. Tất cả các công trình nghiên cứu của SoICT 2024 sẽ được lập chỉ mục bởi DBLP, Google Scholar, EI-Compendex, Mathematical Reviews, SCImago, Scopus và được xét duyệt để đưa vào ISI Proceedings.
Thông tin chi tiết:
