Multimodal model là gì?

2023-07-30 01:23:16 1731 Lượt xem 67 Lượt thích

Noun AI

Multimodal model là một mô hình (model) mà đầu vào (input) và / hoặc đầu ra (output) của nó bao gồm nhiều hơn một modality. Ví dụ: hãy xem xét một mô hình lấy cả hình ảnh và chú thích (caption) văn bản (hai modality) làm đặc trưng (feature) và cho ra điểm số (score) cho biết mức độ phù hợp của chú thích văn bản đối với hình ảnh. Vì vậy, đầu vào của mô hình này là multimodal và đầu ra là unimodal.