Компьютер видит картинку, слышит голос и читает текст одновременно. Что изменилось с мультимодальными моделями
Раньше работа с нейросетью начиналась с перевода задачи в текст: словами описать, что изображено на фотографии, что сказано на записи, какой пункт в документе важен. Сейчас этот шаг часто можно пропустить — загрузить сам исходник, будь то снимок, аудиофайл, PDF или скриншот, и задать вопрос к нему. В этом и состоит…