Multimodal AI

Modelos multimodais mapeiam tipos diferentes de dados em uma representação compartilhada, então você pode entregar a um deles uma captura de tela e uma pergunta e receber uma resposta em texto. O efeito prático é que quadros brancos, PDFs e voz viram entradas válidas, o que elimina a etapa de transcrição em um monte de fluxos de trabalho.

Na prática: Fotografar um gráfico quebrado em uma apresentação e perguntar o que há de errado com ele.