9. 多模态AI将成为新常态。苹果公司的Ferret和特斯拉的FSD正在引领潮流。但挑战也会随之而来。视觉、听觉，甚至是感觉?
曾经，专家们一度非常有信心。
CogAgent作为在CogVLM基础上改进的开源视觉语言模型，拥有更多的功能和性能优势。它支持更高分辨率的视觉输入和对话答题，能够处理超高分辨率图像输入。
除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。
1）选择一张图片，