Perceiver IO：可扩展全注意力模型，支持任意模态

Perceiver IO 是一种基于 Transformer 的通用架构，通过不对称注意力机制将高维输入（如图像、视频、音频、点云）映射到低维潜在空间，再通过交叉注意力解码输出任意模态。该模型在 ImageNet 分类、Kinetics-600 视频动作识别、AudioSet 音频事件检测等任务上达到或接近 SOTA，同时参数量和计算量显著低于传统 Transformer。Perceiver IO 的输入和输出均为任意长度的序列，支持分类、生成、分割等多种任务，且无需针对特定模态设计专用编码器。