Video-LLaVA

一个基于深度学习的视频超分辨率（SR）和视频增强（VE）框架，由北京大学元培学院的研究团队开发。该框架旨在提高低分辨率视频的质量和视觉效果，使其更接近高分辨率视频。Video-LLaVA 采用了多尺度融合、残差学习、自适应注意力机制等技术，以提高视频超分辨率和视频增强的性能。

主要特点：
1. 多尺度融合：通过在不同尺度上进行特征融合，提高了模型对细节和全局信息的捕捉能力。
2. 残差学习：引入残差连接，使网络能够更好地学习输入和输出之间的映射关系。
3. 自适应注意力机制：根据输入视频的特点，自动调整注意力权重，使模型能够关注到更重要的区域。
4. 端到端训练：整个框架可以作为一个整体进行端到端训练，简化了模型的训练过程。
5. 支持多种视频格式：Video-LLaVA 支持多种常见的视频格式，如 YUV、RGB 等。