使用自定义的超分辨率AI模型

[hooke007]

preview: https://imgsli.com/MTg5MTYy

读前提示：
此帖只是k7sfunc中的模块 UAI_* 的示例说明（面向无法理解wiki文档的用户，但是你必须有mpv的使用基础）
如果你完全理解wiki中k7sfunc的说明，那么你不需要阅读此文。

本文适用人群：
手持最新RTX高端显卡（这次AMD也有份），想尝试近年的AI超分成果在视频播放上的实际表现。

性能警告：
当前近乎99%的炼丹不考虑实时级别的应用场景，所以实际上你可能至少需要 RTX3070 这个等级以上的显卡才能使用余下1%实际可用的小模型进行实时超分（720p x2）。

[hooke007]

食用姿势1

为了进一步简化流程，仓库中直接提供了两个示例vpy脚本供 mpv-lazy 快速使用（不必单独下脚本，已内置于对应的包中），即

• MIX_UAI_DML.vpy（支持任何DX12显卡，需安装vsNV包）
• MIX_UAI_MIGX.vpy（支持任何RDNA显卡，因驱动和依赖问题暂无法使用）
• MIX_UAI_NV_TRT.vpy（仅限nvidia RTX，需安装vsNV包）

将 vpy 文件部署至任意位置，然后在 input.conf 中建立对应的链接，以供运行时启用，例：

Ctrl+Alt+1   vf set vapoursynth="~~/vs/MIX_UAI_DML.vpy"

使用前，请编辑 vpy 内容，自行调整相关预设参数（其它参数的取值和用途参考wiki中的详细解释）。

关于可用的模型：

1. 扩展包 vsNV 内置了来自vsmlrt的部分模型，你可以直接使用它，例：

# 编辑vpy内对应的参数
Model = "RealESRGANv2/animejanaiV2L1.onnx"

2. 这里的内部链接 提供了我收集的社区模型（皆已通过RTX4080的1080p x2测试。）
   下载你想要的到 mpv-lazy/vs-plugins/models 目录下，然后就可以使用它，例：

# 编辑vpy内对应的参数
Model = "Zarxrax_HurrDeblur_SuperUltraCompact_x1_fp32_op14.onnx"

[hooke007]

食用姿势2

我额外创建了mpv Lua脚本的使用方式，适合需要频繁调参或vpy脚本改不明白的用户。

参见 #574

[hooke007]

模型文件补充说明

• 【N卡用户】如果你不喜欢耗时的引擎预生成&你的显卡性能有充足的余量，那就使用 UAI_DML ，虽然它的效率明显差于TRT。
• 对于部分模型，DML使用fp16模型或量化可能产生明显的质量劣化；使用fp32模型进行fp16量化可能出现推理错误。
  （因此从质量上考虑，优选 fp32模型＞fp16模型＞fp32模型fp16量化 ；从速度上考虑，优选 fp16模型＞fp32模型fp16量化＞fp32模型）
• 同型号的 fp32 变体的文件体积是 fp16 的差不多两倍，对DML来说比较影响效率，但对TRT来说，似乎并不明显影响运行效率。
• 【在SRVGGNET架构下】对于RTX4080（1080p x2）2.5MB的模型几乎触碰到性能极限，即使你找到了更大的模型也可能没有尝试的意义。
  • 对于RTX3060（它是720p x2的性能及格线），你所能用的几乎只有体积在500KB以下的模型（ fp32 ）
  • 如果把需求放低到上古DVD超分，那么更弱的RTX2060也可一用
• 对于Anime，如果你没有时间去测试每个模型的实际效果，那就使用 AnimeJaNaiV2 系列。（亦即脚本 SR_ESRGAN_DML.vpy 的默认效果）
• 【A卡用户】我没有A卡。。。
• 我不做任何推荐，因为哈姆雷特，各有所好和评判标准。