模型选择介绍

以下内容是软件内置AI模型的特性介绍

补帧算法

SVFI集成若干补帧算法，如RIFE、GMFSS、UMSS等

这些算法在不同类型的素材上性能不同，分别用于实拍及动画素材的算法及模型见预设及下方介绍

补帧模型介绍

RIFE：高速，常用的补帧算法

4.25+: 最新一代算法，适用于绝大多数实拍补帧场景
rpr_v7_2.3_ultra: 第三代算法，组合模型，更能适应复杂画面。
rpr_v7_2.3_ultra#2: 组合模型，更能适应复杂画面。
4.6-4.7: 第二代算法，较为流畅，支持非整数倍帧率场景。
4.8: 在动漫素材进行训练的优化模型, 动漫补帧效果更好
4.9: 动漫与实拍素材优化模型, 补实拍效果更好, 速度同上
2.3: 初代经典算法，但与其他模型、选项兼容性差，不支持非整数倍帧率场景。

提示

带有ncnn字样的模型使用ncnnopen in new window作为前向推理框架，其兼容N卡及A卡，不带有此字样的模型无法用于A卡及核显。

ncnn-rife：支持各种显卡版本的RIFE，兼容性好，速度快，质量比RIFE略差。
GIMMVfi: 不错的实拍补帧模型 GIMM-VFIopen in new window
GMFSS：速度慢，动漫补帧质量最高

pg104: 最新的GMFSS动漫模型, 目前最强大的动漫补帧模型
union_v: 结构稳定,画面流畅
basic: 初代GMFSS模型,速度非常慢，模糊略少于union_v模型

注意

该系列模型消耗显存资源较多，不建议使用该系列模型进行4K及以上分辨率的补帧。

如果需要超分补帧同时进行，请勾选输出分辨率设置的先补帧后超分，或手动拆分为两个步骤执行。

若遇到瑕疵加剧的情况，则建议使用默认设置：先超分再补帧

DRBA: 保留动漫原始节奏的补帧模型

DRBA_RIFE_v4.26: 适应动画原始节奏的补帧模型, 速度较快, 配合涡轮加速模式在一些显卡上可以达到实时观看的速度
DRBA_GmfSs_pg: 高质量导出适应动画原始节奏的补帧结果, 速度较慢, 效果稳定.

DRBA效果演示

GIF左侧为输入，右侧为导出效果,可以看见画面中的背景(线性运动部分)在补偿后依然保持线性运动，而画面中的人物(非线性运动部分)依然保持非线性的运动规则

超分算法

提示

使用这些算法需购买专业版DLCopen in new window

目前SVFI支持以下超分算法。

算法名称	适用素材	需要BETA	A卡可用
Anime4K	动漫		√
AnimeSR	动漫		×
realCUGAN	动漫		×
ncnnCugan	动漫		√
waifuCuda	动漫		×
PureBasicVSR	实拍		×
BasicVSR++ T3	实拍	√	×
ATD	实拍	√	×
realESR	通用		×
ncnnRealESR	通用		√
waifu2x	通用		√
TensorRT(ONNX)	通用		×
Compact	通用	√	×
SPAN	通用	√	×

提示

SVFI对动漫素材和实拍素材的定义区分如下：

动漫素材是主要由平面影像图层构成的运动视频片段，每一图层与另一图层的交界清晰。如，手绘2D动画，大多数三渲二画面等。

实拍素材是使用单视点摄影机拍摄的真实世界画面或计算机生成图画，肉眼无法分辨出各个图层与其交界。如，真人电影，3D CG，3D游戏画面等。

特别地，我们认为3D/3G背景+2D人物制作的动画为动漫素材类别。

对超分模型的介绍

realCUGAN

动漫专用效果十分优秀

up2x代表2倍放大，3x,4x类似
pro模型为增强版，详见官方介绍open in new window
带conservative字样的模型是保守类模型
带no-denoise的模型表现不进行降噪
带denoise的模型表现进行降噪,后面的数字代表降噪强度
ncnnCUGAN

CUGAN的NCNN版本(A卡，N卡，I卡通用)，介绍同上

realESR

3D动漫均可用，更适合动漫

RealESRGAN模型倾向于脑补,画面更加清晰,艳丽
RealESRNet模型倾向于涂抹,但画面保持原色彩
带anime标注的模型为动漫超分专用，速度较前两者略快
anime为官方模型，anime_110k为自训练模型
RealESR_RFDN 为自训练超分模型,速度快,适合于动漫输入
ncnnRealESR

realESR的NCNN版本，A卡，I卡，N卡通用

realesr-animevideov3 (比较保守的动漫视频超分模型，速度较快，质量较高)
realesrgan-4xplus (4倍放大模型)
realesrgan-4xplus-anime (4倍动漫放大模型)

AnimeSR

由Tencent ARC Lab开发的动漫超分算法

仅一个四倍放大模型(AnimeSR_v2_x4.pth), 效果相比cugan更保守

BasicVSRPlusPlusRestore

实拍超分算法，效果依赖超分序列长度

提示

该算法仅在公测Beta版本中可用

注意

此系列算法消耗显存较多，建议使用6G以上的显卡

basicvsrpp_ntire_t3_decompress_max_4x 四倍放大去压缩模型t3（推荐使用）
basicvsrpp_ntire_t3_decompress_max_4x_trt 四倍放大去压缩模型t3 (TensorRT加速)（较难编译，不建议使用）

Anime4K

超高速实时动漫超分算法, 较保守

共有6种预设脚本

Anime4K_Upscale_x2 A/B/C/D 均为2倍放大（默认为A）
Anime4K_Upscale_x3 为3倍放大，x4模型类似

自定义Anime4K模型

在安装文件夹models\sr\Anime4K\models可看到.json模型配置文件
以Anime4K_Upscale_x2_A.json为例

{
  "shaders": [
    {
      "path": "Restore/Anime4K_Clamp_Highlights.glsl", "args": []
    },
    {
      "path": "Restore/Anime4K_Restore_CNN_VL.glsl", "args": []
    },
    {
      "path": "Upscale/Anime4K_Upscale_CNN_x2_VL.glsl", "args": ["upscale"]
    }
  ]
}

其中，Anime4K_Clamp_Highlights.glsl和Anime4K_Restore_CNN_VL.glsl为1x恢复算法，对应models\sr\Anime4K\Restore\Anime4K_Clamp_Highlights.glsl。这种模型的args参数需要留空
Anime4K_Upscale_CNN_x2_VL.glsl为2x放大算法，
对应models\sr\Anime4K\Upscale\Anime4K_Upscale_CNN_x2_VL.glsl。这种模型的args参数需要填入upscale
类似于Anime4K_AutoDownscalePre_x2.glsl模型的args参数需要填入downscale
列表顺序即为滤镜实际调用顺序，可以观察模型文件夹自由组合，编辑或新建.json文件生效。

waifu2x

经典保守超分算法

cunet模型用于动漫超分
photo模型用于实拍
anime用于动漫超分
waifuCuda：waifu2x的CUDA实现版本

用于动漫超分，速度与效果和cugan有些许相似

Compact

提示

该算法仅在专业版DLC的公测Beta版本中可用，需要手动前往Steam设置-测试版中选择

一种超分模型结构，一些模型如AnimeJanai基于该结构训练

AnimeJanai

3D动漫均可用，更适合动漫

RealCUGAN的弱化版本，对景深识别差（容易锐化背景），计算量少速度快
速度：UltraSuper > Super > Compact 模型

SPAN

提示

该算法仅在专业版DLC的公测Beta版本中可用，需要手动前往Steam设置-测试版中选择

一种超分模型结构，一些模型系列如Nomos基于该结构训练

TensorRT

对以上部分超分算法的N卡专用加速

cugan全部模型均可加速
real-animevideov3 为RealESR中专门为动漫视频超分准备的模型
RealESRGANv2-animevideo-xsx2 两倍动漫视频超分放大模型
RealESRGANv2-animevideo-xsx4 四倍动漫视频超分放大模型

注意

由于使用TRT处理需要进行预编译，因此初次使用TRT编码时，不要开启大于1的线程数。

如果初次使用报错，请尝试五到六次。

若仍然报错，请联系开发人员。

理论上与非TRT版本效果相同，在个别场景下存在区别

超分模型视觉对比演示

basicvsrpp-ntire-t3-decompress-max-4x 一倍修复模型，对高压缩画面修复效果极佳（速度较慢）

Aniscale Demo 1

2x-AniScale-compact 二倍超分模型，画面细节保留效果很好，涂抹感很低画面锐化低（显存占用较低，速度较慢）

Aniscale Demo 2

同上

realesr-animevideov3-x2

二倍超分模型，画面细节保留效果很好，会有略微的涂抹感画面锐化中等（显存占用较低，速度较快，不建议开启TTA）

自行添加OpenModelDB上的超分模型

SVFI支持自行添加符合要求的超分模型权重。

OpenModelDBopen in new window支持的模型结构如下图

其中与SVFI兼容的有Compact，SPAN，ATD，ONNX（TensorRT）.

示例：新增Compact或Compact模型

搜索Aniscale，可以看到待测模型AniScale-2-Compact

点击进入第一代Aniscale
关注右侧的模型信息Size，64nf代表特征数量（“模型通道数”），16nc代表卷积数量（“模型深度”）

SVFI载入Compact模型的策略如下：
- 模型名带super ultra（来自animejanai），nf=24，nc=8；
- 模型名带ultra（来自animejanai），nf=64，nc=8；
- 默认nf=64，nc=16.
回头点击Aniscale-2-Compact，发现网页没有模型信息说明，那么认为它使用默认的模型结构配置，nf=64，nc=16，
直接下载pth模型到SVFI\models\sr\Compact\models即可使用，若没有该文件夹，请手动新建
导入SPAN模型同理

SVFI目前只能载入nf=48的模型，其他模型暂时不支持。其他魔改模型也不支持

示例：新增TensorRT模型

你也可以添加其他支持的超分模型如AnimeJanaiopen in new window

SVFI支持的超分模型onnx要求满足以下条件：

只有一个输入，维度为[dynamic, 3, dynamic, dynamic]
只有一个输出，维度为[dynamic, 3, dynamic, dynamic]
输入节点名为input，输出节点名为output

放在SVFI\models\sr\TensorRT\models

模型编译说明

模型编译完成后会生成.engine文件，如realesrgan_2x.onnx.540x960_workspace128_fp16_io32_device0_8601.engine说明模型输入大小（切割大小）是540x960，
不同切割大小会导致完全不同的超分速度，因此要谨慎选择切割块大小，尽量不要开启切割块

其他模型规则

esrgan默认状态下只支持nf=64，nb=23的模型，
当模型名称包含anime时，nb会被识别为6；

术语说明

nf => number of features,
nc => number of convs,
nb => number of blocks

对一些放置在超分栏目的特殊模型的介绍

InPaint 去水印模型

提示

该算法仅在专业版DLC的公测Beta版本中可用，需要手动前往Steam设置-测试版中选择

inpaint_sttn_1x: 目前该模型仅支持一倍修复，无超分功能，需配合蒙版功能使用：

开启流程如下：

开启超分功能并选择正确的模型

开启播放器功能

开启蒙版功能

绘制蒙版并保存

该模型会自动识别每块蒙版区域内的静态水印并去除。请务必保证蒙版区域内留有足够的动态变化内容，否则无法自动识别。

注意

该模型对于纯色背景/静态内容上的水印识别及去除性能较差。

点击一键压制开始去水印

InPaint去水印效果演示

建议序列长度大于30

模型选择介绍

# 补帧算法

# 补帧模型介绍

# 超分算法

# 对超分模型的介绍

# realCUGAN

# realESR

# AnimeSR

# BasicVSRPlusPlusRestore

# Anime4K

# 自定义Anime4K模型

# waifu2x

# Compact

# AnimeJanai

# SPAN

# TensorRT

# 超分模型视觉对比演示

# 自行添加OpenModelDB上的超分模型

# 示例：新增Compact或Compact模型

# 示例：新增TensorRT模型

# 其他模型规则

# 对一些放置在超分栏目的特殊模型的介绍

# InPaint 去水印模型

补帧算法

补帧模型介绍

超分算法

对超分模型的介绍

realCUGAN

realESR

AnimeSR

BasicVSRPlusPlusRestore

Anime4K

自定义Anime4K模型

waifu2x

Compact

AnimeJanai

SPAN

TensorRT

超分模型视觉对比演示

自行添加OpenModelDB上的超分模型

示例：新增Compact或Compact模型

示例：新增TensorRT模型

其他模型规则

对一些放置在超分栏目的特殊模型的介绍

InPaint 去水印模型