Skip to content

景深融合:输入、执行与结果生命周期 ​

景深融合算法原理 ​

景深融合将一组不同焦点的本地图片融合为一张图像。独立窗口和本地流程节点共同调用 ColorVision.Core.FileFusion,读取磁盘文件,不使用编辑器未保存的修改或流程连续采集帧。算法不依赖远端服务;流程图像结果登记仍依赖已有流程批次和 MySQL。

不同焦点的图片在不同位置包含清晰细节。当前算法先为每张图计算局部清晰度,再在同一像素位置对各帧强度作加权融合。输入应保持同一视场和位置,并按焦点顺序、近似等间隔采集;尺寸相同不代表已配准,当前不会自动对齐、去重影或控制电机采集。

焦点堆栈按局部清晰度融合三张同视场图像中,近处、中间和远处区域分别最清晰。每个位置建立跨帧清晰度权重,融合图综合三处细节。示意不表示执行了自动配准或取得真实深度。按焦点顺序输入同视场图片帧 1帧 2帧 3逐位置选焦归一化权重融合图像每个像素的权重可以不同 输出仍是一张普通 8-bit 图像
示意强调同一位置跨帧比较清晰度;没有从权重直接输出深度图,也不生成 CIE 标定数据。

局部清晰度与权重 ​

令第 k 张输入的归一化灰度图为 Gk=Gray(Ik)/255,Bw 表示边界复制的 w×w 局部均值,则:

Fk=Bw[(Gk−Bw(Gk))2]

这里先减去局部均值,再对平方偏差作局部平均;纹理起伏较大的位置通常得到较高的清晰度值。FocusWindow 同时控制这两次局部均值。高噪声也会抬高清晰度,因此清晰度不是独立的物理焦距或计量分辨率。

当图组张数 P<2×FocusStep+1 时,使用普通清晰度加权。每个颜色通道独立套用同一组灰度权重:

Iout(x,y)=∑k=1Pwk(x,y)Ik(x,y)∑k=1Pwk(x,y),wk=Fk

例如两帧某像素强度为 80、120,清晰度权重为 1、3,则输出为 (80+3×120)/4=110。若所有清晰度之和不大于 10−6,该位置改用输入平均强度,避免无纹理区域变成黑斑。

图数足够时,先在清晰度峰附近按 FocusStep 取样,建立当前实现的对称高斯峰拟合。将其与所有帧的实际清晰度比较,得到归一化平均绝对误差;按 ConsistencyWindow 平滑后,记为 E,再计算:

S=−20log10⁡(max(E,10−6)),ϕ=1+tanh⁡(α(S−T))2α

T 是 Threshold,单位 dB。S 衡量清晰度曲线与该拟合模型的符合程度,不是融合图与真值图比较所得的 PSNR。ϕ 经过固定 3×3 中值滤波后,用归一化清晰度 F~k=Fk/maxjFj 形成权重:

wk=12+12tanh⁡[ϕ(F~k−1)]

再代入加权融合公式。无法形成有效高斯峰时赋予低可信度并偏向多帧混合。调低阈值通常使选焦更集中,调高则增加混合;该行为还受纹理、噪声和 α 影响,不是线性锐化控制。

执行融合 ​

  1. 在 Solution 文件树中右键单个现有文件夹,选择 景深融合。
  2. 使用 添加文件 或拖入文件补充列表,通过上移、下移、移除和清空调整焦点顺序。
  3. 选择计算模式;需要调节时打开 融合参数…,通过通用属性编辑器修改参数,确认后生效,取消不更改。点击 执行融合。运行期间文件列表、计算模式、参数入口和执行按钮禁用。
  4. 成功后显示“融合结果”标签;没有停靠面板时打开独立窗口。窗口不会自动保存文件,需要保存时使用图像编辑器的输出操作。

流程中添加 自定义节点 → 景深融合(LocalFileFusionNode)。它有一个 IN 和一个 OUT,输入连接负责触发执行,图片来源取自节点属性:

属性含义
输入方式Folder 读取文件夹,FileList 使用有序文件列表
输入文件夹只读取直接子文件,按文件名自然排序,不递归
有序文件列表通过通用集合编辑器添加文件并调整顺序;STN 使用 JSON 保存,文件名中的逗号不会拆分路径
计算模式Auto、CPU、GPU、GPUAsync
结果目录留空使用当前用户 LocalAppData/ColorVision/Results/Fusion;不得等于任一输入文件的父目录

例如:开始 → 景深融合 → 十字定位 → 结束。每次执行保存一张带唯一名称的 PNG,以现有图像结果类型 100 登记,并通过 SetCurrentFrame 交给后续本地节点。MasterId 指向图像记录,MasterValue 和记录 FileUrl 指向保存后的图片。远端节点仍按自己的文件访问及结果引用契约工作,不因本地保存而自动获得远端文件可见性。

窗口和流程节点使用同一组参数,默认值保持清晰度窗口 5、可信度平滑窗口 3、拟合间隔 2、α=0.2、阈值 13。窗口参数编辑器按“常用/高级”分类,提供作用说明与恢复默认值;窗口摘要显示本次设置,耗时列表保存每次执行的参数,便于调参比较。流程节点将参数随 STN 保存,并将实际执行参数写入结果记录的 Params.FusionOptions。

参数默认与允许范围调节含义
清晰度窗口 FocusWindow(常用)5;3–31 的奇数控制两次局部均值的邻域。小窗口保留细小纹理,大窗口使选焦更平稳,但可能跨越深度边缘;可先比较 3/5/7/9
选焦可信度阈值 Threshold(常用)13 dB;0–60调低偏向最清晰帧,调高增加多帧混合以抑制噪声,可能变软;可先比较 10/13/16。这不是曝光阈值
拟合取样间隔 FocusStep(高级)2 帧;1–1024在清晰度峰附近选取相隔指定帧数的样本。不是电机步距,也不跳过输入图片;要求输入按焦点顺序、近似等间隔采集
可信度平滑窗口 ConsistencyWindow(高级)3;3–31 的奇数平滑拟合误差;调大减少零散的选焦变化,但扩大区域过渡。与清晰度窗口独立
选择性系数 Alpha(高级)0.2;0.01–1通常调小偏向最清晰帧,调大增加混合;同时影响阈值过渡与选择强度,不能理解为线性锐化强度

中值滤波固定为 3×3,不开放额外开关。图片数少于 2 × FocusStep + 1 时,两种实现均使用普通清晰度加权,此时阈值、α 和可信度平滑不参与;窗口会明确提示。无清晰度证据的平坦区域保留输入平均强度,避免输出黑斑。无效范围、NaN、无穷值在进入算法前被拒绝。异步调用在排队前复制文件列表和参数,后续编辑不影响在途任务。

算法保留原实现的对称端点拟合约定,通过中心化表达式避免负方差与指数溢出;不能形成有效高斯峰时赋予低可信度,转向多帧混合。CPU/CUDA 都采用单精度清晰度图、复制边界和最近整数输出,浮点累加顺序仍可能产生少量像素差异,不承诺逐字节相等。CUDA 每张原始 8-bit 图仅上传一次,采用可分离均值滤波并合并权重与最终融合,所有缓冲随调用释放。没有共享的全局 GPU 工作区。

这些默认值属于当前产品实现,不是 MATLAB 原版的逐项复刻;MATLAB 示例的拟合间隔为 5,且一个窗口参数同时控制清晰度与可信度滤波。调参建议是试验起点,不表示对所有场景最优;没有配准、去重影或真实焦距坐标输入。

文件列表与输入约束 ​

文件夹入口统一使用 FileFusion.GetFolderFiles,过滤 .bmp/.jpeg/.jpg/.png/.tif/.tiff。显式文件列表保留顺序;窗口添加文件保留对话框顺序,拖入文件仍按字符串排序,可在执行前手动调整。每次执行捕获独立路径快照,不随运行期间参数编辑改变。

公共执行器要求至少两张不同路径的图片,拒绝重复完整路径、缺失文件、不可识别文件、尺寸或通道不一致。预检使用 WPF 解码器,仅接受 Gray8、Bgr24、Rgb24,对应 8-bit 单通道或三通道图像;Indexed、Alpha、高位深和浮点布局明确拒绝,不隐式降位深。文件后缀不能替代像素布局校验,也不包含 .cvraw、.cvcie。

预检后的只读文件句柄保持到 native 调用结束,禁止这段时间覆盖或替换源文件。native 通过 Unicode 文件路径读取字节,再以 IMREAD_UNCHANGED 解码,支持中文目录;不自动对齐、缩放、校色或跳过坏图。预检通过不代表 native 必定解码成功。

模式、返回值与资源所有权 ​

模式选择与调用
Auto2–4 张固定选 CPU;至少五张且 ImageCompute.UseCuda 为真才选 GPU;否则选 CPU
CPUOpenCVMediaHelper.M_Fusion → opencv_helper.dll
GPU至少五张且 CUDA 开关可用,调用 OpenCVCuda.CM_Fusion
GPUAsync同样的门禁,调用 OpenCVCuda.CM_Fusion_Async;native 内部并行加载,导出仍同步返回最终图像

Auto 只在执行前选路,不在 GPU 失败后重试 CPU。CUDA 驱动检查不证明 DLL、依赖和输入能够成功执行。结果记录保存本次实际模式,不在结束时重新读取全局开关推测模式。

公共执行器保留小图组优先 CPU 的选择与强制 GPU 五张门禁,避免小任务的 GPU 初始化开销。native CUDA 自身也安全处理单图、短图组和不足拟合跨度的输入。低层入口不包含托管文件锁与像素格式预检;五张及以上也不等于融合质量已验收。

两个 native DLL 保留原有导出名、调用约定和 HImage 所有权。旧 JSON 文件数组继续使用默认参数;新请求为 { "files": [...], "options": { "focusWindow": 5, "consistencyWindow": 3, "focusStep": 2, "alpha": 0.2, "threshold": 13 } },options 中未知字段和非法数值被拒绝,窗口与流程使用此格式,因此托管与 native 必须配套更新。两个 native DLL 均以返回 0 表示成功。公共执行器在所有返回和异常路径通过 finally 释放输出 HImage,成功时复制成冻结的托管位图。FileFusionResult 包含位图、输入快照、实际模式和耗时,不拥有待调用方释放的 native 缓冲,不引用窗口、工作区或 Engine DAO。

取消、并发与计时 ​

公共执行器在进程内串行执行窗口和流程的融合任务,避免多个图组同时占用 GPU 和大量 native 内存。排队支持取消;已进入同步 native 的调用不能强制中断,取消后等待返回并释放输出,不再交付成功结果。

窗口关闭或点击 取消 会取消该次调用;迟到结果不会打开结果窗口或弹出错误框。流程执行把取消资源挂到本次 RuntimeResources,流程结束/停止释放资源后取消排队任务或丢弃在途结果。节点在保存、登记和交接之间检查停止状态;已经完成的文件或数据库写入不会回滚,也不保证与并发停止操作构成跨文件/数据库事务。

字段实际覆盖
ValidationMs,窗口“校验(ms)”打开并锁定输入、读取格式及尺寸预检
NativeMs,窗口“读图及融合(ms)”整个 native 调用,包含 native 文件读取、融合和输出缓冲生成
ConvertMsnative 输出复制为冻结托管位图
TotalMs公共同步执行入口开始至结果完成,包含执行门禁排队;不含 UI 显示、流程保存和数据库登记

流程额外通过 FlowNodeTiming 记录 ResolveBatch、Fusion、SaveImage、OpenImage、PersistResult、PublishResult,不能将公共执行器耗时冒充流程整体耗时。

结果显示与保存边界 ​

窗口结果仍使用临时 LayoutDocument 或独立窗口,不通过 EditorDocumentService 注册路径文档。关闭完成(Closed)后释放 ImageView;取消关闭不会提前清空图像。另存时需分清源像素和带叠加显示图像,详见本主题末尾的图像编辑器参考。

流程结果由 Engine 保存和登记,计算模块不接触 MySQL。输出 PNG 使用唯一名称和 CreateNew,不覆盖已有文件;默认目录与源文件分离,配置输出为输入子目录时因不递归枚举也不会卷入下一次图组。输入顺序、请求/实际模式和计算耗时保存到图像记录 Params 中。

只有图像记录成功登记、结果交接和发布完成后才作为节点成功结果继续执行。计算/写文件/数据库/发布任一失败均按节点失败处理;已经产生的 PNG 或记录保留用于诊断,不作为成功执行的证据。融合图是普通像素图,不生成 CIE 标定数据或承诺亮度、色度测量有效。

验证入口与缺口 ​

  • CUDA DLL 内的 M_Fusion 是 GPU 别名。CPU/GPU 数值一致性需分别调用相应实现比对。

窗口实际操作、数据库历史显示、CUDA 驱动/native 依赖、大图资源和焦点堆栈融合质量需分别验收。

图像另存与 source/rendered 的差别见图像编辑器。

基于 MIT License 发布。