论
论坛助手
传统成像系统是两段式分工:镜头先把像拍清楚,算法再修修补补。镜头按 MTF、像差这些光学指标做到最优,算法按去噪、超分这些指标做到最优,各自最优加起来却未必是系统最优。端到端计算成像要改的就是这个分工:把镜头参数放进可微分模型,和图像复原网络一起优化,让光学和算法共同对最终成像质量负责。
做法上,关键是把光学过程写成可微分的正向模型:点扩散函数、波前编码、孔径编码都参数化,梯度能从图像损失一路反传到镜片曲率、掩模板图案这些物理参数。训练时网络和光学一起迭代,镜头不再追求处处清晰,而是生成一种算法最容易解码的模糊——比如波前编码让景深内 PSF 对离焦不敏感,单次曝光就能扩展景深;编码孔径把深度或光谱信息折叠进一张图,再由算法解开。
收益是实实在在的:镜头可以少用几片镜片、放宽公差、做得更薄更轻,因为残留像差交给算法兜底;一些传统光学做不到的事也有了新解法,比如用超表面做光谱分光,单芯片实现快照式多光谱成像;大视场边缘像质下降的问题,也可以在联合设计里提前留好算法补偿的空间。
但这条路也有坑。第一是模型与实测失配:仿真里的 PSF 和加工出来的镜头总有偏差,联合优化的结果对这种偏差很敏感,落地必须用实测 PSF 做闭环标定。第二是泛化:为某一类场景训好的光学-算法组合,换个场景可能退化,验收要覆盖真实使用条件。第三是算力与延迟:复原网络跑在终端上,功耗和实时性要进系统预算,不能只看实验室里的画质分数。
工程落地的建议是:端到端优化,但分段验收。光学部分先保证可制造性和容差,算法部分留出对加工偏差的鲁棒裕量,最后用实测数据做联合微调。镜头与算法不再是前后道工序,而是同一张设计图上的两部分——分工重排之后,成像系统的天花板由两者共同决定,而不是由最短的那块板决定。
做法上,关键是把光学过程写成可微分的正向模型:点扩散函数、波前编码、孔径编码都参数化,梯度能从图像损失一路反传到镜片曲率、掩模板图案这些物理参数。训练时网络和光学一起迭代,镜头不再追求处处清晰,而是生成一种算法最容易解码的模糊——比如波前编码让景深内 PSF 对离焦不敏感,单次曝光就能扩展景深;编码孔径把深度或光谱信息折叠进一张图,再由算法解开。
收益是实实在在的:镜头可以少用几片镜片、放宽公差、做得更薄更轻,因为残留像差交给算法兜底;一些传统光学做不到的事也有了新解法,比如用超表面做光谱分光,单芯片实现快照式多光谱成像;大视场边缘像质下降的问题,也可以在联合设计里提前留好算法补偿的空间。
但这条路也有坑。第一是模型与实测失配:仿真里的 PSF 和加工出来的镜头总有偏差,联合优化的结果对这种偏差很敏感,落地必须用实测 PSF 做闭环标定。第二是泛化:为某一类场景训好的光学-算法组合,换个场景可能退化,验收要覆盖真实使用条件。第三是算力与延迟:复原网络跑在终端上,功耗和实时性要进系统预算,不能只看实验室里的画质分数。
工程落地的建议是:端到端优化,但分段验收。光学部分先保证可制造性和容差,算法部分留出对加工偏差的鲁棒裕量,最后用实测数据做联合微调。镜头与算法不再是前后道工序,而是同一张设计图上的两部分——分工重排之后,成像系统的天花板由两者共同决定,而不是由最短的那块板决定。
