综述：现阶段科研世界观及思路

发布于 2026-09-16 · 更新于 2026-10-17 18:02

科研综述

一、todo

insid3的Q1:能否直接用mask，而不加上参考图？（但这是不是就不算上下文分割了）
做一张图/一个分类学放到总结：把之前看的 OVS 论文再凝练一下，比如 qk 异构、FFN 前向都不利用表征的对齐，比如有人在探索表征对齐的方式（对比学习-轻度 MLP｜轻度卷积｜知识蒸馏）
insid3：有没有分数据集分域分析拒绝空掩码的能力

二、现阶段科研思路

2026-09-16 建立｜2026-09-16 更新

个人五年主线

先做VFM(TF)，再 VLM，接着2026～2027这一年完善 VLA 这一块（也就是最后要把感知-决策-执行-反馈这条线走闭环，看这条大线上有什么 open problem）

待跟进工作点

是否可以talk2dino➕insid3，搞出一个模态对齐，类别泛化，实例消歧的表征

三、现阶段科研世界观

2026-09-16 建立｜2026-09-16 更新

深度学习应该从表征层面理解

深度学习 = 学习一系列非线性表征变换，使输入最终变成适合目标输出的表示，整体pipeline可理解成：表征构造与处理模块 → 任务输出 / 生成模块

而现代深度学习的大部分工作，本质上都可以看成“它想让表征获得什么性质？它实际上在对表征做什么？它用什么具体机制实现？”

表征应具备的性质————想让表征获得什么性质？

动态适应性
- 实验设定有持续学习/终身学习/增量学习:三者本质上都在描述同一件事：让表征具有“动态适应性=可塑性+稳定性”，只是视角不同，持续学习强调的是表征空间的动态适应性，增量学习强调的是数据一批一批进来，其实是同一件事的不同视角不同阶段，2024 年的 TPAMI 同样把这三者归为同一件事
条件化/专业化
- 架构层面有MOE|MOA|MOT:三者都希望表征能够被动态的路由分流，让不同输入（模态、尺度、语义、上下文）走不同计算路径，以形成条件化、专业化表征，并提升有限计算预算下的任务适配能力

\begin{aligned} \mathrm{MoA} &: \text{Attention-level specialization} \\ \mathrm{MoE} &: \text{FFN-level specialization} \\ \mathrm{MoT} &: \text{Transformer-level specialization} \end{aligned}

其他未深入：判别性 / 可分性、不变性 / 等变性、鲁棒性 / 稳定性、信息完整性 / 充分性、语义性 / 上下文性、跨模态对齐性、层次性 / 多尺度性、稀疏性 / 解耦性、组合性、可迁移性 / 泛化性

表征性质的获取方式（抽象层面)————实际在对表征做什么？

构造 Encode：如何把原始输入变成表征
变换 Transform：如何改变单个表征的内容 / 结构
聚合 / 融合 Aggregate / Fuse：如何组合多个表征
对齐 Align：如何建立不同表征之间的对应关系
选择 / 路由 Route / Select：哪些表征走哪些计算路径
压缩 / 重组 Compress / Restructure：如何改变表征粒度、数量、形态
解码 / 读出 Decode / Readout：如何把表征映射为目标输出

> demo实例| 2026-09-16建立｜2026-09-16 更新
- CV 中：Encoder 负责特征提取及处理，Decoder 负责把特征解码（转换为下游任务输出），Encoder=backbone➕neck➕project head 等结构的排列组合

表征性质的获取方式（具体层面）————用什么具体机制实现？

数据/监督信号
损失函数：分类交叉熵｜Triplet Loss｜重建损失｜图文对比损失｜Temporal Consistency｜稀疏/正则化损失
网络结构：MOE|MOA|MOT、CNN|Transformer、跳接、多尺度结构
策略层面：数据增强｜Mask 策略｜负样本采样｜冻结/解冻｜蒸馏｜自训练

CV-视觉感知方向

\text{Visual Perception Task} = \text{Spatial Structure} \times \text{Temporal Setting} \times \text{Modality} \times \text{Domain}

任务一：分割

\hat{M}_{1:T} = \mathcal{S}_{\theta} \left( I_{1:T}\mid C \right)

其中：

$I_{1:T}$ ：输入图像序列；当 $T=1$ 时表示单张图像，当 $T>1$ 时表示视频或时序图像。
$C$ ：任务条件，用于定义“模型需要分割什么”，可以是固定类别集合、文本、参考图像与 Mask、点、框等。
$\mathcal{S}_{\theta}$ ：参数为 $\theta$ 的分割模型。
$\hat{M}_{1:T}$ ：模型预测得到的分割结果；单图任务输出单个 Mask，视频任务输出随时间变化的 Mask 序列。

其中条件 $C$ 可以进一步表示为：

C= \begin{cases} \mathcal{Y}_{\text{fixed}}, & \text{Closed-set Segmentation} \\[4pt] T_{\text{text}}, & \text{Open-Vocabulary Segmentation} \\[4pt] (I_r,M_r), & \text{Few-shot / In-context Segmentation} \end{cases}

其中：

$\mathcal{Y}_{\text{fixed}}$ ：预先定义好的固定类别集合。
$T_{\text{text}}$ ：文本或类别名称，用语言语义定义需要分割的目标。
$(I_r,M_r)$ ：参考图像 $I_r$ 及其参考 Mask $M_r$ ，通过视觉示例定义需要分割的目标。

四种不同条件的分割：闭集、开放词汇、指代、上下文

\hat{M}= \begin{cases} \mathcal{S}_{\theta}(I;\mathcal{Y}_{\text{fixed}}), & \text{Closed-set Segmentation} \\[6pt] \mathcal{S}_{\theta}(I;T_{\text{class}}), & \text{Open-Vocabulary Segmentation} \\[6pt] \mathcal{S}_{\theta}(I;T_{\text{ref}}), & \text{Referring Segmentation} \\[6pt] \mathcal{S}_{\theta}(I;I_r,M_r), & \text{Few-shot / In-context Segmentation} \end{cases}

范式	核心逻辑
闭集分割	一边分：视觉特征内部学习固定类别的决策边界
开放词汇分割	两头靠：视觉特征 ↔ 类别文本 / 语义原型，回答“哪些区域属于这一类？”
指代分割	两头靠 + 消歧：视觉特征 ↔ 指代表达，通过属性、位置、关系等信息定位特定实例
Few-shot / In-context 分割	两头靠：目标图特征 ↔ 参考图 + mask 得到的视觉原型

VFM

SAM：自监督预训练➕后训练的VFM

SAM1：vanilla ViT+ MAE（监督） → 监督
SAM2：Hiera ViT+ MAE（监督） → 监督
SAM3：做了工程改造的Vanilla ViT+对比学习（多模态监督） → 监督

DINOv3：实验————证明本身的特征就足够通用，比较适配下游任务

下游任务	官方做法	DINOv2	DINOv3 7B	变化
语义分割 ADE20K	frozen + Linear	49.5 mIoU	55.9	+6.4
Cityscapes 分割	frozen + Linear	75.6	81.1	+5.5
VOC 分割	frozen + Linear	83.1	86.6	+3.5
NYUv2 深度估计	frozen + Linear	0.372 RMSE	0.309	↓0.063
KITTI 深度	frozen + Linear	2.624	2.346	↓0.278
3D 几何对应 NAVI	feature matching	60.1	64.4	+4.3
语义对应 SPair	feature matching	56.1	58.7	+2.6
无监督目标发现 VOC07	TokenCut，无监督	55.6	66.1	+10.5
VOC12	TokenCut	60.4	69.5	+9.1
COCO20K	TokenCut	45.4	55.1	+9.7
视频分割跟踪 DAVIS-L	非参数 label propagation	76.6	83.3	+6.7
YouTube-VOS-L	同上	74.6	80.7	+6.1
MOSE-L	同上	48.5	55.6	+7.1

四、什么是创新？

2026-09-16 建立｜2026-09-16 更新

创新=方法创新＋架构创新＋训练创新＋数据创新＋系统创新＋经验发现

组件创新

- 新的 attention、新 loss、新 architecture block

组合/系统创新

- 组件都不是新的，但组合方式过去没人这样做，而且组合本身产生了重要的新能力，这也可以算创新
- 如$ A+B+C \gg A,\ B,\ C $，并且解释了为什么这样组合有效，做了充分 ablation，这通常完全可以构成论文贡献。

经验性 / scaling insight

- 如 SAM3 的 PE-L证明：普通的 ViT + 相对简单的图文对比学习，只要数据、训练和特征使用方式做对了，就可以得到非常强的通用视觉表征；而且最好的视觉表征未必在最后一层。

新知识

视觉：
2D:computational photography｜Low-level vision | High-level vision
3D:Geometry｜Understanding｜Reconstruction｜Generation｜Rendering

	Low-level vision	High-level vision
关心什么	像素、纹理、噪声、清晰度	语义、物体、类别、场景
输入 → 输出	图像 → 图像	图像 → 标签/框/mask/文字
典型任务	去噪、超分、去模糊、去雨/去雾、低光增强、图像修复	分类、检测、分割、识别、VQA
评价方式	和 GT 图像比像素/感知差异	准确率、mAP、mIoU