白彤 · 视频描述起步 → 3D 感知(虚拟相机主线)→ 再并行 VLM 大模型线 · ky.toimc.cn

研究生 · 研一 · 数据周期 2025-11 ~ 2026-11 · 更新至 2026-11-01
本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。

当前状态

截至 2026-11-01
  • 视频 QA 大模型代码级精读交付:Q-Former 凝练视觉 token、时间定位 token 生成与相似度阈值选帧、训练软标签设计全链路(上轮「停留在图上」批评后闭环)
  • 分层验证:三个数据集短事件(<3s、3-8s 档)命中率普遍偏低;失败拆解——A 类视频短于采样粒度无帧可采、B 类预测区间过宽(大量样本达 GT 两倍以上宽度,覆盖 GT 但带入背景帧拉低 IOU)
  • 归因假设两条:推理阈值(最高分×0.6)欠合理;训练软标签对短事件不利(区间内外权重接近)

问题与卡点

现在卡在哪
  • 短事件命中率低的双归因(数据/模型)未分轨;汇报表达——把已知信息当大家都知道,新接触者跟不上

下一步

行动项
  • 数据先行:统计该权重训练集 GT 区间分布,排除数据不均衡再看模型
  • 阈值与相似度连续选帧方式的改进点梳理(候选创新点)

朱老师评价与指导要点

按时间序 · 远程组会指导记录

关键节点

绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2026-03 ~ 05
视频描述起步
动态阈值/动态窗口方向合理但实现太简单 → 扩展到时序;GT 辅助 query(位置 + 文本特征编码)P/R +0.05;并行生成定位与描述调研。
2026-06
视频描述论文定稿投 IAAI论文
10 页双栏定稿(本科期间完成);经典架构精读 3 篇拆到 query 初始化/decoder 输出/权重共享级别。
2026-06 下
★ 转线 3D 感知
接手组内流转的高斯/9V 数据集线;9 相机配置分析发现前置 5 台重叠较多。
2026-07
删重叠视角 + 虚拟相机两连有效有效
删 2 个重叠深度相机后 MVP 不降反升(省计算量);前 3 视角拼接投影 > 单视角投影;高斯特征注入 > 直接合成、略好于 baseline(NDS +1 点多)。
2026-07
主线升维指导
导师点破:增益来源 = 原采样过程遗漏信息——从 trick 升维为可发表的问题定义,把前处理移到特征层、嵌进架构内部。
2026-09
★ 再并行 VLM 大模型线
按导师「往大模型上走」建议复现 VLM 视频定位问答(两次定位互相监督 + 偏好优化,3.8B LoRA);自有改进——定位→描述显式依赖(统一 reference + 门控注入),初步描述指标升。0919 汇报:baseline 更新为 2025 年高指标论文,微调已在 4 卡上训练(第二部分收尾)——此前显存瓶颈已打通。
2026-09-27
在投论文两个 4 分被拒 → 改投二区;VLM DPO 排查证伪
审稿意见一致「创新有限/重新组合」(两模块分别参照两篇论文、缺与 base 直接对比)——按朱老师方案:补与两个 base 的对比实验(P0)+「局限→改进」论述,改后优先投二区(窗口:11 月 CVPR / 明年 1 月 ICMR,选审稿周期快的刊);VLM 复现推进到 DPO 阶段:DPO 反向优化(论文 65 vs 实测 47、SFT 单独 50),排查训练配置(梯度累积步数与官方不一致)+ 每 1000 步存 checkpoint 测收敛。
2026-10-11
VLM 复现排除卡数因素仍偏差;与袁康结对投 1 月会议;平台开票方案调研
VLM 复现个别指标与论文偏差:对齐参数与训练规模后重训,结果无区别——排除卡数因素(导师判断 4/8 卡只是能跑不能跑之别、不影响数值),根因未定位,拟换平台同配置对照或找朱老师商量;上篇论文(被拒改投线)已补实验、待发朱老师看;与袁康结对瞄准 1 月截止会议投稿;此前调研过外部算力平台的开票方案(按充值金额/按账单两种)。
2026-10-17
被批"理解停留在图上",转向代码级补课指导
朱老师:改 base 前把细节搞清楚,idea 怎么生成/加什么结构/怎么输出;SFT 先行绕过 GRPO

结果盘点

绿 = 确认有效 · 红 = 证伪排除(同样有价值)

✓ 确认有效

  • 高斯分支特征:NDS +1 点多
  • 拼接投影 > 单视角;特征注入 > 直接合成
  • 删重叠深度相机:不降反升
  • 显式依赖改进:描述指标升(初步,待消融)

✕ 证伪排除

  • LSS 上图像层视角合成无效(转特征层重做中)

历史轨迹

10 条状态快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-11-01回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做
  • 视频 QA 大模型代码级精读交付:Q-Former 凝练视觉 token、时间定位 token 生成与相似度阈值选帧、训练软标签设计全链路(上轮「停留在图上」批评后闭环)
  • 分层验证:三个数据集短事件(<3s、3-8s 档)命中率普遍偏低;失败拆解——A 类视频短于采样粒度无帧可采、B 类预测区间过宽(大量样本达 GT 两倍以上宽度,覆盖 GT 但带入背景帧拉低 IOU)
  • 归因假设两条:推理阈值(最高分×0.6)欠合理;训练软标签对短事件不利(区间内外权重接近)
卡点
  • 短事件命中率低的双归因(数据/模型)未分轨;汇报表达——把已知信息当大家都知道,新接触者跟不上
计划
  • 数据先行:统计该权重训练集 GT 区间分布,排除数据不均衡再看模型
  • 阈值与相似度连续选帧方式的改进点梳理(候选创新点)
2026-10-17回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做
  • 投稿规划:下半年赶得上的会仅 2 个,按"一鱼两吃"策略 PR 先投、二次投稿扩展 >30%
  • VLM 复现改道:放弃 GRPO 后训练、直接在原论文 SFT 上推进(领域内 GRPO 非必要),算力支撑确认中
  • 目标论文(视频 QA/定位大模型)被朱老师批评"理解停留在图上"——event token 生成链路等细节未从代码级看过
卡点
  • VLM 复现个别指标偏差根因未定位——同配置换平台对照是下一步
  • 研一课业重(16 节/周)与双线并行
计划
  • 目标论文代码级细节补课(event token/两路特征/base 对比)
  • SFT 先行复现计划推进+算力确认
  • 一鱼两吃投稿规划落地
2026-10-11回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做
  • VLM 复现:对齐参数与训练规模重训后个别指标仍比论文差——排除卡数因素,根因定位中
  • 上篇被拒论文已修改+补实验,待发朱老师看
  • 与袁康结对瞄准 1 月截止会议投稿;关注 PR 多模态专刊
  • 外部算力平台调研对接中(开票两方案:按充值金额/按账单)
卡点
  • VLM 复现个别指标偏差根因未定位——同配置换平台对照是下一步
  • 研一课业重(16 节/周)与双线并行
计划
  • VLM 复现偏差根因定位(换平台同配置对照/与朱老师商量)
  • 修改稿发朱老师看
  • 与袁康对齐 1 月会议投稿;确认外部平台最划算一款+开票方案
2026-09-28回写本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
在做
  • 在投论文被拒(两个 4 分)——补 base 对比后改投二区(P0)
  • VLM 复现:SFT 达 50,DPO 反向优化排查中(4×A100)
  • 官方结果通知(10 月底)与本次结果对账中
卡点
  • 被拒主因=与 base 差异阐述不足——须补直接对比实验与论述(P0)
  • DPO 反向优化:显存受限改了训练配置,与官方未对齐
  • 研一课业重(16 节/周)与双线并行
计划
  • 补两个 base 的对比实验 + 论述,改投二区
  • DPO 配置对齐 + 每 1000 步 checkpoint 测收敛
  • 向何老师报具体卡数(云平台+导师算力两条路)
2026-09-27组会在投论文两个 4 分被拒 → 改投二区;VLM DPO 反向优化排查
在做
  • 在投论文两个审稿人各 4 分被拒(意见高度一致:「方法创新有限/重新组合」——两模块分别参照两篇论文、新颖性被评「查询初始化时间分区+内存检索重用」、缺与 base 直接对比与差异阐述)
  • VLM 复现:4 卡 A100 SFT+DPO 两阶段——DPO 反向优化(论文指标 65 vs 实测 47,SFT 单独 50 反而更高)
  • 排查到 gradient accumulation step 比官方小(梯度传播更少)、官方配置显存跑不起来;表二表三接近论文
卡点
  • DPO 反向优化根因未定(loss 震荡下行)
  • 官方结果通知(10 月底)与本次被拒结果对账中
计划
  • P0=补与两个 base 的对比实验+正文论述(base 局限→我的改进),改后优先投二区(选审稿快的)
  • 对齐训练配置、每 1000 步存 checkpoint 跑 test 看收敛
  • 向何老师报卡数(云平台+导师算力两条路并行)
2026-09-19组会VLM 线正式汇报:4 卡在跑,算力瓶颈打通
在做
  • 定位转型:密集描述传统方法改成视觉大模型
  • 2025 高指标论文作 baseline:训练两部分、第二部分剩十几小时、4 卡在跑
  • 已找下一步实验问题点(含创新性想法)
卡点
  • 八卡排队更久、超算看运气
计划
  • 在投论文等结果(口述月底出)
  • 何老师当面收算力需求
2026-09-12组会VLM 视频定位问答复现 + 自有改进 + 会后深谈 55 分钟
在做
  • 复现 VLM 视频定位问答论文:视频+问题→定位证据时间区间→自回归生成答案→再定位,两次定位互相监督+DPO 式偏好优化(GT 文本/时间扰动构造负样本)
  • 数据解压 600-700G;3.8B LoRA 微调;原论文 4×H100 训一天、本地 3 卡推理
  • 自有改进(借鉴 PDVC 共享 query+双 head):统一 reference+区间内帧特征加权求和经门控注入 caption query(定位→描述显式依赖)——描述指标升、定位略降
  • 会后与朱老师深度讨论约 55 分钟竞赛策略
卡点
  • 算力瓶颈:微调显存不够(需 4×H100≈6-8 张 4090 量级)
计划
  • 尽快向何老师报算力需求(重硬件清单轻诉苦)
  • 消融补「去 head 只加 evidence」组;定位污染描述需消融
2026-07档案虚拟相机验证有效;高斯特征注入更好
在做
  • 虚拟相机验证有效:前 3 视角按经验切分拼接后投影到新视角 > 单视角投影;彩色图补回被删视角「变得非常好」
  • 高斯特征注入(不生成彩图、特征直接注入)比直接合成好、比 baseline 略好
  • 新数据集(9 相机)跑 1/5 数据;删两个重叠深度相机后 MVP 几乎无变化甚至略升(计划八路改七路)
卡点
  • LSS 上此前合成无效正在重做
计划
  • 把前处理移到特征层、嵌进 BEVDepth/LSS 架构内部(从 trick 变方法论创新)
  • Sparse4D vs BEV/dense 对比验证普适性;类别×距离段细分 AP
2026-06档案首篇论文定稿投出;接手虚拟相机线
在做
  • 论文 10 页双栏基本定稿(补实验、改图);经典架构精读 3 篇(可变形 attention 事件 query/语音预训练/外部知识库检索)
  • mask vs 插值缩放实验(3 升 1 降)——领域内少有人做、潜在创新点
  • 论文投出(代码开源策略:不全开源、部分开源核心模块或伪代码、防拒稿后被抄袭)
  • 接手虚拟相机线:高斯图像合成作分支特征——标准集 NDS 高于 base(+1 点多)但 mAP 降
卡点
  • 定位指标缺失
  • 扰动集结果异常待查
计划
  • 指标做公式级差异分析
  • 9 相机配置分析(7 环视+2 长焦前视、前置 5 台重叠较多)
2026-03档案视频描述起步期:动态阈值 + GT 辅助 query
在做
  • 动态窗口/视频描述:动态阈值方向合理但实现太简单
  • GT 辅助 query(位置+文本特征编码)轻微提升(P/R +0.05)
计划
  • 扩展到时序;动态阈值+特征平滑合为一个创新点;同步写论文
白彤研究生 · 研一
视频描述起步 → 3D 感知(虚拟相机主线)→ 再并行 VLM 大模型线
论文改投二区(P0)VLM SFT 复现 50 分NDS +1 点多删 2 视角不掉点
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。