张欣宇 · 视频描述(CM2 底座 / 流式调研)→ 3D 感知线并行(plugin + 高斯特征注入) · ky.toimc.cn

研究生 · 研一 · 数据周期 2025-11 ~ 2026-09 · 更新至 2026-09-19
数据工程起步(数据集多维分析工具化)、复现攻坚主力(定位出论文与代码参数不一致 + 缺关键文件问题);09 月起 3D 线汇报:「只增训练不增推理」plugin 多模型验证 + 高斯合成/新视角特征注入推进中。

当前状态

截至 2026-09-19
  • plugin/adapter 多模型迁移验证(算力排队受限)
  • 高斯合成 + 新视角特征注入(未完)
  • 可视化方案打磨(讲清「为什么有效」)

问题与卡点

现在卡在哪
  • 双线并行:3D 线与视频描述线关系待厘清,主线收敛表述待下次组会
  • plugin 要跑好几个模型验证,算力排队拖慢节奏
  • 细粒度评价指标方案(三人共同任务)暂无回执

下一步

行动项
  • 特征注入实验做完
  • plugin 多模型迁移验证出结论
  • 下次组会正式汇报(完整版主线表述)

朱老师评价与指导要点

按时间序 · 远程组会指导记录

关键节点

绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2026-04
数据工程起步指导
数据集多维度分析(HTML 报告)→ 要求通用化成小工具,新项目拿到数据即可快速分析。
2026-06
3D 感知方向布置指导
虚拟相机/高斯建模调研(多视角数据集);高斯不生成图片再喂模型、直接给内参生成特征隐式传递视角信息。
2026-07
CM2 复现攻坚有效
复现检索增强视频描述方法:定位出论文与代码参数不一致(50 vs 300、编解码实际 6 层)+ 缺关键概念词表文件——补齐后效果显著提升。
2026-07
流式密集描述调研指导
主流仍离线、2024 才出首篇流式(空白区);大模型结合为新趋势(7B 级微调需 4-8 卡);被要求别散改、先复现基线 + 数据集统计。
2026-09
3D 线汇报:plugin + 特征注入
「只增训练不增推理」的 plugin/adapter 方案做多模型迁移验证(算力受限跑得慢);高斯合成 + 高斯新视角做特征注入(未完);可视化方案打磨中——导师定位「讲清为什么有效」。

结果盘点

绿 = 确认有效 · 红 = 证伪排除(同样有价值)

✓ 确认有效

  • CM2 复现问题定位(参数不一致 + 缺件)
  • 数据集分析工具化(组内可复用)

✕ 证伪排除

张欣宇研究生 · 研一
视频描述(CM2 底座 / 流式调研)→ 3D 感知线并行(plugin + 高斯特征注入)
CM2 复现攻坚plugin 多模型验证特征注入推进中
本站内容整理自组会记录(2025-11 ~ 2026-09),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。