课题组成员 · 学习与科研进展 · ky.toimc.cn

每人:做了什么 → 走到哪 → 卡在哪 → 下一步 · 数据周期 2025-11 ~ 2026-11

成员进展 · 一屏总览

每人一句核心判断 · 点击进个人页看过程 · 更新至 2026-11-01
袁康→研究生 · 视频密集描述(Dense Captioning)PR 二审两个 5 分一对多迁移 +2 点CG 引导器 +1 点Recall +3.6
10 个月跑通论文全链路:第一篇 PR(一区)二审意见回来(两个 5 分)、审稿意见全文已解析——rebuttal 提分路径被审稿人明示;第二篇一对多迁移已出 +2 点——自定明年 1 月前出成果,进入连续产出节奏。
状态 ▸ LoRA 分支匹配+排序损失:权重 0.24→0.05→0.2 档效果最佳(再现"调小反而差");仅 UCL 数据集有效、ActivityNet 负提升
卡点 ▸ 排序损失方法大数据集变差——同一配置下小/大数据集结论相反,须定位归因
下一步 ▸ 排序损失权重定档 0.2 附近+第二数据集负迁移归因
杨丰企→研究生 · 研二 · 3D 目标检测(BEV × Sparse / Sparse4D)QBI 在投special 十月底投蒸馏 +0.8 点前景图 +1 mAP
Sparse4D 主线攒下三个有效点(前景图 +1 mAP、teacher 蒸馏全量 +0.8 点、时序融合有效);QBI 在投,新论文锁定十月底截稿的多视角 special issue(11/1 前初稿);毕业论文大纲进入评审推进;秋招并行。
状态 ▸ 在投期刊进入 rebuttal 阶段:按审稿意见补模块消融对比实验(已出结果)、撰写回应中
卡点 ▸ 新视角监督目前只在稀疏查询模式有效——非稀疏模式推广或归因未解
下一步 ▸ rebuttal 回应定稿发导师审定
志峰→研究生 · 研二 · 视频超分辨率(已发 2 篇)· 毕业论文与入职过渡并行已发 2 篇组内工作流示范毕业论文大纲筹备中
组龄三年、科研任务已完成(视频超分 2 篇:一会议 + 一期刊,第一篇完全独立写出),已落定去向、处于入职过渡期;当前交付物 = 毕业论文大纲。
状态 ▸ ACCV/OCC 动静态分离论文复现:挖出源码三 bug(数据取用未排序、内参未等比缩放致坐标飞出、时序分支权重近零),官方权重复现指标对得上
卡点 ▸ 毕业论文大纲未产出,是当前第一交付物
下一步 ▸ 大模型筛选 base 快速验证动静态分离
白彤→研究生 · 研一 · 视频描述起步 → 3D 感知(虚拟相机主线)→ 再并行 VLM 大模型线论文改投二区(P0)VLM SFT 复现 50 分NDS +1 点多删 2 视角不掉点
本科即进组科研:视频描述起步、入学前投出 IAAI;3D 感知「虚拟相机」主线两连有效后按导师建议转 VLM 大模型线——复现推进到 DPO 阶段(4×A100);在投论文按审稿意见补对比实验后改投二区。
状态 ▸ 视频 QA 大模型代码级精读交付:Q-Former 凝练视觉 token、时间定位 token 生成与相似度阈值选帧、训练软标签设计全链路(上轮「停留在图上」批评后闭环)
卡点 ▸ 短事件命中率低的双归因(数据/模型)未分轨;汇报表达——把已知信息当大家都知道,新接触者跟不上
下一步 ▸ 数据先行:统计该权重训练集 GT 区间分布,排除数据不均衡再看模型
胡佳欣→研究生 · 研一 · 视频描述(检索增强)+0.5 点首个有效反直觉二次坐实新谜题根因中
起步 5 个月:首个有效结果(Deletion +0.5 点)+ 反直觉发现二次坐实(随机补检索文本最优);当前主攻新谜题——定位 F1 全升而描述指标全降的强一致性根因;定方向、启动首篇仍是第一优先。
状态 ▸ 归因新进展:固定生成事件数后每个事件的时间匹配精确率也上升——定位提升有双重来源
卡点 ▸ 归因「还没有定位得很清」——导师要求尽快收敛成确定性结论(把描述指标也提上来)
下一步 ▸ 字幕修正模块全量测试集评测
张欣宇→研究生 · 研一 · 视频描述(CM2 底座 / 流式调研)→ 3D 感知线并行(plugin + 高斯特征注入)CM2 复现攻坚plugin 多模型验证特征注入推进中
数据工程起步(数据集多维分析工具化)、复现攻坚主力(定位出论文与代码参数不一致 + 缺关键文件问题);09 月起 3D 线汇报:「只增训练不增推理」plugin 多模型验证 + 高斯合成/新视角特征注入推进中。
状态 ▸ 虚拟相机论文修改中;广角设计=前向三原图合成 110 度虚拟视角
卡点 ▸ 双线并行:3D 线与视频描述线关系待厘清,主线收敛表述待下次组会
下一步 ▸ 两天内出论文初稿发导师
李威→博士生 · 博一(工程博士) · 视频描述(主攻,DVC 投稿主线)BEVDet 复现 0.2979(与论文一致)BEVDepth 复现 0.344642 篇论文筛选完成
10 个月建成 3D 感知复现体系(BEVDet / BEVDepth 全量数据复现指标与论文一致、mini 数据集问题诊断完成、超算上连续训练失败的根因已定位);已按您 9·19 组会意见转向视频描述:42 篇顶会论文筛完、细分方向已定,自设投稿期限保留作自我加压,并落实每日投入记录。
状态 ▸ E7 收官两大待办交付:①指标拆碎——K1→K10 增益全部来自「看得更准」而非「看得更小」,K4 vs K10 各面积带/类别无可分辨差异;②中间结果论证——采样半径外扩 ×2.2、增量 6 点≈原 4 点特征重采、top4 注意力质量 0.956 + 采样点对照图集
卡点 ▸ 伪代码级理解未落地——具体每步输出是什么还说不清,未做过逐行调试
下一步 ▸ PDVC 中间结果 dump 分析(把 DETR 线的中间结果论证方法落到视频描述线)

全组事项跟踪

全组历史轨迹

42 条快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-09-27组会袁康第二篇一对多首战落地(定位 F1 +2 点);PR 二审意见回来(两个 5 分)
在做
  • 研究 DETR 一对多分配论文(FFN 多分支执行一对二/三/四策略、辅助 head 不参与推理、加 LoRA +1 点多),迁移到 PDVC 底座:主体一对一+一对多辅助头+低质量过滤+质量感知损失
  • 迁移结果:定位 F1 0.23→0.25(+2 点)、描述指标基本持平(小数据集)
  • PR 二审意见回来:两个审稿人各 5 分,终审最晚 10/19 出
卡点
  • margin 排序选择 margin=0.2 被批太激进——改 0.1/0.05 重试
  • 二审主因:与已有思想相似+包装不足
计划
  • 按意见补损失函数设计动机/低点正面处理(瑕不掩瑜论述)/多数据集消融
  • 自定目标:明年 1 月前出成果并拆解待办
  • 引入回归置信度+分类/回归双高约束(朱老师方法论)
2026-09-27组会杨丰企毕业论文大纲评审 + special issue 排期
在做
  • 毕业论文大纲评审:SAM3 质检章(措辞拔高为「高质量数据集构建」:检测模型刷预标注→SAM3 质检)+ 前景引导章(雷达点云生成类 OCC 网格→前景→辅助 BEV)
  • 实验:官方 Sparse4D 跑 1/3 效果不错;稠密 BEVDet 部分数据无效果;teacher 蒸馏差在命中框与运动物中心距离(行人小目标为主)
  • 投稿计划:十月底截稿 special issue(多视角)、11/1 前出初稿
卡点
  • 新视角直接拼输入效果差
  • 大纲创新点拆分(1 主+2 小:检测 loss/K-means+前景)待定型
计划
  • 分距离(0-20/20-50/50-80 米)分类别全套指标(前向+后向)=「别人没有你有,一定加分」
  • 感知模型宏观可解释(哪个模块变好→下游变好)
  • 「先投,投不中再投」
2026-09-27组会志峰到场交流;写作标准被立为组内标杆
在做
  • 会前参与云算力/超算账号讨论(8 卡老账号持有人)
  • 朱老师对袁康「论文写作多跟志峰交流」——写作标准被立为组内参考
卡点
  • 毕业论文大纲筹备中(0919 行动项,本场未见独立汇报)
计划
  • 毕业论文大纲落定
  • 已落定去向,入职过渡期与毕业论文并行
2026-09-27组会白彤在投论文两个 4 分被拒 → 改投二区;VLM DPO 反向优化排查
在做
  • 在投论文两个审稿人各 4 分被拒(意见高度一致:「方法创新有限/重新组合」——两模块分别参照两篇论文、新颖性被评「查询初始化时间分区+内存检索重用」、缺与 base 直接对比与差异阐述)
  • VLM 复现:4 卡 A100 SFT+DPO 两阶段——DPO 反向优化(论文指标 65 vs 实测 47,SFT 单独 50 反而更高)
  • 排查到 gradient accumulation step 比官方小(梯度传播更少)、官方配置显存跑不起来;表二表三接近论文
卡点
  • DPO 反向优化根因未定(loss 震荡下行)
  • 官方结果通知(10 月底)与本次被拒结果对账中
计划
  • P0=补与两个 base 的对比实验+正文论述(base 局限→我的改进),改后优先投二区(选审稿快的)
  • 对齐训练配置、每 1000 步存 checkpoint 跑 test 看收敛
  • 向何老师报卡数(云平台+导师算力两条路并行)
2026-09-27组会胡佳欣反直觉结论二次坐实 + F1↑/CIDEr↓ 新谜题
在做
  • 找「相似度超阈值去掉低相似文本→性能不降」的稳定阈值——未找到
  • 固定 top 90 改 95/98 分位阈值筛选(一条不超默认 top1)——本质=分位选择只是增减筛选数量
  • 0919 反直觉结论二次复现坐实:随机补 10/20/40 条 > 按排序补 > 重复高阈值文本
卡点
  • 新谜题:F1 全升(recall↑)而描述指标(CIDEr 等)全降——「一致性太强、反常」
  • 自述「不知道下一步该做什么」
计划
  • 根因分析路径:假阳性影响/检索特征进了哪个模块哪一步/从结果往前推/查代码低级失误
  • 下次汇报重要结果要粘上来(十几分钟的事)
  • 三元组(主谓宾)规则筛选论文待精读
2026-09-27组会李威朱老师技术会收尾汇报:综述代替 intro + 代码级入场券
在做
  • 收尾汇报:LoRA-DETR 预研(朱老师追问「为什么有效」——论文没解释 LoRA 为什么让原 head 变好)+ 状态 + 方向讨论
  • 阶段二(9/22-10/17)视频描述经典精读:DETR/Deformable DETR 精读落盘、PDVC 在读(自评 10-20% 伪代码级)
卡点
  • 朱老师批评「投入或方法有问题」(与何老师 0919 保每日投入要求同向)
计划
  • 写综述代替 intro(综述=对领域的理解、可上 TPAMI 级,且直接服务首篇论文 related work 底稿)
  • 4-5 篇核心到代码级再动手改进(10/18 阶段三启动日:技术评估+选题——代码级标准就是入场券)
  • 方向两候选——按朱老师要求先摸 base、与同组讨论后再定
2026-09-19组会袁康高低分分析落地(低分集中在低频模板话术类别);第二篇创新点首次露出
在做
  • 最好/最差各 20 视频逐个分析:低分与句长、时长均无关,集中在训练集低频「模板话术」类别(模型预测偏向高频模板)
  • 第二篇创新点首露:DETR 一对一匹配正样本过少 → 一对多辅助分支(多分支不同策略/权重)+ decoder 后 FFN 处插轻量模块(小参数不大改、类 adapter、可迁移)
卡点
  • 低分归因需按类别切小类逐类对比
计划
  • 长尾假设验证:出现只有几次的类别预测精度下降,是不是拟合/学习本身没学到特征
  • 一对多方案设计与底座迁移实验
2026-09-19组会志峰两场缺席后首次回归:毕业论文评估 + 求职简历交流
在做
  • 毕业论文评估:公司工作+现有路子工作量完全够、大纲待出
  • 求职简历交流(何老师:「不可能是找不到的」;宣讲会/面试笔试外出无需报备)
卡点
  • baseline 时效红线被点名「尤其要注意」(评阅认可答辩往前推两年内的 baseline)
计划
  • 论文成果尽快投会议保底(越近越好)
  • 毕业论文大纲出稿
2026-09-19组会白彤VLM 线正式汇报:4 卡在跑,算力瓶颈打通
在做
  • 定位转型:密集描述传统方法改成视觉大模型
  • 2025 高指标论文作 baseline:训练两部分、第二部分剩十几小时、4 卡在跑
  • 已找下一步实验问题点(含创新性想法)
卡点
  • 八卡排队更久、超算看运气
计划
  • 在投论文等结果(口述月底出)
  • 何老师当面收算力需求
2026-09-19组会胡佳欣动态检索实验:随机补低相似反直觉优于按排名加
在做
  • 检索数量不固定的四组对比:baseline / 只保留相似度前 2% / 前 2%+随机低相似文本 / 前 2%+按排名低相似文本
  • 反直觉结果:随机加低相似整体优于按排名加,其中一组反超 baseline(归因未定,疑训练随机性未复现确认)
  • 领域现状梳理:现有方法均固定检索数量;RL 动态选择先例不如静态
卡点
  • 反直觉归因未定
  • 被何老师单独点名:「没有一篇论文是可以被浪费的,他们就你没有」——尽快定方向
计划
  • 汇报范式改进:「最上层应用是什么?检索是干嘛的?来龙去脉加小帽子先讲完」
  • 找先行工作当靶子(写论文参考其结构、结果要比赢)
查看更早(32 条)
2026-09-19组会张欣宇3D 线汇报:plugin「只增训练不增推理」+ 高斯特征注入
在做
  • plugin/adapter 式「只增训练不增推理」方案(训练时网络不变、类 adapter),验证多模型迁移性(卡跑太慢、要搞好几个模型,未完)
  • 高斯合成+高斯新视角做特征注入(未完)
  • 可视化「效果有点差」在找方案
卡点
  • 算力排队拖慢节奏
  • 可视化定位=讲清「为什么有效」待解(何老师:「做了几个感觉非常明显的不用改」)
计划
  • 特征注入实验做完;plugin 多模型验证出结论;下次组会正式汇报(完整版主线表述)
2026-09-12组会袁康PR(一区)返修提交、等二审
在做
  • PR(Pattern Recognition 一区)返修修订已提交(一审两小修一大修:补参数量对比/空域调制实验/换数据集)
  • DN 架构底层设计修正:召回改善但精确率又降,整体不如 baseline
  • 交叉注意力可视化:描述权重分布异常散
卡点
  • DN 线整体不如 baseline——密集描述领域没人用 DN,没效果不必硬走
计划
  • 等二审
  • 注意力分析统计高分/低分 case 规律
  • 目标管理:量化目标+死线(「把我当 AI agent 用」)
2026-09-12组会杨丰企主汇报:虚拟第七路 teacher 蒸馏全量 +0.8 点;QBI 在投
在做
  • 新方案基本成型:虚拟第七路作 teacher 不进网络——同一 GT 3D 点投到真实+虚拟相机两处、拉近 FPN 特征(特征一致性损失)→ nuScenes 全量 +0.8 点、推理零开销、适用任何纯视觉模型
  • 此前工作:合成虚拟第七路图像直接拼进输入(base=Sparse4D)——小数据 +3 点、全量仅 +1 点(归因:重复视角对同一目标约束两次)
  • QBI 论文在投(7/28 投出,等评审);求职进行中;毕业论文框架启动
卡点
  • 方法被批判:「虚拟视角只是线性变换不产生新信息,经不起推敲,65 分往上」——需深挖 why 线性变换监督有效
计划
  • 本月写完新论文下月投;两篇拆分(70% 重叠+30% 差异化)
  • 补稠密 BEVDet;重读 GaussianBeV
  • 大模型揉毕业论文框架
2026-09-12组会白彤VLM 视频定位问答复现 + 自有改进 + 会后深谈 55 分钟
在做
  • 复现 VLM 视频定位问答论文:视频+问题→定位证据时间区间→自回归生成答案→再定位,两次定位互相监督+DPO 式偏好优化(GT 文本/时间扰动构造负样本)
  • 数据解压 600-700G;3.8B LoRA 微调;原论文 4×H100 训一天、本地 3 卡推理
  • 自有改进(借鉴 PDVC 共享 query+双 head):统一 reference+区间内帧特征加权求和经门控注入 caption query(定位→描述显式依赖)——描述指标升、定位略降
  • 会后与朱老师深度讨论约 55 分钟竞赛策略
卡点
  • 算力瓶颈:微调显存不够(需 4×H100≈6-8 张 4090 量级)
计划
  • 尽快向何老师报算力需求(重硬件清单轻诉苦)
  • 消融补「去 head 只加 evidence」组;定位污染描述需消融
2026-09-12组会胡佳欣CM2 上两个改进实验均落在饱和区
在做
  • 在 CM2(检索增强视频描述)基础上两个改进:①等权排序→按相似度/排名加权(下游无变化)②anchor 内平均池化→选信息强的关键帧(文本-图像相似度最高)检索(检索文本质量小幅提升、下游仍无变化)
  • 负向对照(打乱检索文本明显变差)成立→「检索质量有影响」成立
卡点
  • 改进落在饱和区
计划
  • 量化「检索质量→下游性能」映射:按相似度分层统计各层下游表现、找阈值效应(低于阈值明显差、高于阈值饱和——若存在即重要发现)
  • 变阈值过滤(定位 query 得分分布统计→分类→差异化阈值);先调研有无先例
2026-09-12组会+档案李威学习规范确立:费曼式教学 + 读论文四法
在做
  • 费曼式教学辅导规范确立(先给答案再纠错/遗忘曲线假设/代码出处交代/可跳转链接)
  • 读论文四法定版:AI 先讲(人话直觉+框架图)→带 3 个预设问题三遍分层读(图摘要结论→方法主线→公式细节)→复述→纠偏
  • 博一规划 v2 重排(按博一实际阅读速度排期,日载论文 2-3h/天、每周留 30% buffer)
卡点
  • 组会仅少量插话——处于补债+基础补课期
计划
  • 细粒度指标方案(三人共同任务)纳入阶段二学习清单
  • 算力顺风车:SwinBERT 迁移实验资源报名
2026-08仓库档案李威mmcv 编译坑真凶定位,v19 重训恢复健康
在做
  • mmcv-full 源码编译 TORCH_CUDA_ARCH_LIST 设窄(只设 sm_70)在 A100 上所有 CUDA op 静默退化为零、不崩溃——v15-v18 loss_cls=0 真凶定位
  • v19 换官方预编译 wheel(自带全架构)重训:iter50 loss_cls=1.5668 恢复健康
2026-07档案袁康三工作整合成文投出;定位质量分类损失 Recall 24.2→27.8
在做
  • 三个工作整合统一代码:分类损失+结构损失合用优于单独使用
  • 定位质量分类损失:Recall 24.23→27.8、Precision 34→35-36
  • 论文注册并当晚提交(保底干预:先写出来先投出,不投即 0)
卡点
  • 纠结「没彻底解决会被审稿人否定」——被干预:叙事从「缓解问题」切入
计划
  • 下一目标 7/28 截稿
  • 先写详细提纲
2026-07档案杨丰企融合「涨点」定位为假象;「分钱」一路唯一有效
在做
  • feature 融合「涨点」定位为假象(200 epoch base 已过拟合,比 100ep base 更差)
  • 引入 EMA 权重保存(朱老师点破本质:每步权重平均、有权重即可直接得,无需重训)
  • 「分钱」一路唯一有效+直接拿前景图去掉 query 那套涨约 1 点
卡点
  • cover×9 下降后聚类矩阵实验(100/200/300 块)待做
计划
  • 做一个 baseline 对比墙
2026-07档案白彤虚拟相机验证有效;高斯特征注入更好
在做
  • 虚拟相机验证有效:前 3 视角按经验切分拼接后投影到新视角 > 单视角投影;彩色图补回被删视角「变得非常好」
  • 高斯特征注入(不生成彩图、特征直接注入)比直接合成好、比 baseline 略好
  • 新数据集(9 相机)跑 1/5 数据;删两个重叠深度相机后 MVP 几乎无变化甚至略升(计划八路改七路)
卡点
  • LSS 上此前合成无效正在重做
计划
  • 把前处理移到特征层、嵌进 BEVDepth/LSS 架构内部(从 trick 变方法论创新)
  • Sparse4D vs BEV/dense 对比验证普适性;类别×距离段细分 AP
2026-07档案张欣宇流式密集描述调研(空白区)+ CM2 复现攻坚
在做
  • 流式密集视频描述方向调研:主流仍是离线、2024 才出第一篇流式(后续跟进极少,研究空白);新趋势与大模型结合(7B 级,冻结/微调两派,微调需 4-8 卡)
  • 复现 query 代码效果极差排查:定位出论文与代码参数不一致(论文 50 vs 代码 300、编解码实际 6 层)+ 缺关键概念/词表文件——补齐后效果显著提升
  • ACCV 冲刺:两个 loss(定位/描述分支)+一个结构改进(共享+专用分支),仅 M 指标提升较大
卡点
  • 上次论文被评「为追速度找零散点、不成线」;意向二选一未定
  • 训练集动词名词提取方式没看懂需手补
计划
  • 复现 2024 流式基线;找问题别再散改(对比主流方法发现短板→集中系统改进,定一条主线+一个概念词)
  • 数据集先统计(事件/类别/时长+可视化);与袁康、佳欣讨论分工
2026-07组会+档案李威转型期:遗留回执 + LSS/CenterPoint 精读
在做
  • 0628 遗留回执:①backbone 预训练已加载✓ ②拷贝与原项目一致✓——但 3 点 gap 仍在(「核查完成≠问题解决」)
  • LSS+CenterPoint head 精读(自评 60-70%→暂停读新论文、基础到 80%)
  • 汇总 3-06 月朱老师全部建议;语音转文字接入 AI 工具链获认可
卡点
  • 手头四项目并行压力大
  • 对模型底层机制理解模糊(搜不到辅助损失模块)
计划
  • LSS 取 BEV 特征 + CenterPoint head(特征图怎么变成框)两着力点精读
  • 剥洋葱三层次(黑盒→四模块→逐块打开);BEV 特征构建四步推导;先空间后时序
2026-06档案袁康DN 证伪 + 论文保底三主干确定
在做
  • DN 机制实验:训练+验证都操作时明显提升,但准确率↑召回率显著↓(预测向 GT 收拢、覆盖变窄)
  • 分类损失两种新 loss 均优于 base 但后期退化
  • 论文目标 ACCV(7 月底截止)
卡点
  • DDVC 复现失败判「核心无效」
  • 概念词汇 GPT 统计维度爆炸(动词 300/名词 700)
计划
  • 论文保底三主干:分类损失+解耦架构+辅助 loss,7/17 初稿
  • 勿因局部未解决而频繁换方向;写作禁从结果倒推
2026-06档案杨丰企Sparse4D 深耕:前景/背景 head +1 点;QBI 论文投出
在做
  • 雷达视觉时序融合:feature leader 持续结合有效但训练不稳(loss 后期波动变平);朴素时序融合「太糙」
  • 前景/背景 head:历史 object 投射 → mAP +1 点(有效)
  • QBI 论文投出:7/17 初稿、7/25 定稿(7/28 截止)——「生成前景图增强 BEV」
卡点
  • 新 GT report 特征反降/持平(前景图学好→scale 放大→类别信息稀释:人/bicycle/motorcycle 掉点、car 不掉)
  • 静态/动态分离:静态 0.0几→2.3(数据量小致 feature 倾向动态)
计划
  • 新目标方案一:用 decoder 后层 query 隐含位置信息、筛选与前景分布差异大的 query 构建新 query(即插即用模块)
  • scale 改 concat;静态/动态 800 轮完整测试
2026-06档案白彤首篇论文定稿投出;接手虚拟相机线
在做
  • 论文 10 页双栏基本定稿(补实验、改图);经典架构精读 3 篇(可变形 attention 事件 query/语音预训练/外部知识库检索)
  • mask vs 插值缩放实验(3 升 1 降)——领域内少有人做、潜在创新点
  • 论文投出(代码开源策略:不全开源、部分开源核心模块或伪代码、防拒稿后被抄袭)
  • 接手虚拟相机线:高斯图像合成作分支特征——标准集 NDS 高于 base(+1 点多)但 mAP 降
卡点
  • 定位指标缺失
  • 扰动集结果异常待查
计划
  • 指标做公式级差异分析
  • 9 相机配置分析(7 环视+2 长焦前视、前置 5 台重叠较多)
2026-06档案胡佳欣高斯视角合成期:质量差 + 审稿自洽偏差被判不过
在做
  • 接虚拟相机线:重训高斯权重后扰动集 mAP 高于固定流势但低于原论文(NDS 略高);7V 略好于 6B
  • 训练一轮 3 天(两卡)
卡点
  • 合成视角质量差(视野窄/边缘扭曲/白底);裁剪致分辨率降 3/4
  • 朱老师判「审稿绝对不过」:高斯生成-推理自洽偏差(原论文实验本身有问题)
  • 虚拟相机内参变换实验始终未做
计划
  • 9V 数据集重叠核查最高优先级(卸共用部分+高斯补视角+真实视角推理=新基准,基准性工作长期价值)
  • 前视 100°→30° 内参变换低成本先做
2026-06档案张欣宇3D 感知线布置:高斯直接生成特征 + 跨模型泛化
在做
  • 虚拟相机可视化链路代码已加但一直没跑出结果;高斯建模调研(激光还原点云论文)
  • 9V 多视角数据集(2022 开源,7 环视+2 前视,约 1000 个 3D 场景)想做扣视角研究
卡点
  • 可视化没跑出结果、自己也没看过效果
计划
  • 传感器外参变化下的跨模型泛化(朱老师新方向建议:一套权重迁移不同传感器配置;竞争小、工业价值极高)
  • 高斯不生成图片再喂模型(易被质疑)→ 给内参让高斯直接生成特征、隐式传递视角信息
2026-06组会+仓库档案李威超算复现期:v19 full mAP 0.2851;BEVDet/BEVDepth 达标
在做
  • BEVFormer v19 full 完成:mAP 0.2851(较论文 0.34-0.37 低约 3 点)
  • BEVDet full mAP=0.2979(匹配论文 0.297)、BEVDepth full mAP=0.3446/NDS=0.4750——复现达标
  • mini 三轮独立复现 mAP≈0.003 → 诊断纯欠拟合、弃用 mini 为改进基准
  • Docker 化后交丰企(无卡)转 A100 四卡
卡点
  • mini 飘框严重(预测框漂浮、数量过多、颜色/坐标轴混淆)
  • 全量 1.3T 数据受文件系统/Lustre 制约
  • 现场考核 backbone/特征图/dataset 项答问不完整
计划
  • 先可视化核指标(bbox 投测试集:贴合=指标算错,不贴合=模型问题)
  • git compare 定位 config 差异;score 阈值在哪必须知道
2026-05档案袁康CG 概念引导器有效(+1 点、双数据集)
在做
  • RSDVC 复现
  • CG 概念引导器在 PDVC 上 +1 点、两个数据集均有效
  • 梳理所有实验成指标对比表→PPT
卡点
  • CTC 对齐无提升(证伪)
  • RSQI 微升但 mAP 降
计划
  • 先出论文初稿(中文即可)
2026-05档案杨丰企相机鲁棒性验证 + 公司实习任务并行
在做
  • BEVFormer 相机鲁棒性:3DGS 生成新视角 6V→12V 三方案对比;扰动集(相机±10°)上 12V 降幅最小验证鲁棒性
  • 公司实习任务并行:静态 4D 数据 PQ 融合、安克聚类(分距离段真值聚类)、SAM 产线加速(成果可用于毕业论文第一部分)
卡点
  • 纯投影效果差(偏移 0.35-0.85m 出黑区)
  • 高斯合成有一次骤降疑精度问题
计划
  • 打包 Docker 用公司 8-32 张 A800 加速
  • 先投影到固定虚拟视角再输入模型;尝试 6D→7D
2026-05档案志峰科研收尾期:公司任务与个人论文并行(组会外)
在做
  • 公司任务推进与个人论文收尾并行(组会外进行)
卡点
  • 组会缺席(0613/0912)
2026-05档案胡佳欣Deletion 增强 +0.5 点;论文精读期
在做
  • Deletion 增强(历史帧 box 投当前帧做点云增强)+0.5 点;三个代码分支(模块线)已合并
  • 视频描述论文精读:三层语义(全局动作/物体/三层词)+三辅助任务(跨模态匹配/句法指导预测词性/反向重构帧特征);画结构图说明视觉-文本关联
卡点
  • 首次汇报的三篇经典太早(2015-2017)被批——找近两年顶会
计划
  • 学习方式矫正:≤3 篇经典拆到代码级+反复问答迭代
  • 前景背景分离优先(改称「吸收式 delete」);新分支必须 mini 跑通、loss 正常下降才能合并
2026-05档案李威全量实验期:工程问题集中爆发
在做
  • 全量四实验并发(BEVDet/BEVDepth/Sparse4D 等,4 卡 DDP 预计 7-8 天,进度 49%)
  • 数据融合(动态/静态 check、PKL、20 帧切片)
卡点
  • OOM 显存 CPU 拉满;BEVFormer 评估 34 天异常(他人 32×A800 3 小时级)
  • Sparse4D DDP 差于单卡;多卡 DDP 跑不通(LR×GPU 数不适用、mmcv 版本嫌疑);磁盘满
计划
  • 复现标准=指标差 1-2 个点内;对照官方 DDP 代码、版本对齐
  • 训练后查 loss/梯度/热力图匹配度
2026-04档案袁康query 拆分确立主线(recall 提升)
在做
  • GT 直接放入 query 初始化提升大(300 query 随机初始化效果有限)
  • location/caption query 拆分后 recall 提升
卡点
  • 对比损失消融难做
计划
  • 换更合适的 loss、两 query 一致性约束、到大数据集验证
  • 中文 introduction 先写
2026-04档案杨丰企ADRP 实验(AP↑NDS↓权衡);主线定向 BEV×Sparse
在做
  • ADRP 数据集实验:padding 修复后 50m 内 AP 小升(bus/truck +3 点、cyclist +1、mAP +0.6),但 NDS 反降(速度 1.0→0.44)
  • 组内算力枢纽角色:承接调试完的代码跑全量(batch_size=6/4×A800/100ep)
卡点
  • base NDS 1.0+ 异常疑似代码问题
计划
  • 「在 BEV+LiDAR 架构上做改进,找 BEV 和 Sparse 结合的架构包装」——学术主线由此定向
2026-04档案志峰经验输出期:向组内输出科研工作流方法论
在做
  • 与李威深谈 3 小时:W&B 实验管理、YAML 配置化目录、断点续训三对象、「缝合」策略、以最新 SOTA 为 baseline、3D 感知 vs 视频描述选择
  • BEV 基础论文梳理(方向分工:BEV 相关研究);已调研 OCC
  • 向李威系统输出发论文经验
计划
  • 「时间紧就直接做 3D 感知最经典模型,先跑通一个完整流程」
2026-04档案张欣宇数据工程起步:数据集多维分析
在做
  • nuScenes 数据集多维度分析(HTML 报告,AI 辅助生成)
卡点
  • 仅限单一数据集不可复用
计划
  • 做成通用小工具(新项目拿到数据集即可快速分析)
2026-04档案李威实验起步期:一周跑通四大模型 + 自研工具亮相
在做
  • 一周内跑通 PointPillars / BEVFormer / TPVFormer / SwinBERT(nuScenes mini + Docker + 断点续训 + SwanLab 集成:mmcv Hook / Logger 适配器 / YAML launcher)
  • 自研 AI 文献调研工具;与志峰深谈获得工作流模板(W&B/YAML/断点续训/缝合策略)
卡点
  • 领域知识未「刻在脑子里」
计划
  • 不用跑那么多经典实验(DETR 系吃透即可)、先发散再收敛、得快一点(参考白彤节奏)
2026-03档案袁康起步期:毫米波雷达修正有效后收敛回视频描述主线
在做
  • 毫米波雷达距离修正(有效、ATE 显著降);滑动匹配确认有效
  • nuScenes 检测短板分析参与
卡点
  • 速度优化 vs 远距离优化方向二选一
计划
  • 完善评测指标、开始写论文初稿
2026-03档案杨丰企工程起步:评测体系对接 + 文档纪律推行
在做
  • 评测体系对接人(模型评测要考虑的指标与范围)
  • nuScenes 点云-图像投影数据质量分析
计划
  • 组内推行文档纪律:做任何事情都有文档(背景/思路/结果三要素)
2026-03档案白彤视频描述起步期:动态阈值 + GT 辅助 query
在做
  • 动态窗口/视频描述:动态阈值方向合理但实现太简单
  • GT 辅助 query(位置+文本特征编码)轻微提升(P/R +0.05)
计划
  • 扩展到时序;动态阈值+特征平滑合为一个创新点;同步写论文
2026-01档案志峰方法论输出:发论文经验系统分享
在做
  • 系统输出发论文经验:人肉读论文(AI 有幻觉)、在他人经典代码上改不从零写、小数据验证(100 万缩 1 万)、固定随机种子、实验管理、DDP/AMP/梯度累积、AI 写作+draw.io
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。