袁康 · 视频密集描述(Dense Captioning) · ky.toimc.cn

研究生 · 数据周期 2025-11 ~ 2026-11 · 更新至 2026-11-01
10 个月跑通论文全链路:第一篇 PR(一区)二审意见回来(两个 5 分)、审稿意见全文已解析——rebuttal 提分路径被审稿人明示;第二篇一对多迁移已出 +2 点——自定明年 1 月前出成果,进入连续产出节奏。

当前状态

截至 2026-11-01
  • LoRA 分支匹配+排序损失:权重 0.24→0.05→0.2 档效果最佳(再现"调小反而差");仅 UCL 数据集有效、ActivityNet 负提升
  • 数据集差异归因:约 13% 视频存在 GT 时段重叠(UCL 仅 2 例);GT 多的视频好、少的差
  • 候选分配诊断:额外候选偏向"已容易定位的 GT",难样本抢不到——预训练模型是否同偏差待对照

问题与卡点

现在卡在哪
  • 排序损失方法大数据集变差——同一配置下小/大数据集结论相反,须定位归因
  • 返修回复质量决定成稿下限——「方法行≠论文行」,论述与包装仍是短板

下一步

行动项
  • 排序损失权重定档 0.2 附近+第二数据集负迁移归因
  • 候选分配偏差 vs 预训练模型对照
  • 研究 timeline 时间表发朱老师

朱老师评价与指导要点

按时间序 · 远程组会指导记录

关键节点

绿 = 有效 · 蓝 = 论文 · 红 = 证伪 · 紫 = 指导
2026-03 ~ 04
探索起步,收敛主线
毫米波雷达距离修正有效(ATE 显著降)、速度优化多线试错后,收敛回视频描述主线。
2026-04
query 拆分确立主线有效
GT 直接放入初始化提升大;定位/描述 query 拆分后 recall 提升——此后 6 个月围绕 query 机制持续深挖。
2026-05
CG 概念引导器有效有效
PDVC 上 +1 点、两个数据集均有效(同期 CTC 对齐证伪无效)。
2026-06
DN 实验与保底策略
DN 训练+验证都操作时明显提升,但准确率↑召回率显著↓(证伪线);确定论文保底三主干:分类损失 + 解耦架构 + 辅助损失。
2026-07
三工作整合成文投出论文
分类损失 + 结构损失合用优于单独使用;定位质量分类损失 Recall 24.2→27.8、Precision +1~2。
2026-09
PR 返修提交、等二审论文
一审两小修一大修(补参数量对比/空域调制实验/换数据集),修订已提交。
2026-09
低分归因 + 第二篇成形
逐个分析最好/最差各 20 视频:低分集中在训练集低频「模板话术」类别(与句长/时长无关);第二篇创新点针对 DETR 一对一匹配正样本过少。
2026-09-27
一对多迁移首战 +2 点;PR 二审意见回来有效
一对多辅助分支迁到自己的密集描述模型:定位 F1 0.23→0.25、描述持平(小数据集);PR 二审两个 5 分(10/19 前出),主因「包装不足」——按意见补动机论述/多数据集消融。自定目标:明年 1 月前出成果并拆解待办。
2026-09-28
二审意见全文解析:三大实质弱点 + rebuttal 路径明确论文
意见全文(两位审稿人 + AI Review)入库细读:包装问题之外有三大实质弱点——①「两模块互补」表述被自家消融数据打脸(TSED-only 描述指标更高、加 TQCL 后反降,实为描述/定位的显式权衡,须按 trade-off 重写并找 loss weight 的 Pareto 配置);②提升无法排除「参数量增加」解释——缺容量匹配对照与 TSED 内部组件消融(adapter/独立 MSDA/FFN/GRU 反馈/共享参考点);③比较协议不统一——CLIP 特征 + 缺 7% 的数据子集 vs baseline 引用原论文数值,归因不清。审稿人二明示提分三件套:统一协议重跑强基线 + 容量匹配消融 + TQCL 定量校准(Spearman/ECE 对比 QFL/VFL)→ 可提至 borderline。
2026-10-11
期刊返修冲刺 + 排序损失移植大数据集遇阻 + 与白彤结对投 1 月会议
在审期刊新轮返修意见尖锐(要求补原理性新实验),实验已出好结果、回复信写作收尾(上周主攻此线);排序损失移植(朱老师 0927 三件事之一):权重调小反而不及原值,小数据集上方法有效有提升、大数据集同配置反而变差待定位;此前被拒论文改投 1 月截止会议,与白彤结对按截止日准备(导师:先投会、审稿周期短);另关注 PR 多模态专刊(约 20 天截止)。
2026-10-17
排序损失权重定档与数据集差异归因
UCL 有效/ActivityNet 负提升;GT 重叠率与候选分配偏差两路诊断

结果盘点

绿 = 确认有效 · 红 = 证伪排除(同样有价值)

✓ 确认有效

  • location/caption query 拆分:recall 提升
  • CG 概念引导器:+1 点(双数据集)
  • 定位质量分类损失:Recall +3.6 / Precision +1~2
  • 分类损失 + 结构损失合用优于单独使用

✕ 证伪排除

  • CTC 对齐无提升
  • DDVC 核心机制判无效
  • DN 机制精度-召回失衡
  • 概念区分性权重无提升

历史轨迹

11 条状态快照 · 时间倒序 · 点击展开当时的在做/卡点/计划 · 状态变更自动存档
2026-10-17回写10 个月跑通论文全链路:第一篇 PR(一区)二审意见回来(两个 5 分)、审稿意见全文已解析——rebuttal 提分路径被审稿人明示;第二篇一对多迁移已出 +2 点——自定明年 1 月前出成果,进入连续产出节奏。
在做
  • LoRA 分支匹配+排序损失:权重 0.24→0.05→0.2 档效果最佳(再现"调小反而差");仅 UCL 数据集有效、ActivityNet 负提升
  • 数据集差异归因:约 13% 视频存在 GT 时段重叠(UCL 仅 2 例);GT 多的视频好、少的差
  • 候选分配诊断:额外候选偏向"已容易定位的 GT",难样本抢不到——预训练模型是否同偏差待对照
卡点
  • 排序损失方法大数据集变差——同一配置下小/大数据集结论相反,须定位归因
  • 返修回复质量决定成稿下限——「方法行≠论文行」,论述与包装仍是短板
计划
  • 排序损失权重定档 0.2 附近+第二数据集负迁移归因
  • 候选分配偏差 vs 预训练模型对照
  • 研究 timeline 时间表发朱老师
2026-10-11回写10 个月跑通论文全链路:第一篇 PR(一区)二审意见回来(两个 5 分)、审稿意见全文已解析——rebuttal 提分路径被审稿人明示;第二篇一对多迁移已出 +2 点——自定明年 1 月前出成果,进入连续产出节奏。
在做
  • 在审期刊新轮返修冲刺:补的原理性新实验已出结果,回复信收尾(上周主线)
  • 排序损失移植:小数据集有效有提升;大数据集同配置反而变差——问题定位中
  • 与白彤结对瞄准 1 月截止会议投稿(导师拍板:先投会,审稿周期短)
  • 关注 PR 多模态专刊(约 20 天截止,方向接近即改即投)
卡点
  • 排序损失方法大数据集变差——同一配置下小/大数据集结论相反,须定位归因
  • 返修回复质量决定成稿下限——「方法行≠论文行」,论述与包装仍是短板
计划
  • 回复信+新实验收尾提交返修
  • 排序损失大数据集变差的问题定位
  • 与白彤对齐 1 月截止会议、按截止日准备投稿
  • PR 多模态专刊评估改投
2026-09-28回写10 个月跑通论文全链路:第一篇 PR(一区)二审意见回来(两个 5 分)、审稿意见全文已解析——rebuttal 提分路径被审稿人明示;第二篇一对多迁移已出 +2 点——自定明年 1 月前出成果,进入连续产出节奏。
在做
  • PR 二审意见已回(两个 5 分,10/19 前出)——意见全文已解析,rebuttal 三路径:统一协议重跑强基线 / 容量匹配消融 / TQCL 定量校准
  • 一对多辅助分支迁移:定位 F1 +2 点,待大数据集验证
  • 自定目标:明年 1 月前沿该方向出成果(待办拆解中)
卡点
  • PR 修改质量决定成稿下限——「方法行≠论文行」,论述与包装是当前短板
  • 「两模块互补」表述与消融数据矛盾(TQCL 加入后描述指标反降)——须改写为显式权衡并找 Pareto 配置
  • 一对多属 DETR 系已知路线,margin/置信度设计须差异化
  • PR 二审 10/19 前出,Plan B 需提前备好
计划
  • margin 调小(0.1/0.05)+ 分类/回归双置信度约束(朱老师方法论)
  • 一对多在大数据集上验证
  • PR rebuttal:统一协议(同特征/同子集/同描述头)重跑 DDVC/ROS-DVC + 容量匹配消融 + TQCL 定量校准(Spearman/ECE 对比 QFL/VFL)——审稿人二明示可提至 borderline
2026-09-27组会第二篇一对多首战落地(定位 F1 +2 点);PR 二审意见回来(两个 5 分)
在做
  • 研究 DETR 一对多分配论文(FFN 多分支执行一对二/三/四策略、辅助 head 不参与推理、加 LoRA +1 点多),迁移到 PDVC 底座:主体一对一+一对多辅助头+低质量过滤+质量感知损失
  • 迁移结果:定位 F1 0.23→0.25(+2 点)、描述指标基本持平(小数据集)
  • PR 二审意见回来:两个审稿人各 5 分,终审最晚 10/19 出
卡点
  • margin 排序选择 margin=0.2 被批太激进——改 0.1/0.05 重试
  • 二审主因:与已有思想相似+包装不足
计划
  • 按意见补损失函数设计动机/低点正面处理(瑕不掩瑜论述)/多数据集消融
  • 自定目标:明年 1 月前出成果并拆解待办
  • 引入回归置信度+分类/回归双高约束(朱老师方法论)
2026-09-19组会高低分分析落地(低分集中在低频模板话术类别);第二篇创新点首次露出
在做
  • 最好/最差各 20 视频逐个分析:低分与句长、时长均无关,集中在训练集低频「模板话术」类别(模型预测偏向高频模板)
  • 第二篇创新点首露:DETR 一对一匹配正样本过少 → 一对多辅助分支(多分支不同策略/权重)+ decoder 后 FFN 处插轻量模块(小参数不大改、类 adapter、可迁移)
卡点
  • 低分归因需按类别切小类逐类对比
计划
  • 长尾假设验证:出现只有几次的类别预测精度下降,是不是拟合/学习本身没学到特征
  • 一对多方案设计与底座迁移实验
2026-09-12组会PR(一区)返修提交、等二审
在做
  • PR(Pattern Recognition 一区)返修修订已提交(一审两小修一大修:补参数量对比/空域调制实验/换数据集)
  • DN 架构底层设计修正:召回改善但精确率又降,整体不如 baseline
  • 交叉注意力可视化:描述权重分布异常散
卡点
  • DN 线整体不如 baseline——密集描述领域没人用 DN,没效果不必硬走
计划
  • 等二审
  • 注意力分析统计高分/低分 case 规律
  • 目标管理:量化目标+死线(「把我当 AI agent 用」)
2026-07档案三工作整合成文投出;定位质量分类损失 Recall 24.2→27.8
在做
  • 三个工作整合统一代码:分类损失+结构损失合用优于单独使用
  • 定位质量分类损失:Recall 24.23→27.8、Precision 34→35-36
  • 论文注册并当晚提交(保底干预:先写出来先投出,不投即 0)
卡点
  • 纠结「没彻底解决会被审稿人否定」——被干预:叙事从「缓解问题」切入
计划
  • 下一目标 7/28 截稿
  • 先写详细提纲
2026-06档案DN 证伪 + 论文保底三主干确定
在做
  • DN 机制实验:训练+验证都操作时明显提升,但准确率↑召回率显著↓(预测向 GT 收拢、覆盖变窄)
  • 分类损失两种新 loss 均优于 base 但后期退化
  • 论文目标 ACCV(7 月底截止)
卡点
  • DDVC 复现失败判「核心无效」
  • 概念词汇 GPT 统计维度爆炸(动词 300/名词 700)
计划
  • 论文保底三主干:分类损失+解耦架构+辅助 loss,7/17 初稿
  • 勿因局部未解决而频繁换方向;写作禁从结果倒推
2026-05档案CG 概念引导器有效(+1 点、双数据集)
在做
  • RSDVC 复现
  • CG 概念引导器在 PDVC 上 +1 点、两个数据集均有效
  • 梳理所有实验成指标对比表→PPT
卡点
  • CTC 对齐无提升(证伪)
  • RSQI 微升但 mAP 降
计划
  • 先出论文初稿(中文即可)
2026-04档案query 拆分确立主线(recall 提升)
在做
  • GT 直接放入 query 初始化提升大(300 query 随机初始化效果有限)
  • location/caption query 拆分后 recall 提升
卡点
  • 对比损失消融难做
计划
  • 换更合适的 loss、两 query 一致性约束、到大数据集验证
  • 中文 introduction 先写
2026-03档案起步期:毫米波雷达修正有效后收敛回视频描述主线
在做
  • 毫米波雷达距离修正(有效、ATE 显著降);滑动匹配确认有效
  • nuScenes 检测短板分析参与
卡点
  • 速度优化 vs 远距离优化方向二选一
计划
  • 完善评测指标、开始写论文初稿
袁康研究生
视频密集描述(Dense Captioning)
PR 二审两个 5 分一对多迁移 +2 点CG 引导器 +1 点Recall +3.6
本站内容整理自组会记录(2025-11 ~ 2026-10),发布前已脱敏:个人去向与单位信息、个人事务、联系方式均已去除,仅保留学习与科研进展。