EgoCross_data_and_paper_analysis_zh

# EgoCross 官方资源解读与进一步研究方案

## 1. 资源总览

本次解读基于 4 个入口：

- EgoCross Benchmark 官网：https://egocross-benchmark.github.io/
- CVPR 2026 EgoVis Workshop：https://egovis.github.io/cvpr26/
- 评测推理代码仓库：https://github.com/MyUniverse0726/EgoCross
- Qwen3-VL-4B 训练微调仓库：https://github.com/LiYu0524/EgoCross_SFT_qwen3vl4b

按 2026-03-17 当前页面内容，EgoCross challenge 已经挂到 EgoVis @ CVPR 2026 下，workshop 日期为 2026-06-03 / 2026-06-04，challenge leaderboard 自 2026-02 起开放，关闭时间是 2026-05-13。

## 2. 官网与 Workshop 解读

### 2.1 EgoCross 官网在说什么

官网的定位很直接：

- 这是一个 cross-domain egocentric VQA benchmark
- 覆盖 4 个域：Surgery、Industry、Extreme Sports、Animal Perspective
- 规模是 798 clips、957 QA
- 同时支持 CloseQA 与 OpenQA

官网更像 challenge 门户，而不是文档中心。它给出的最重要信息是：

- challenge 已经作为 CVPR 2026 EgoVis Workshop 的一部分启动
- 有两个 Codabench 入口：
  - Source-Limited Track
  - Open-Source Track

所以如果从实验设计角度理解，官网承担的是“官方口径 + challenge 入口”的角色。

### 2.2 Workshop 页面透露了哪些更关键的信息

Workshop 页面比官网多出 3 类对实验更有用的信息：

1. **Challenge 的任务定义**
   给定 novel domain 的第一视角视频和一个问题，目标是在 A/B/C/D 四个选项中选出正确答案。

2. **两条赛道的约束**
   - Source-Limited Track：限制使用官方提供的 baseline model 和小规模 support set，强调 adaptation algorithm 的公平比较
   - Open-Source Track：页面描述里写的是“对 base model 没有限制，甚至鼓励 commercial models”，并允许额外数据，只要不是专门手工构造来对齐目标域

3. **当前 SOTA**
   两个赛道页面都写了同一个当前 SOTA：`SFT-Qwen3VL`，四域平均准确率 `0.4608`

这三个点说明目前 challenge 的官方 baseline 仍然偏弱，且“方法空间”并没有被收紧到很死，至少在非 source-limited 轨道里仍然有很大研究空间。

### 2.3 一个值得注意的命名漂移

几个官方/半官方页面之间存在轻微命名不一致：

- 官网 / workshop 页面叫 `Open-Source Track`
- Qwen3-VL-4B 训练仓库 README 里叫 `Source-Free`

从页面描述看，后一种说法更接近“零样本或不受 support-set 约束的更开放赛道”，但 workshop 页面实际描述又允许额外数据和 commercial models，因此更准确的理解应以 workshop 当前文字为准，而不要仅凭仓库 README 的历史命名。

## 3. 评测代码仓库解读

### 3.1 这个仓库实际提供了什么

`MyUniverse0726/EgoCross` 当前仓库根目录主要有：

- `eval_os_closedset.py`
- `eval_gpt_closedset.py`
- `eval_gpt_openset.py`
- `eval_gemini_closedset.py`
- `eval_gemini_openset.py`
- `datasets/`

可见它主要覆盖的是：

- 本地 open-source VLM 的 **closed-set**
- GPT / Gemini 的 **closed-set + open-set**

### 3.2 代码层面的几个明确信号

从 `eval_os_closedset.py` 可以看出，当前本地开源模型评测的默认思路是：

- 输入为视频或抽帧后的图片序列
- 通过固定 prompt 让模型输出 JSON：
  - `prediction`
  - `reason`
- 最终只比较 `prediction` 和正确选项字母

支持的模型分支包括：

- `qwen25vl`
- `qwen25vl_3b`
- `internvl25`
- `internvl3`
- `videollama3`

但这里已经能看出仓库存在维护漂移：

- `setup_model()` 里仍支持 `qwen2vl`
- `parse_args()` 的 `choices` 却没有 `qwen2vl`
- README 里提到 `preference.py`
- 仓库根目录当前并没有这个文件
- `eval_gpt_openset.py` 依赖 `chat_vlms`
- 仓库根目录当前也没有这个模块

这意味着当前仓库更像“可参考的 benchmark 脚本集合”，而不是一套无缝可复现的完整评测包。

### 3.3 对实验设计的启发

这个评测仓库背后的默认范式其实非常朴素：

- 单轮推理
- 固定 prompt
- 直接 answer selection

这恰好说明还有很大的研究空间没有被 baseline 吃掉，特别是：

- 更强的时序采样策略
- 更强的 task-aware prompt
- domain-aware adaptation
- OpenQA 对开源模型的完整实现

### 3.4 一个重要现实点

README 里把 `MyUniverse0726/EgoCross` 写成主仓库，但同时又说真正的 “official evaluation code (leaderboard/submission)” 在 `EgoCross-Benchmark/EgoCrossCodes`。这说明当前你给的这个仓库更像公开版评测脚本和说明，而不是 challenge 提交后端的唯一标准实现。

因此做实验时最好区分三类东西：

- 论文 benchmark 定义
- 公开脚本仓库
- 真正 leaderboard 的提交格式与后端

不要默认三者完全等价。

## 4. Qwen3-VL-4B SFT 仓库解读

### 4.1 它的定位

`LiYu0524/EgoCross_SFT_qwen3vl4b` 的定位非常清楚：

- 基于 `Qwen/Qwen3-VL-4B-Instruct`
- 用 `LLaMA-Factory` 做训练
- 提供 `full_sft.yaml` 与 `lora.yaml`
- 目标是给 EgoCross challenge 提供一个可复现实验 baseline

### 4.2 数据与训练设定

README 里给出的 support set 统计是：

- Animal：20
- Industry：20
- XSports：20
- Surgery：20
- 合计：80 条 support samples

也就是说，这个 baseline 不是大规模训练，而是典型的小样本域适配设置。

训练配置也很标准：

- Full SFT：4 卡，`lr=1e-5`，2 epochs，DeepSpeed ZeRO-2
- LoRA：单卡可跑，`rank=64`，`lr=2e-4`
- 图像像素上限控制在 `360000`

### 4.3 它真正说明了什么

README 给出的结果是：

- Baseline：45.14
- Full SFT epoch 1：45.98
- Full SFT epoch 2：46.08

这个结果很有启发性，因为它说明：

1. **SFT 是有效的，但收益很有限**
   只提升了不到 1 个点。

2. **跨域泛化不是“补一点 support set 就自然解决”的问题**
   这类任务更像结构性泛化缺陷，而不是简单缺监督。

3. **各域收益不均衡**
   README 中 Surgery 甚至略降，Animal 基本不动，说明单一统一 SFT 并没有真正解决 domain-specific difficulty。

### 4.4 仓库当前的边界

这个仓库当前更像“训练 baseline + 提交模板”，而不是完整研究框架：

- 有训练配置
- 有 `prepare_data.py`
- 有 `submission_template.json`
- 但没有完整的研究型 ablation 组织
- 也没有更强的 domain routing / retrieval / RL / OpenQA 方案

因此它更适合作为你做后续方法扩展的起点，而不是终点。

## 5. 哪些方向最值得进一步研究

下面这些方向不是泛泛而谈，而是从 challenge 规则、评测代码现状和 SFT baseline 短板直接推出来的。

### 5.1 Domain-Aware Routing / Adapter Routing

**为什么值得做**

- EgoCross 的难点本质就是 domain shift
- 当前 baseline 用一个统一模型直接回答四个域
- SFT 整体收益小，说明统一参数更新不够针对

**怎么做**

- 先做 domain classifier，识别输入属于 surgery / industry / xsports / animal 哪一类
- 根据域选择：
  - 不同 prompt
  - 不同 LoRA adapter
  - 不同 frame sampler
  - 不同 answer post-processor

**适合赛道**

- Source-Limited：可以做 support-set 驱动的 adapter routing
- Open-Source：可以进一步做 mixture-of-experts 或 router + external memory

### 5.2 Support-Set Retrieval Augmentation

**为什么值得做**

- 官方 support set 每域只有 20 条，但它们非常宝贵
- 当前 baseline 更像把 support set 当训练样本，而不是“推理时可检索知识”

**怎么做**

- 建立 support-set embedding index
- 按视觉相似度、问题类型、对象词汇检索相近样本
- 在推理时注入 few-shot exemplars 或 structured hints

**价值**

- 比统一 SFT 更符合小样本适配场景
- 对 Source-Limited track 尤其自然

### 5.3 Task-Type-Aware Specialization

**为什么值得做**

- EgoCross 明确分成 Identification / Localization / Prediction / Counting
- 这些任务的推理结构差异非常大

**怎么做**

- 先做 question type classifier
- 为不同 task family 设计不同的 answer protocol：
  - Localization：强制 timestamp 格式
  - Counting：显式“先枚举后计数”
  - Prediction：显式“当前状态 -> 下一步”
  - Identification：显式“候选项对比”

**价值**

- 这比单一 prompt 更可能提升难任务稳定性
- 特别适合 OpenQA / Localization / Prediction

### 5.4 Temporal Calibration 和 Timestamp Grounding

**为什么值得做**

- 论文里已经点出 GPT-4.1 在 animal localization 上会答成“第几帧”，而不是时间戳
- 说明当前模型对 FPS、帧号、时间轴的绑定并不稳

**怎么做**

- 显式注入 frame-index -> timestamp 映射
- 对定位问题使用结构化输出约束
- 在训练时加入 timestamp normalization loss 或格式奖励

**价值**

- 这类方法可能不会提升所有题型
- 但很可能显著提升 Localization 类问题

### 5.5 OpenQA for Open-Source Models

**为什么值得做**

- 当前公开仓库对 open-source 模型只给了 `closed-set`
- 开源本地模型的 `open-set / openqa` 路径并没有完整落地

**怎么做**

- 补齐本地开源模型 OpenQA evaluator
- 统一 judge 协议
- 研究 answer normalization、semantic equivalence、self-critique

**价值**

- 这是很明确的仓库空白点
- 既是工程贡献，也能做成论文实验点

### 5.6 RL / Preference Optimization for Cross-Domain QA

**为什么值得做**

- 原论文 pilot study 里 RL 提升明显大于 prompt 和 SFT
- 当前 Qwen3-VL baseline 只有 SFT / LoRA

**怎么做**

- 以 support set 或 judge model 为奖励信号
- 做 DPO / ORPO / GRPO / RLAIF 风格优化
- 奖励项不只看答对，还看：
  - 格式正确
  - timestamp 合法
  - reasoning consistency

**价值**

- 这是当前 baseline 最缺的一环
- 也是最有希望超过 `0.4608` 的方法方向之一

### 5.7 Domain-Specific Knowledge Injection

**为什么值得做**

- Surgery 和 Industry 的困难之一是术语和工具知识
- 通用 MLLM 往往看懂大概动作，但说不准专业对象

**怎么做**

- 为不同域建立轻量知识库：
  - surgical tools / phases
  - industrial components / operations
  - sports maneuvers
  - animal action patterns
- 在开放赛道里做 RAG 或 concept injection

**风险**

- Source-Limited track 下要严格核对规则，避免越界
- Open-Source track 更适合做这类增强

### 5.8 Adaptive Frame Sampling / Video Token Budgeting

**为什么值得做**

- 当前公开脚本本质上还是固定 fps / 固定 token budget
- Extreme Sports 和 Industry 对关键帧密度更敏感

**怎么做**

- 按 motion / scene change / hand-object interaction 自适应抽帧
- 针对 Prediction / Localization 任务用更高时序密度
- 针对 Identification / Counting 任务用更稳的代表帧策略

**价值**

- 这是最容易在不大改模型前提下拿到收益的方向之一

### 5.9 Multi-Stage Answering Pipeline

**为什么值得做**

- 当前脚本基本都是“一次性直接答”
- 但 EgoCross 的很多问题天然适合分解

**怎么做**

- Stage 1：识别 domain / task /关键对象
- Stage 2：做局部证据抽取
- Stage 3：输出选项或开放式答案

**价值**

- 更适合复杂 Prediction 和 Localization
- 可与 retrieval、routing、RL 组合

## 6. 我建议你优先做的 3 条线

如果你接下来要把工作做成真正的论文级实验，我建议优先按下面顺序推进：

1. **Domain-aware adapter routing**
   成本适中，和 benchmark 本质最对齐。

2. **Support-set retrieval + task-aware prompting**
   最贴近 source-limited 赛道，容易形成强 baseline。

3. **RL / preference optimization on top of Qwen3-VL**
   风险更高，但潜在收益也最大。

## 7. 直接可落地的实验设计

### 实验 A：统一 SFT vs 分域 LoRA

- Baseline：当前 full SFT / LoRA
- 方法：每域单独 LoRA + 路由器
- 指标：overall、4 domains、4 task families

### 实验 B：support-set 检索增强

- Baseline：直接答题
- 方法：检索 top-k 支持样本后拼到上下文
- 消融：视觉检索 / 文本检索 / 联合检索

### 实验 C：task-aware prompt

- Baseline：统一 prompt
- 方法：对 I/L/P/C 使用不同模板
- 重点观测 Localization 与 Prediction

### 实验 D：RL or preference tuning

- Baseline：SFT Qwen3-VL-4B
- 方法：在 support set 或 judge reward 上做偏好优化
- 重点看是否能把平均准确率稳定推过 `0.4608`

## 8. 结论

从 2026-03-17 看到的官方资源来看，EgoCross 现在正处于一个非常适合做方法研究的阶段：

- benchmark 定义已经清楚
- challenge 已经挂到 CVPR 2026 EgoVis
- 官方 baseline 还不强
- 公开代码存在明显空白和漂移

这意味着后续真正值得做的，不是再写一版普通 SFT，而是围绕 **domain adaptation、retrieval、task decomposition、temporal grounding、RL** 这几个方向做系统化方法设计。


EgoCross_official_resources_and_research_plan_zh

# EgoCross Source-Limited 榜单分析与提升方案

截至 `2026-03-28`，这份分析只面向 `EgoCross Source-Limited Track`。核心问题不是“还能不能继续涨分”，而是“在不更换 base model 的前提下，当前公开榜单已经证明哪些方法有效，以及下一步最值得投入的高 ROI 方向是什么”。

本分析固定使用以下事实源：

- 本地笔记：[egocross-onevision-analysis.md](/Users/wenfeng/graduate/project/paper/egocross-onevision-analysis.md)
- 本地官方资源解读：[EgoCross_official_resources_and_research_plan_zh.md](/Users/wenfeng/graduate/paper/output/egocross/EgoCross_official_resources_and_research_plan_zh.md)
- Codabench Source-Limited competition page: [competition 11279](https://www.codabench.org/competitions/11279/)
- Codabench Source-Limited leaderboard API: [phase 18547](https://www.codabench.org/api/phases/18547/get_leaderboard/)
- Codabench Open-Source leaderboard API: [phase 23006](https://www.codabench.org/api/phases/23006/get_leaderboard/)

## 1. 现状：榜单快照

官方 `Overview` 页面明确写明：Source-Limited 赛道使用 `Qwen3-VL-4B` 作为固定 baseline，评测任务是四选一 `MCQA`，榜单以 `Overall Accuracy` 作为主排名指标；同时展示 `Animal / XSports / Industry / Surgery` 四个域的 accuracy。

### 1.1 当前公开榜单

| 条目 | 赛道 | 提交者 | 提交时间 | Overall | Animal | XSports | Industry | Surgery |
| --- | --- | --- | --- | ---: | ---: | ---: | ---: | ---: |
| Top-1 | Source-Limited | `meowcross` | 2026-03-21 | `0.579937` | `0.7158` | `0.5569` | `0.5673` | `0.5230` |
| Top-2 | Source-Limited | `xiang_li` | 2026-03-20 | `0.579937` | `0.7158` | `0.5528` | `0.5510` | `0.5406` |
| 官方 baseline | Source-Limited | `yu-li` | 2026-02-11 | `0.460815` | `0.5519` | `0.4837` | `0.3510` | `0.4770` |
| Open-Source Top-1 | Open-Source | `blessing988` | 2026-03-10 | `0.559039` | `0.6995` | `0.4553` | `0.4653` | `0.6396` |

需要明确的事实：

- Source-Limited 当前榜首是 `0.579937`。
- Source-Limited 前两名并列第一。
- 官方公开 baseline `yu-li` 是 `0.460815`。
- 当前 Open-Source 榜首是 `0.559039`。
- Source-Limited 的主排名依据是 `Overall Accuracy`，不是单域最好分。

### 1.2 相对官方 baseline 的绝对增益

以下增益用 `Source-Limited Top-1 - 官方 baseline` 计算：

| 指标 | 增益 |
| --- | ---: |
| Overall | `+0.119122` |
| Animal | `+0.1639` |
| XSports | `+0.0732` |
| Industry | `+0.2163` |
| Surgery | `+0.0460` |

这组差值支撑了一个很强的结论：当前 Source-Limited 的跃升不是“统一小涨”，而是**显著修复了 Industry 和 Animal，适度改善了 XSports，而 Surgery 提升最小**。

### 1.3 相对 Open-Source 榜首的差值

以下差值用 `Source-Limited Top-1 - Open-Source Top-1` 计算：

| 指标 | 差值 |
| --- | ---: |
| Overall | `+0.020898` |
| Animal | `+0.0163` |
| XSports | `+0.1016` |
| Industry | `+0.1020` |
| Surgery | `-0.1166` |

这组差值说明另一件事：**Source-Limited 当前领先 Open-Source，不是靠 Surgery，而是靠 XSports 和 Industry 的强补偿**。因此如果目标是继续追 Source-Limited 的更高上限，优先级不应放在 Surgery。

## 2. 分域差距如何理解

从公开榜单看，当前最重要的不是“平均分更高”，而是“哪个域还在拉后腿”。

### 2.1 Industry 是最大确定性收益来源

- 相对官方 baseline，Industry 一次性提高了 `+21.63` 个点，是四域最大增益。
- 相对 Open-Source 榜首，Source-Limited 在 Industry 仍然领先 `+10.20` 个点。
- 这说明 Industry 最受益于受控的域适配，而不是更大的 base model。

工程含义是：**Industry 的提升更像来自 domain-aware adaptation、support-set 使用方式和推理策略，而不是简单继续统一 SFT**。

### 2.2 Animal 已经被明显修复，但边际空间开始变小

- 相对官方 baseline，Animal 提升 `+16.39` 个点，属于大幅修复。
- 但相对 Open-Source 榜首，只领先 `+1.63` 个点，说明这一域的显性低垂果子已经不多。

因此 Animal 仍值得优化，但不应再被当作第一优先级。更合理的定位是：**用于巩固 overall，而不是作为唯一突破口**。

### 2.3 XSports 还存在明显的剩余空间

- 相对官方 baseline，XSports 提升 `+7.32` 个点。
- 相对 Open-Source 榜首，Source-Limited 反而领先 `+10.16` 个点。

这意味着 XSports 对策略很敏感，尤其可能依赖：

- 更好的帧采样
- 更强的时序提示
- 更适合高速运动场景的局部证据抽取

### 2.4 Surgery 不是当前第一优先级

- 相对官方 baseline，Surgery 只提升 `+4.60` 个点，是四域最小。
- 相对 Open-Source 榜首，Source-Limited 反而落后 `-11.66` 个点。

这并不说明 Surgery 没有研究空间，而是说明在 **当前 Source-Limited 的 overall 竞争里，Surgery 不是最划算的追分入口**。如果资源有限，更应该优先投到 `Industry / XSports / Animal`。

### 2.5 任务级结论仍然要谨慎

公开 competition 的 `detailed results` 当前是关闭的，因此榜单只提供**域级**可见证据，不提供 task-family 级别的公开拆解。  
所以针对 `Identification / Localization / Prediction / Counting` 的判断，需要结合 benchmark 论文与数据设计，而不能伪装成 leaderboard 直接观测。

## 3. 规则约束：什么是合法提升

根据 competition `Overview / Data Preparation / Evaluation` 页面，Source-Limited 赛道的边界很明确：

- 固定 baseline model：`Qwen3-VL-4B`
- 可用官方 support set：`80` 条，四域各 `20`
- 可用公开数据
- 鼓励新算法
- 不允许替换成更强 base model
- 不允许手工搜集并构造额外 support examples
- 排名只看 `Overall Accuracy`

还有两个很关键但容易被忽视的点：

- 组织方在 `Data Preparation` 页面明确提供了四个**分域的 Qwen3-VL-4B 微调模型**，这使得“分域路由”不仅合法，而且在规则上有明确支撑。
- 提交只需要 `predictions.json` 里的最终选项字母，因此很多提升可以放在**推理、采样、校准和 reranking**，不一定非要继续重训练。

## 4. 榜单已经证明了什么

### 4.1 继续做统一 SFT 不是主线

本地已有解读中，官方公开的 Qwen3-VL-4B SFT baseline 从 `45.14` 提到 `46.08`，提升不到 `1` 个点。  
而当前 Source-Limited Top-1 已经到 `57.99`，相对官方公开 baseline 多出 `11.91` 个点。

这说明真正有效的不是“再做一版统一 SFT”，而是：

- 更强的域适配
- 更合理的 support-set 使用方式
- 更有针对性的推理策略

### 4.2 Source-Limited 已经证明“受控适配”可以超过开放赛道当前公开成绩

当前 Source-Limited Top-1 `0.579937` 高于 Open-Source Top-1 `0.559039`。  
这不意味着 Source-Limited 天然更强，而是说明 **在 EgoCross 这种小 support-set、强 domain shift 的任务上，方法设计可能比换更大的模型更关键**。

### 4.3 现阶段最值得追的是“结构化适配”，不是“模型换代”

因为 base model 被固定，真正还能做的竞争空间主要集中在：

- routing
- retrieval
- prompt specialization
- frame sampling
- calibration / reranking

这些方向都能映射到现有 baseline 代码范式，不需要新增公共 API，也不违反规则。

## 5. 规则允许且值得试的 5 条方法路线

下面所有路线都默认输入是：

- `Qwen3-VL-4B` baseline
- 官方 `80` 条 support set
- 赛道允许的公开数据

每条路线都按 `输入 -> 修改点 -> 目标域 -> 风险` 来写。

### P1. Domain-aware routing

**输入**  
`Qwen3-VL-4B` base model，四域 support set，组织方提供的四个分域 SFT checkpoint 或自训四个分域 LoRA。

**修改点**  
不要再用一个统一策略覆盖四域。直接按 `dataset`、`domain` 或等价元数据做**确定性路由**，把测试样本送到对应的域专家：

- Surgery -> surgery adapter/checkpoint
- Industry -> industry adapter/checkpoint
- XSports -> xsports adapter/checkpoint
- Animal -> animal adapter/checkpoint

第一版不需要学一个复杂 router，直接基于输入字段做硬路由即可；第二版再考虑共享骨干 + 多 LoRA 热插拔。

**预期收益域**  
`Industry` 最大，`XSports / Animal` 次之，`Surgery` 最低。

**风险**  
四域各只有 20 条 support sample，独立 adapter 容易过拟合；如果路由过硬，边界样本会被错误分配。

### P1. Support-set retrieval + in-context exemplars

**输入**  
80 条 support set，测试样本的 `question_text / options / frames`。

**修改点**  
不要只把 support set 当训练集。改成“训练 + 推理双用途”：

- 建立 support-set 索引
- 检索同域、同题型、视觉相似或文本相似的 top-k 样本
- 在推理 prompt 中注入 few-shot exemplars 或结构化 hint

优先做轻量版本：

- 文本检索：`question_text + options`
- 同域过滤：先按 domain 限定候选
- top-k 小于等于 `3`

第二步再加视觉检索，例如对若干关键帧做 embedding，再和 support images 做近邻匹配。

**预期收益域**  
`Industry / Animal / XSports`；尤其适合 object-heavy、procedure-heavy 或 counting 类问题。

**风险**  
检索噪声会污染 prompt；上下文过长会挤占视觉 token；如果 exemplars 过拟合同一模板，可能抬单域但不抬 overall。

### P2. Task-type-aware prompting

**输入**  
测试样本里的 `primary_category / question_type / question_text / options`。

**修改点**  
针对 `Identification / Localization / Prediction / Counting` 定义不同推理协议，而不是一个统一 prompt：

- Identification：先比对候选项，再给答案
- Localization：先定位关键时刻或关键区域，再映射到选项
- Prediction：先描述当前状态，再预测下一步
- Counting：先枚举再计数，最后再映射到候选项

输出仍然收束到单个字母，保证提交格式不变。

**预期收益域**  
`XSports / Industry` 更明显，因为这两个域更依赖时序理解和目标对比；Animal 可作为稳定增益项。

**风险**  
不同 prompt protocol 之间的行为差异会放大；如果生成冗长 reasoning，反而可能压缩视觉理解预算。

### P2. Adaptive frame sampling

**输入**  
`video_path` 对应的图像序列。

**修改点**  
不要固定 uniform sampling。按题型和域自适应调整帧预算：

- XSports / Animal：提高时序密度，捕捉快速动作变化
- Industry / Surgery：保留更稳的操作关键帧
- Localization / Prediction：优先保证时间连续性
- Identification / Counting：优先代表帧覆盖和去冗余

最稳妥的第一版不是复杂的视频 tokenizer，而是：

- 按帧差或轻量运动信号选关键帧
- 不同域使用不同帧数上限
- 对 Localization / Prediction 设置更高密度采样

**预期收益域**  
`XSports` 第一，`Animal` 第二。

**风险**  
采样策略如果过激，容易丢掉长时上下文；不同题型之间的最优采样策略不一致。

### P3. Calibration / self-consistency / reranking

**输入**  
同一个 Qwen3-VL-4B，单题的四个选项。

**修改点**  
不改训练，直接在推理后端做稳健化：

- 多 prompt 模板重复推理
- 多次采样后做 majority vote
- 让模型分别对四个选项做独立打分，再 rerank
- 对高不确定样本引入 self-consistency 复核

由于提交只看最终字母，这类方法很适合当成最后一层“保底后处理”。

**预期收益域**  
全域小幅收益，更适合吃最后 `1-3` 个点；对容易受选项偏置影响的问题更有价值。

**风险**  
计算成本增加；如果模型内部置信不稳定，reranking 可能引入波动。

## 6. 优先实验路线

如果目标是尽快在 Source-Limited 赛道上做出一条有说服力的追分路线，建议按以下顺序推进：

1. **先做 deterministic domain routing**
   直接利用已有 domain 字段或等价元数据，把样本路由到分域 checkpoint / LoRA。  
   这是规则最清晰、实现最直接、最符合榜单证据的第一步。

2. **再加 support-set retrieval**
   让 support set 从“只用于训练”变成“训练 + 推理时可检索 exemplars”。  
   这一步最可能继续抬 `Industry / Animal / XSports`。

3. **然后引入 task-type-aware prompt**
   先做四类主任务的 prompt protocol，再看是否对 `Localization / Prediction` 有额外收益。

4. **第四步改自适应采样**
   重点盯 `XSports / Animal`，避免对 Surgery 过拟合。

5. **最后叠加 calibration / reranking**
   这一步不负责“结构性突破”，但非常适合吃榜单末端增益。

## 7. 结论

截至 `2026-03-28`，EgoCross Source-Limited 的公开榜单已经证明：

- `Qwen3-VL-4B` 固定并不意味着方法空间很小
- 单一统一 SFT 不是主线
- 真正有效的是结构化的域适配与推理设计

如果只看接下来最值得投的方向，优先级应是：

- `Industry`
- `XSports`
- `Animal`
- `Surgery`

如果只看方法，优先级应是：

- `Domain-aware routing`
- `Support-set retrieval + in-context exemplars`
- `Task-type-aware prompting`
- `Adaptive frame sampling`
- `Calibration / reranking`

这次分析**不把更换更强模型视为合法提升方案**；Open-Source 榜单只用来给出参考上限，不混入 Source-Limited 的可执行建议。


EgoCross_source_limited_leaderboard_analysis_zh

experiments

introduction

记录人工智能、视频理解、多模态大模型、模型部署与科研学习过程