模板社区
病斑保留型视觉 token 预算分配流程
立即使用
6
0
0
举报
发布时间:2026年11月05日
病斑保留型视觉 token 预算分配流程
高效多模态大模型(MLLMs)的病斑保留型视觉 token 预算分配,新候选方案 F3 为病斑感知的自适应 token 分配,把小病斑召回率作为显式约束。整体采用输入 — 模块 A— 模块 B— 输出的串联流程。输入端为高分辨率叶片,包含茂密 foliage 与微小病斑、全局概览 token、多尺度病斑候选以及拍摄条件元数据。模块 A 为重要性估计器,输出局部异常得分、文本引导的病斑相关性、不确定性增强的 ROI 得分,并对背景 token 做压缩。模块 B 为受约束的 token 路由器,负责自适应 token 选择、强制覆盖病斑区域、按难度动态分配预算,并设计可微分的效率损失。输出端为高效 MLLM,给出病害加证据解释、区域定位、受控的视觉 token 成本,以及小病斑召回保护。训练目标(拟提出)为最小化诊断损失、定位损失与 token 成本的加权和,并以病斑召回率不低于目标阈值作为约束条件。评估维度涵盖准确率与 FLOPs 折中、GPU 显存、单图视觉 token 数、小病斑 AP、外部鲁棒性及失败案例。图末说明初期无需新增传感器,但需要可靠的定位标签或专家核验的病斑区域;区分点在于联合优化 token 预算与诊断证据保留,而非单纯做通用 token 裁剪。
发布时间:2026年11月05日
发表评论
打开APP查看高清大图
病斑保留型视觉 token 预算分配流程
下载eddx文件
下载客户端
立即使用
社区模板帮助中心,
他的近期作品
查看更多>>