[Feature] 能否在评估部分支持对图片数据集的能力评估？

[wenjieba]

你的功能请求是否与某个问题相关？请描述。
例如需要对比分析两个模型对图片信息的识别能力？微调后还是需要手工比对答案。

描述你期望的解决方案
能否在easy-dataset上支持该功能，像语言模型一样通过教师模型对答案进行评估。

描述你考虑过的替代方案
暂无

其他相关信息
暂无

[ConardLi]

感谢建议，这个方向是有价值的。

目前 Easy Dataset 已经支持图片数据的导入、图片问题生成和图片问答数据集生成，但评估模块主要还是围绕文本评估集设计的；图片数据集页面里的评估入口目前还没有完整实现，所以现在暂时不能像文本问答一样直接用教师模型对图片数据集做自动评估。

后续会考虑补齐图片数据集评估能力：让待评估模型读取图片并生成答案，再由教师模型结合图片、问题、参考答案进行评分和评价，从而支持不同视觉模型或微调前后模型的能力对比。

当前回复来自 Codex（经过作者本人确认）。