关于训练结果

[cyq122]

作者您好吗，我想查看我在两个阶段训练和微调的模型效果（准确率、F1分数等），在哪里查看，是要自己在代码中添加吗？谢谢

[ZebangCheng]

我们提供了测试代码和使用方法：

https://github.com/ZebangCheng/Emotion-LLaMA?tab=readme-ov-file#-evaluation

在evaluation config file中配置训练后的模型参数路径，然后执行测试代码eval_xxx.py

[cyq122]

我们提供了测试代码和使用方法：

https://github.com/ZebangCheng/Emotion-LLaMA?tab=readme-ov-file#-evaluation

在evaluation config file中配置训练后的模型参数路径，然后执行测试代码eval_xxx.py

我根据您的文档进行测试，配置和测试结果如下图，不清楚是哪里出了问题

[ZebangCheng]

我们提供了测试代码和使用方法：

https://github.com/ZebangCheng/Emotion-LLaMA?tab=readme-ov-file#-evaluation

在evaluation config file中配置训练后的模型参数路径，然后执行测试代码eval_xxx.py

我根据您的文档进行测试，配置和测试结果如下图，不清楚是哪里出了问题

将模型预测的结果print一下，或者保存到本地文件，进行查看。我猜测是模型预测的内容不是情绪的类别。需要查看具体的输出内容，才知道该如何解决。

[cyq122]

我们提供了测试代码和使用方法：

https://github.com/ZebangCheng/Emotion-LLaMA?tab=readme-ov-file#-evaluation

在evaluation config file中配置训练后的模型参数路径，然后执行测试代码eval_xxx.py

我根据您的文档进行测试，配置和测试结果如下图，不清楚是哪里出了问题

将模型预测的结果print一下，或者保存到本地文件，进行查看。我猜测是模型预测的内容不是情绪的类别。需要查看具体的输出内容，才知道该如何解决。

作者您好，上述运行日志中报错显示MERR_coarse_grained_dict 中缺少 samplenew_00006611 的标注信息 ，我查找了对应文件确实没有，但是我是评估预训练模型（阶段1）的模型性能，这不应该是在测试数据集中进行评估吗，为什么会用到粗粒度样本文件，是我哪里配置出错了吗

[ZebangCheng]

你在测试的时候只与test3数据集相关，你检查一下dataset代码，将MERR_coarse_grained_dict相关内容注释掉就行。

[cyq122]

我们提供了测试代码和使用方法：

https://github.com/ZebangCheng/Emotion-LLaMA?tab=readme-ov-file#-evaluation

在evaluation config file中配置训练后的模型参数路径，然后执行测试代码eval_xxx.py

我根据您的文档进行测试，配置和测试结果如下图，不清楚是哪里出了问题

将模型预测的结果print一下，或者保存到本地文件，进行查看。我猜测是模型预测的内容不是情绪的类别。需要查看具体的输出内容，才知道该如何解决。

作者您好，我查看了模型的原始输出，如下图所示，在测试过程中无法获取target的值，需要您给予一定的指导，谢谢

[cyq122]

我们提供了测试代码和使用方法：

https://github.com/ZebangCheng/Emotion-LLaMA?tab=readme-ov-file#-evaluation

在evaluation config file中配置训练后的模型参数路径，然后执行测试代码eval_xxx.py

我根据您的文档进行测试，配置和测试结果如下图，不清楚是哪里出了问题

将模型预测的结果print一下，或者保存到本地文件，进行查看。我猜测是模型预测的内容不是情绪的类别。需要查看具体的输出内容，才知道该如何解决。

作者您好，我查看了模型的原始输出，如下图所示，在测试过程中无法获取target的值，需要您给予一定的指导，谢谢

上述使用了您预训练的模型，下面的图片是我预训练的模型输出结果，这也导致我的测试结果是这样的：
Error: tone Target:
Error: tone Target:

[ZebangCheng]

上述使用了您预训练的模型，下面的图片是我预训练的模型输出结果，这也导致我的测试结果是这样的：
Error: tone Target:
Error: tone Target:

出现这种情况就是你在测试时，调用的是“caption”任务或者使用了“让模型输出情感描述”的prompt。
你需要在minigpt4/datasets/datasets/first_face.py中检查代码，核实以下内容：

        self.emotion_instruction_pool = [
            "Please determine which emotion label in the video represents: happy, sad, neutral, angry, worried, surprise, fear, contempt, doubt.",
        ]

        ... ...

        self.task_pool = [
           "emotion",
        ]

        ... ...

        task = random.choice(self.task_pool)
        if task == "emotion":
            caption = t[2] # llama2 putput only emotion class
            caption = self.text_processor(caption)
            instruction_pool = self.emotion_instruction_pool

[cyq122]

上述使用了您预训练的模型，下面的图片是我预训练的模型输出结果，这也导致我的测试结果是这样的：
Error: tone Target:
Error: tone Target:

出现这种情况就是你在测试时，调用的是“caption”任务或者使用了“让模型输出情感描述”的prompt。 你需要在minigpt4/datasets/datasets/first_face.py中检查代码，核实以下内容：

        self.emotion_instruction_pool = [
            "Please determine which emotion label in the video represents: happy, sad, neutral, angry, worried, surprise, fear, contempt, doubt.",
        ]

        ... ...

        self.task_pool = [
           "emotion",
        ]

        ... ...

        task = random.choice(self.task_pool)
        if task == "emotion":
            caption = t[2] # llama2 putput only emotion class
            caption = self.text_processor(caption)
            instruction_pool = self.emotion_instruction_pool

已核实，和上述代码一致

[ZebangCheng]

你现在的问题是想要测试MER2023的分类任务，但是输出都是Error（输出的是情感相关的描述）。那需要检查是否是相关代码是否错误，设置的是其他任务。请你提供更详细的信息，包括配置文件，代码，运行命令，输出日志等。我帮你看看问题是什么。

[cyq122]

你现在的问题是想要测试MER2023的分类任务，但是输出都是Error（输出的是情感相关的描述）。那需要检查是否是相关代码是否错误，设置的是其他任务。请你提供更详细的信息，包括配置文件，代码，运行命令，输出日志等。我帮你看看问题是什么。

以下是eval_emotion.yaml的内容
model:
arch: minigpt_v2
model_type: pretrain
max_txt_len: 500
end_sym: ""
low_resource: False
prompt_template: '[INST] {} [/INST]'
llama_model: "/home/cyq/project/project_emotion-LLaMA/Emotion-LLaMA-main/checkpoints/Llama-2-7b-chat-hf"
ckpt: "/home/cyq/project/project_emotion-LLaMA/Emotion-LLaMA-main/checkpoints/save_checkpoint/stage1/20251117151/checkpoint_29.pth"
lora_r: 64
lora_alpha: 16

datasets:
feature_face_caption: #
batch_size: 1
vis_processor:
train:
name: "blip2_image_train"
image_size: 448
text_processor:
train:
name: "blip_caption"
sample_ratio: 30

evaluation_datasets:
feature_face_caption:
eval_file_path: /home/cyq/project/project_emotion-LLaMA/datasets/Emotion/MER2023/relative_test3_NCEV.txt # MER2023

img_path: /home/cyq/project/project_emotion-LLaMA/datasets/Emotion/MER2023/video

# eval_file_path: /home/user/selected_face/DFEW/reltive_DFEW_set_1_test.txt
# img_path: /home/user/selected_face/DFEW/images     

max_new_tokens: 500
batch_size: 1

mer2024_caption:
eval_file_path: /home/czb/big_space/datasets/Emotion/MER2024/MER2024-noise_NCE.txt # MER2024
img_path: /home/czb/big_space/datasets/Emotion/MER2024/video-unlabeled-with-test2noise
max_new_tokens: 500
batch_size: 1

run:
task: image_text_pretrain
name: minigptv2_evaluation
save_path: /home/cyq/project/project_emotion-LLaMA/Emotion-LLaMA-main/results

以下是eval_emotion.py的内容
import csv
import os
import re
import json
import argparse
from collections import defaultdict
import random
import numpy as np
from PIL import Image
from tqdm import tqdm
import torch
from torch.utils.data import DataLoader
from minigpt4.common.config import Config
from minigpt4.common.eval_utils import prepare_texts, init_model, eval_parser, computeIoU
from minigpt4.conversation.conversation import CONV_VISION_minigptv2
from minigpt4.common.registry import registry

from minigpt4.datasets.datasets.first_face import FeatureFaceDataset
from minigpt4.datasets.datasets.mer2024 import MER2024Dataset

from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, confusion_matrix
from minigpt4.datasets.data_utils import prepare_sample

def list_of_str(arg):
return list(map(str, arg.split(',')))

parser = eval_parser()
parser.add_argument("--dataset", type=list_of_str, default='feature_face_caption', help="dataset to evaluate")
parser.add_argument("--res", type=float, default=100.0, help="resolution used in refcoco")
parser.add_argument("--resample", action='store_true', help="resolution used in refcoco")
args = parser.parse_args()

print("cfg:", args)
cfg = Config(args)

model, vis_processor = init_model(args)

model.eval()
CONV_VISION = CONV_VISION_minigptv2
conv_temp = CONV_VISION.copy()
conv_temp.system = ""

save_path = cfg.run_cfg.save_path

text_processor_cfg = cfg.datasets_cfg.feature_face_caption.text_processor.train
text_processor = registry.get_processor_class(text_processor_cfg.name).from_config(text_processor_cfg)
vis_processor_cfg = cfg.datasets_cfg.feature_face_caption.vis_processor.train
vis_processor = registry.get_processor_class(vis_processor_cfg.name).from_config(vis_processor_cfg)

print(args.dataset)
if 'feature_face_caption' in args.dataset:
eval_file_path = cfg.evaluation_datasets_cfg["feature_face_caption"]["eval_file_path"]
img_path = cfg.evaluation_datasets_cfg["feature_face_caption"]["img_path"]
batch_size = cfg.evaluation_datasets_cfg["feature_face_caption"]["batch_size"]
max_new_tokens = cfg.evaluation_datasets_cfg["feature_face_caption"]["max_new_tokens"]
print(eval_file_path)
print(img_path)
print(batch_size)
print(max_new_tokens)

data = FeatureFaceDataset(vis_processor, text_processor, img_path, eval_file_path)
# print(data)
# print(data[0])
eval_dataloader = DataLoader(data, batch_size=batch_size, shuffle=False)
minigpt4_predict = []

targets_list = []  
answers_list = [] 
names_list   = []
for batch in eval_dataloader:
    images = batch['image']
    instruction_input = batch['instruction_input']
    # print("instruction_input:", instruction_input)
    targets = batch['answer']
    video_features = batch['video_features']

    texts = prepare_texts(instruction_input, conv_temp)
    answers = model.generate(images, video_features, texts, max_new_tokens=max_new_tokens, do_sample=False)
    
    for j in range(len(answers)):
        #print("raw answer:", answers[j])
        #print("target answer:", targets[j])
        answers[j] = answers[j].split(" ")[-1]
        targets[j] = targets[j].split(" ")[-1]
        if answers[j] not in ['neutral', 'angry', 'happy', 'sad', 'worried', 'surprise']:
            print("Error: ", answers[j], " Target:", targets[j])
            answers[j] = 'neutral'
    
    targets_list.extend(targets)  
    answers_list.extend(answers)
    names_list.extend(batch['image_id'])

accuracy = accuracy_score(targets_list, answers_list)
precision = precision_score(targets_list, answers_list, average='weighted')
recall = recall_score(targets_list, answers_list, average='weighted')
f1 = f1_score(targets_list, answers_list, average='weighted')

print("Accuracy:", accuracy)
print("Precision:", precision)
print("Recall:", recall)
print("F1 Score:", f1)

cm = confusion_matrix(targets_list, answers_list)
print(cm)

if 'mer2024_caption' in args.dataset:
eval_file_path = cfg.evaluation_datasets_cfg["mer2024_caption"]["eval_file_path"]
img_path = cfg.evaluation_datasets_cfg["mer2024_caption"]["img_path"]
batch_size = cfg.evaluation_datasets_cfg["mer2024_caption"]["batch_size"]
max_new_tokens = cfg.evaluation_datasets_cfg["mer2024_caption"]["max_new_tokens"]
print(eval_file_path)
print(img_path)
print(batch_size)
print(max_new_tokens)

data = MER2024Dataset(vis_processor, text_processor, img_path, eval_file_path)
# print(data)
# print(data[0])
eval_dataloader = DataLoader(data, batch_size=batch_size, shuffle=False)
minigpt4_predict = []

targets_list = []  
answers_list = [] 
names_list   = []
for batch in eval_dataloader:
    images = batch['image']
    instruction_input = batch['instruction_input']
    # print("instruction_input:", instruction_input)
    targets = batch['answer']
    video_features = batch['video_features']

    texts = prepare_texts(instruction_input, conv_temp)
    answers = model.generate(images, video_features, texts, max_new_tokens=max_new_tokens, do_sample=False)
    
    for j in range(len(answers)):
        # print("raw answer:", answers[j])
        answers[j] = answers[j].split(" ")[-1]
        targets[j] = targets[j].split(" ")[-1]
        if answers[j] not in ['neutral', 'angry', 'happy', 'sad', 'worried', 'surprise']:
            print("Error: ", answers[j], " Target:", targets[j])
            answers[j] = 'neutral'
    
    targets_list.extend(targets)  
    answers_list.extend(answers)
    names_list.extend(batch['image_id'])

accuracy = accuracy_score(targets_list, answers_list)
precision = precision_score(targets_list, answers_list, average='weighted')
recall = recall_score(targets_list, answers_list, average='weighted')
f1 = f1_score(targets_list, answers_list, average='weighted')

print("Accuracy:", accuracy)
print("Precision:", precision)
print("Recall:", recall)
print("F1 Score:", f1)

cm = confusion_matrix(targets_list, answers_list)
print(cm)

以下是first_face.py的部分代码：
self.emotion_instruction_pool = [
"Please determine which emotion label in the video represents: happy, sad, neutral, angry, worried, surprise, fear, contempt, doubt.",
]

self.task_pool = [
"emotion",
# "reason",
# "reason_v2",
]
task = random.choice(self.task_pool)
if task == "emotion":
caption = t[2] # llama2 putput only emotion class
caption = self.text_processor(caption)
instruction_pool = self.emotion_instruction_pool
elif task == "reason":
caption = self.MERR_coarse_grained_dict[video_name]['caption']

        caption = self.text_processor(caption)
        instruction_pool = self.reason_instruction_pool

    elif task == "reason_v2":
        #caption = self.MERR_fine_grained_dict[video_name]['smp_reason_caption']
        #caption = self.fine_grained_dict[video_name]['smp_reason_caption']
        caption = "" # for test reasoning

        caption = self.text_processor(caption)
        instruction_pool = self.reason_instruction_pool

运行命令是：
torchrun --nproc_per_node 1 /home/cyq/project/project_emotion-LLaMA/Emotion-LLaMA-main/eval_emotion.py --cfg-path /home/cyq/project/project_emotion-LLaMA/Emotion-LLaMA-main/eval_configs/eval_emotion.yaml --dataset feature_face_caption
输出日志：

我也不知道今天模型输出为什么是正常的，什么都没改，很奇怪

[ZebangCheng]

我也不知道今天模型输出为什么是正常的，什么都没改，很奇怪

输出正常是好事，可能是无意间解决了问题。但测试结果效果一般，是测试的自己训练的模型吗？可以尝试测一下我们开源的模型权重，查看是否能复现我们论文中的分数。成功复现后（保证评测环境正常），才进行训练。

[cyq122]

我也不知道今天模型输出为什么是正常的，什么都没改，很奇怪

输出正常是好事，可能是无意间解决了问题。但测试结果效果一般，是测试的自己训练的模型吗？可以尝试测一下我们开源的模型权重，查看是否能复现我们论文中的分数。成功复现后（保证评测环境正常），才进行训练。

是的我在自己预训练的模型上进行测试，晚点在您提供的预训练模型上进行测试，感谢您的指导

[cyq122]

作者您好，我已经重新测试了您提供的模型，我尝试测试了我预训练模型的几个检查点发现第三行第三列的值都是0，我查看其他问题发现需要在MER2023_pseudo_label.txt训练，请问训练配置怎么设置，而且没有json文件如何训练