Nvidia RTX 4090与Nvidia A10显卡训练数据对比

1卡4090与4卡A10，预测的时间差距，API响应时间， 同样的模型规模， 4090卡为0.25秒左右响应时间，A10的响应时间是0.45秒左右。

同样的 威胁样本数据。
微调训练的时间：
1卡4090为 1:45分 左右
4卡A10为 4:32分 左右

4090微调训练的时间， 将近2小时。 A10微调时间，将近5个小时。 1卡4090与4卡A10比，同样威胁样本的训练时间，用4090快了3小时左右

RTX 4090

{'train_runtime': 7557.5791, 'train_samples_per_second': 6.351, 'train_steps_per_second': 0.397, 'train_loss': 0.41670124886433285, 'epoch': 25.76}
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3000/3000 [2:05:57<00:00, 2.52s/it]

***** train metrics *****

epoch = 25.76

train_loss = 0.4167

train_runtime = 2:05:57.57

train_samples = 1863

train_samples_per_second = 6.351

train_steps_per_second = 0.397

Nvidia A10

{'train_runtime': 17289.4791, 'train_samples_per_second': 11.105, 'train_steps_per_second': 0.174, 'train_loss': 0.1951921375890573, 'epoch': 103.0}

100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3000/3000 [4:48:09<00:00, 5.76s/it]

***** train metrics *****

epoch = 103.0

train_loss = 0.1952

train_runtime = 4:48:09.47

train_samples = 1863

train_samples_per_second = 11.105

train_steps_per_second = 0.174