Back to Chinese Llama Alpaca

效果对比 Performance Comparison

examples/README.md

5.01.4 KB
Original Source

效果对比 Performance Comparison

以下分数应视为paired score,也就是说分数是一个相对值,而不是绝对值,是多个系统相比较得到的结果。详细结果见相应目录。

q4_7b-13b:对比了4-bit量化版的Alpaca-7B和13B

样例数中文Alpaca-7B中文Alpaca-13B
💯总平均分16049👍🏻71

q8_7b-13b-p7b:对比了8-bit量化版的Alpaca-7B、13B、Plus-7B

样例数中文Alpaca-7B中文Alpaca-13B中文Alpaca-Plus-7B
💯总平均分20065.370.9👍🏻75.3

q8_13b-p7b-p13b:对比了8-bit量化版的Alpaca-13B、Plus-7B、Plus-13B

样例数Alpaca-13BAlpaca-Plus-7BAlpaca-Plus-13B
💯总平均分20074.378.2👍🏻80.8

f16_p7b-p13b-33b:对比了8-bit量化版的Alpaca-Plus-7B、Plus-13B和F16的33B

样例数Alpaca-Plus-7BAlpaca-Plus-13BAlpaca-33B
💯总平均分20075.379.4👍🏻82.0