llama 3 的体验感觉不好

sinao · 发表于 2024-5-5 11:43:59

我体验了最近很火的llama 3的8b和70b的模型, 感觉并没有想象的好. 我感觉最好的还是c4ai-command-r-plus, 对指令的理解和完成的正确率都很好. llama 3对指令的理解还是不行.

大家认为呢?

灌水王 · 发表于 2024-5-5 11:44:39

一个chatgpt我都玩不明白，这么多的吗？

灌水王 · 发表于 2024-5-5 11:45:26

我还是玩 Claude3 吧

灌水王 · 发表于 2024-5-5 11:45:43

chatgpt感觉越来越笨了. 很多问题也不愿意回答. 即使是gpt4也是这样. 还是自建的好. 有问必答, 也不用每月付钱了.

loveqwe · 发表于 2024-5-5 11:46:22

个人感觉llama指令服从还说得过去，但是让他输出中文的时候会有大量的中英混合问题而且貌似通过prompt很难调整，估计得通过中文微调解决了...不过8b模型用来跑翻译效果不错，又轻又快

灌水王 · 发表于 2024-5-5 11:47:02

我感觉简单的指令还行, 但是稍微复杂一点的, 它就不行了, 会漏掉一些给的要求. 对于英文指令也是这样. 过几个月看看finetuning后的模型. 现阶段还是c4ai的好.

mvbtt · 发表于 2024-5-5 11:47:30

你试试千问110b,感觉很好就是太大了，本地基本不可能部署 https://huggingface.co/spaces/Qwen/Qwen1.5-110B-Chat-demo