本文转载自DataLearner官方博客:哪个大模型的编程能力更好?DataLearner编程大模型排行榜帮你选择!开源进展神速,前五已经有4个开源模型! | 数据学习者官方网站(Datalearner)
编程大模型已经是大模型发展领域最重要的分支之一。最近,有2个开源编程大模型的上线引起了很多人的关注。这两个模型是WizardLM小组开源的基于CodeLLaMA微调的
WizardCoder-Python-34B-v1.0和Phind的Phind-CodeLlama-34B-Python-v1。二者在HumanEval @ Pass1的得分上均超过了GPT-3.5,仅次于GPT-4。为了方便大家对编程大模型有更清晰的比较,DataLearner也发布了一个编程大模型排行榜页面,方便大家对编程大模型领域的进展有清晰的认识。
DataLearner编程大模型排行榜:大模型代码能力评测对比 | 当前主流大模型在代码能力上的表现总榜单 | 数据学习 (DataLearner)
- 编程大模型简介以及现状
- 大模型编程水平的评测方法
- 编程大模型的能力排行分析
- DataLearner大模型编程能力排行榜
从大模型的评测方法来看,目前业界有2个评测比较流行。一个是OpenAI发布的HumanEval评测,一个是谷歌发布的MBPP评测。
编程大模型的能力排行分析
为了让大家可以更加简单地对比大模型的编程能力,DataLearner上线了一个编程大模型的能力排行收集页面,一个页面完全展示业界最强的编程大模型的水平。DataLearner大模型编程能力评测对比表主要收集了当前业界主流模型在HumanEval和MBPP的评测结果。
大模型的排名具体情况参考:大模型代码能力评测对比 | 当前主流大模型在代码能力上的表现总榜单 | 数据学习 (DataLearner)
下图是一个截图,展示了部分大模型编程水平的评测结果:
DataLearner大模型编程能力排行榜
最后,给大家提供一下DataLearner大模型排行榜地址:DataLearner编程大模型排行榜:大模型代码能力评测对比 | 当前主流大模型在代码能力上的表现总榜单 | 数据学习 (DataLearner)
如果有问题,欢迎指正~