Meta最新开源Llama 3震撼发布！8B到70B参数全面升级，你准备好体验颠覆性AI革命了吗？

最新由Meta开源的Llama 3模型，于人工智能领域正掀起全新的波澜，身为长期对开源技术予以关注的媒体人，我觉得此轮技术迭代会大幅降低高质量AI模型的使用门槛。特别值得予以关注之处在于，Meta此次同时发布了参数规模为8B以及70B的两种模型，这样的组合策略既能够满足轻量级应用所作的需求，还为专业场景给予了更强性能的选择。

模型架构特点

Llama 3运用了经过重新设计打造的令牌生成器，把词汇表规模扩充到128K个令牌，其模型的语言理解能力得到显著提升。在模型结构这一方面，Llama 3的8B版本于多项基准测试里表现出色，它的分组查询注意力机制很好地平衡了计算效率与性能表现。此架构能够支持8K上下文长度，这为处理长文档奠定了技术基础。

训练所得数据的质量有了十分显见的改善，Meta团队搭建起了超出15Ttoken的用于训练的数据集，这般规模比前代模型超出了7倍还多，于数据预处理流程当中运入了具备高质量的过滤技术，这涵盖了启发式过滤、NSFW内容过滤以及语义去重等好些环节，这些改进致使模型在推理以及代码生成任务里呈现出更为强大的能力。

性能基准测试

在MMLU基准测试期间，Llama 3 8B模型获取到了68.4分的考分，显著地超过了相同规模的Gemma 7B以及Mistral 7B模型。并且在更为专业的GPQA数据集之上，这个模型同样展现得十分优异，彰显出其在专业领域内知识掌握的水平程度。这些测试所得出的结果源自于Meta在4月18日公布的官方技术报告。

在针对代码生成能力方面，对于8B参数版本模型来说，于HumanEval测试里，其达到了62.2%的通过率。尤其在数学推理任务这块，在GSM - 8K测试集上，该模型的准确率突破了80%，此数字近乎某些规模更为庞大的专业模型。这些数据证实了Llama 3在复杂任务处理方面有进步。

实际应用评估

Meta特意构建了评估团队，去研发涵盖1800个提示词的真实场景测试集。该测试所涉及的范围包括12个关键应用领域，先是有创意写作，再有技术编程，接着是逻辑推理，最后是内容总结。而评估团队于4月初开展并完成的盲测表明，相较于Claude Sonnet等竞争模型而言，Llama 3在大多数场景当中更获得人们的喜爱青睐。

Llama 3在角色扮演任务里头，得到了超过百分之五十五的偏好选择率，在创意写作任务之中，同样获得了超百分之五十五的偏好选择率，针对技术性比较强的编程任务，该表现稳定占据在百分之五十三以上，对于推理任务而言，其表现亦是稳定处于百分之五十三以上。然而此次这般的评估结果是依赖超过了五千次的人工去做人呢对比评分才有的得出，参与此次此类评分的人员涵盖了专业开发人员以及普通用户两类 。

多规格模型配置

当下所发布的8B参数版本合乎消费级显卡部署的要求，仅仅一张RTX 4080就能够顺畅地运行，然而70B参数模型是针对企业级应用的，需要多张A100或者H100显卡一起协同工作来达成。这样的分层策略致使不同规模的组织都能够寻觅到适宜的部署 scheme。

Meta预告了400B参数版本开发计划，此超大规模模型当下仍处于训练阶段，依照官方路线图，该版本会聚焦于提升复杂推理能力，预计于2024年夏季发布，到时候或许会带来更趋近人类水平的对话体验 。

开发者资源

在GitHub平台，由meta-llama组织开展相关工作，在此情况下，开发者能够寻觅到完整的模型权重以及推理代码。Hugging Face平台同样也上架了模型文件，并且支持借助transformers库直接进行调用。这些资源全都采用Apache 2.在GitHub平台的支持下，meta-llama组织使得开发者能找到完整的模型权重与推理代码，Hugging Face平台同时上架模型文件并支持通过transformers库直接调用，这些资源皆采用Apache 2.0许可证且允许商业用途。

与主体相适配的、用于精细调整的工具torchtune给出了完备的训练流程示范例子，它对诸如LoRA等具备高效性的精细调整技术予以支持。那些从事开发工作的人员能够运用这些工具在特定专项范围的数据内容上面借助来开展进一步训练活动，举例来说像医疗咨询事宜或者法律文书资料的信息处理。在官方相应的文档里面针对怎样于本地布置环境的状况下进行有关模型服务的操作做了详尽的阐释说明。

用户体验途径

针对并非技术型用户的群体，Meta跟诸多云服务商展开合作，从而提供了在线体验的入口。诸如Perplexity AI之类的搜索引擎，已然集成了Llama 3模型，用户能够在其对话界面直接去体验。除此之外，Meta AI助手也已更新到Llama 3版本，覆盖了Facebook、Instagram这类社交平台。

模型发布当日，部分开源社区便推出了量化版本，借此可让8B模型于智能手机端得以运行 ，诸如LM Studio那般的桌面应用程序也在第一时间予以了支持 ，针对用户而言，仅需借助图形界面操作就能实施本地部署了 ，而这样的进展能够让普通用户更加便捷地接触最新的AI技术 。

各位从事开发工作的人员，于实际运行Llama 3的进程里，有没有察觉到它在特定性质的任务上面的展现情形，是超越了您此前所抱有的期望呢？若是乐意分享的话，欢迎在评论区域讲述您的运用期间察觉到的状况及实际操作的案例，可以的话倘若认为这篇文笔所表达的内容能起到一定助力，麻烦点取用来表示赞可的按钮给以支持 。