Llama中文社区

Llama FamilyThe Family for Llama Models, Technologies, and EnthusiastsLet’s Build Llama Community Together!Partner Mission Activity Compute Model PartnerMissionPromoting the Development of Artificial General Intelligence through Open SourceThe open-sourcing of the Llama model has undoubtedly significantly accelerated the advancement of large-scale model technology. We are dedicated to building an open platform where developers and technology enthusiasts from all walks of life can collaborate to create an open-source ecosystem for Llama. Spanning from large-scale models to smaller ones, from text to multimodal capabilities, and from software to hardware algorithm optimizations, we hope that open-source can bring the benefits of AI to all of humanity. In this era of technological explosion, join the Llama Family, progress alongside technology, move forward with the community, and together, stride towards AGI (Artificial General Intelligence)!ActivityCompute GPU Source GeForce RTX 30 SeriesGeForce RTX 40 Series coming soon NVIDIA H100 Tensor Core GPU coming soon NVIDIA A100 Tensor Core GPU coming soon ...Computing Cooperation ModelMeta LlamaThe Llama model open-sourced by Meta is currently the most widely used large model in both the industry and academia. The language model versions include 1B, 3B, 8B, 70B, and 405B, with a training data volume of more than 15.0T tokens. The vision model includes 11B and 90B, with a training data volume of more than 6 billion image-text pairs.ModelTraining DataParamsTokensRelease Date LLaMA English CommonCrawl, C4, Github, Wikipedia, Gutenberg and Books3, ArXiv, Stack Exchange7B (6.7B)1.0T2023/02/2413B (13.0B)1.0T33B (32.5B)1.4T65B (65.2B)1.4T Llama 2 A new mix of publicly available online data7B2.0T2023/07/1813B2.0T34B2.0T70B2.0T Llama 3 A new mix of publicly available online data8B15.0T2024/04/1870B15.0T Llama 3.1 Collected from publicly available sources, over 5% of the Llama 3 pretraining dataset consists of high-quality non-English data that covers over 30 languages8B15.0T2024/07/2370B15.0T405B15.0T Llama 3.2 Llama 3.2-Text A new mix of publicly available online data1B (1.23B)9.0T2024/09/253B (3.21B)9.0T Llama 3.2-Vision Pretrained on image and text pairs. The instruction tuning data includes publicly available vision instruction datasets, as well as over 3M synthetically generated examples11B (10.6B)6B (image, text) pairs90B (88.8B)6B (image, text) pairsCode Llama Code Llama is trained on top of Llama2 using code data and is categorized into three types: Base Model, Python Model, and Instruct Model, with parameter sizes of 7B, 13B, 34B, and 70B. It is capable of code continuation, code filling, and instruction-based programming.ModelTraining DataParamsType Code Llama Based on Llama 2, trained using a public code dataset of 500B tokens. To help the model retain natural language understanding skills, 8% of the sample data comes from natural language datasets related to code, containing discussions about code and snippets within natural language questions or answers.7BBase Modela foundational model for code generation tasksPythona version specialized for PythonInstructa fine-tuned version with human instructions and self-instruct code synthesis data13B34B70BAtomAtom, developed jointly by AtomEcho and Llama Family, is based on the Llama architecture. It is trained on 2.7T of Chinese and multilingual corpora, with parameter sizes including 1B, 7B, and 13B. Atom has significantly enhanced the Chinese language capabilities of the Llama model.ModelTraining DataParamsTokensRelease Date Atom Chinese and multilingual encyclopedias, books, blogs, news, novels, financial data, legal data, medical data, code, paper, Chinese natural language processing competition datasets, etc.1B2.7T2023/12/207B2.7T2023/08/2813B2.7T2023/07/31Llama Family --- 跟我学大模型课堂 跟着清华大学计算机博士学好用好大模型 掌握完整的大模型理论体系，快速上手实践大模型项目 求职无忧、业务无忧、科研无忧 Llama中文社区与开源中国携手打造 课程计划 报名成功后进入课程群等待开课 与国内外顶尖大学和机构合作 01课程亮点 亮点1：顶尖讲师阵容 清华大学计算机博士团队领衔， 国内TOP大模型技术专家带队授课 亮点3：全程陪伴式学习 线上视频录播（实时更新）+ 微信群实时答疑，确保问题能得到及时且有效的解答 亮点2：理论与实践双重保障 采用理论与实践相结合的教学模式，确保知识点深刻理解且能够灵活应用 亮点4：职场加速器 助力想转行的同学快速上手，提供全方位职业规划与面试辅导，助您轻松迈向新职业 02适合人群 前后端转型的开发者 大模型技术爱好者 适合人群: NLP技术开发者 03往期学员评价用户赵** 最大的收获是跟着社区成员一起成长，也是最开心的事情。在领航计划课程中，和老师同学的交流，也让自己对大模型的理解更深刻了。希望以后自己也能更多的参与到社区的建设中，让 Llama中文的生态越来越丰富。 用户张** 对大模型的机制、任务、以及当下应用模式有了更深的理解。整体课程质量优秀，资料详实。 用户贾** 对Lora的理解更深刻了，提升了对一些LLM方向上的把控，涉及面广，后续希望可以纵向深入。 用户黄** 这门课真的太棒了，不仅讲了基础的理论知识，还带着我们操作了模型训练和微调。这门课很好地帮助我们这些社区成员提升了对大模型的理解和技能。而且，老师也超级给力，我们有任何的问题或疑惑，他都是耐心地帮我们解答了。 用户赵** 最大的收获是跟着社区成员一起成长，也是最开心的事情。在领航计划课程中，和老师同学的交流，也让自己对大模型的理解更深刻了。希望以后自己也能更多的参与到社区的建设中，让 Llama2-Chinese的生态越来越丰富。 04课程介绍 学习目标： 1. 掌握大模型核心理论，全面了解大模型整体技术思路 2. 掌握大模型系统架构理论，熟练搭建大模型训练体系 3. 独立完成大模型的部署，预训练，微调，训练出符合自身业务的行业大模型，掌握大模型+Langchain+RAG技术，构建出知识问答系统 4. 跟随持续更新的课程学习最前沿技术，群内交流探讨，学员免费学习后续课程 培训课时：共计40节课，平均每节课10-15分钟，总共15课时，持续更新。05Llama大模型课程大纲Topic 1: 大模型入门理论 Session 1.1: 自然语言处理技术解析与发展历程 •从原型语言模型到预训练语言 •模型编码器模型分支、解码器模型分支、编解码器模型分支 •Transformer 架构剖析 Session 1.2: 大语言模型核心技术解析 •大语言模型训练数据汇总 •大语言模型数据清洗与处理 •预训练基本理论 •模型微调基本理论 •3D训练并行：DP、PP与TP Session 1.3: 大模型相关干货 •模型的量化与压缩 •强化学习的基本概念与LHF详解 •常见的RAG框架解析 •检索器与生成器 •LangChain介绍与实例 Topic 2: 大模型技术进阶 Session 2.1: 大模型训练硬件选择与原理 •GPU原理 •万卡集群 •大模型训练硬件评估与选择 •大模型推理硬件评估与选择 Session 2.2: 大模型训练与推理加速 •模型参数、计算量、显存、计算时间精确评估 •大模型训练加速 •大模型推理加速 Topic 3: 大模型项目实践 Session 3.1: 大模型预训练实践 •硬件资源与环境准备 •预训练数据准备与代码调试 •超参数说明 •观察损失与指标变化 •预训练效果检测与评估 Session 3.2: 大模型微调实践 •微调数据准备与代码调试 •超参数说明 •观察损失与指标变化 •解决大模型的多轮对话 Session 3.3: 大模型面向业务需求 •理解业务的需求和痛点 •定义业务目标，并分析可行性 •业务数据准备 •模型选择 •微调模型并进行评估 Session 3.4: 大模型知识库检索 •准备相关LLM •自定义LLM •自定义langchain的指令 •langchain进行RAG问答 Topic 4: 大模型应用实战 Session 4.1: 结合社区Atom大模型进行实战 (Atom为Llama2中文预训练大模型) •Atom大模型+RAG 实现PDF/Word文档问答系统 (适用于企业/个人) •基于Atom大模型+API 构建类似的 “GPTs“应用, 实现不同工具调用和角色设定 (如绘画、查天气、查快递等智能助手) Session 4.2: 多模态开源大模型实战 •语音大模型: GPT-SoVits, Whisper •图像大模型: Stable-Diffusion •视频大模型: SVD •常用AI工具: Midjourney、Runway、Pika、NeverEnds等教学使用 持续更新最前沿技术...06学员权益 学员权益——VIP领先权益 1.一站式学习大模型技术课程 清华大学顶尖人工智能博士专家团队授课 40节课理论+实践，系统学习大模型，直击要点不走弯路，成为大模型技术专家，解决企业内部大模型问题。 课程内容持续更新最前沿技术 以2699元的优惠价格锁定所有服务权益和后续课程更新，后续课程更新到下一阶段会涨到3699，现在购买后续的阶段都无需再付费。 大模型从业专家24h答疑陪伴群 任何大模型相关问题，都有专家答疑群24小时陪伴，确保学习之路顺畅。 开源中国&Llama中文社区官方证书 权威开源社区的认证证书 + 专业深度的学习履历 2.职业发展与企业转型 行业专家模拟面试 我们拥有来自大模型行业的研发与产品专家，可以为每位学员提供一对一的模拟面试，每位学员面试时间十分钟，通过快速问答形式检验每位学员的学习效果与求职成熟度。 真人模拟面试岗位： 大模型算法工程师 大模型训练、推理工程师 大模型后端开发工程师 大模型产品经理 面试优秀可获得大模型公司实习机会+内推 我们拥有来自大模型行业的研发与产品专家，可以为每位学员提供一对一的模拟面试，每位学员面试时间十分钟，通过快速问答形式检验每位学员的学习效果与求职成熟度。 真人模拟面试岗位： 大模型算法工程师 大模型训练、推理工程师 大模型后端开发工程师 大模型产品经理 面试优秀可获得大模型公司实习机会+内推 企业与个人转型咨询 针对有大模型部署与应用需求的学员或企业，我们对接资深大模型行业专家，提供2次集体专业咨询服务，为企业构建垂直场景大模型、业务结合大模型等需求提供指导。 针对有大模型部署与应用需求的学员或企业，我们对接资深大模型行业专家，提供2次集体专业咨询服务，为企业构建垂直场景大模型、业务结合大模型等需求提供指导。 3.社区中文大模型API额度以及AI工具 1000元社区大模型API额度+社区配套AI工具使用（Agent/search） 社区1B、7B、13B Atom大模型免费API token额度 4.专属的线下技术分享活动 报名学员即可享免费参加，一年两次线下体验大模型实践氛围，与大模型专家0距离接触。 5.广泛的职业社交圈子资源 找工作/合伙人/投资/销售产品，都可以满足你的需求 国内最大的Llama中文开源大模型社区&国内最大的开源软件社区——开源中国 ，强强联合，Github现已达到 13k+star 汇聚了10000+顶级人才。在这里，您将与AI投资人、企业家CEO、各行业领军人物相互交流，寻求合作、投资、推广、招聘等一站式服务，学员项目社区无偿帮助推广 。 这里是技术人才互通有无的黄金平台，您可以找到各行各业的顶尖专家，共同交流与探讨。 6.报名即送《Llama大模型实践指南》书籍 书籍覆盖内容： 部署Llama中文开源大模型 微调Llama大模型 解决Llama大模型多轮对话问题 训练行业专属大模型 Llama结合Langchain Llama大模型的多语种拓展 07帮助与常见问题Q1：学习之前是否有基础要求？有基础上手更快，没有基础也有小白期阶段性过渡。Q2：课程在哪里看？Llama中文社区报名成功后会建立微信群，届时会在群内发布上课链接，在电脑端/移动端都可以同步观看。Q3：是直播还是录播？我们的课程采取录播形式并会持续更新，但在未来也会有直播答疑来集中解决大家的问题。Q4：课程更新计划？5月11日前更新完毕，后续内容不定期更新。Q5：课程学完后能到达水平？ 全面掌握Llama大模型，轻松实战，快速上手。基于大模型和其他相关框架开发具体AI应用。Q6：购买后可以跟老师互动交流吗？ 我们会建立班级交流社群，群内可以互动交流。Q7：是否有详细的课程表？可以回到课程详情页了解，也可以联系群内小助手。Llama Family添加客服企业微信