本电子书开源,欢迎 star 🌟,关注《LLM 应用开发实践笔记》
我的新书《LangChain编程从入门到实践》 已经开售!推荐正在学习AI应用开发的朋友购买阅读!
一些资料汇总
LLM 开发入门课程
由吴恩达老师与 OpenAI 合作推出的大模型系列教程,从大模型时代开发者的基础技能出发,深入浅出地介绍了如何基于大模型 API、LangChain 架构快速开发结合大模型强大能力的应用。其中,《Prompt Engineering for Developers》教程面向入门 LLM 的开发者,深入浅出地介绍了对于开发者,如何构造 Prompt 并基于 OpenAI 提供的 API 实现包括总结、推断、转换等多种常用功能,是入门 LLM 开发的经典教程;《Building Systems with the ChatGPT API》教程面向想要基于 LLM 开发应用程序的开发者,简洁有效而又系统全面地介绍了如何基于 ChatGPT API 打造完整的对话系统;《LangChain for LLM Application Development》教程结合经典大模型开源框架 LangChain,介绍了如何基于 LangChain 框架开发具备实用功能、能力全面的应用程序,《LangChain Chat With Your Data》教程则在此基础上进一步介绍了如何使用 LangChain 架构结合个人私有数据开发个性化大模型应用;《Building Generative AI Applications with Gradio》、《Evaluating and Debugging Generative AI》教程分别介绍了两个实用工具 Gradio 与 W&B,指导开发者如何结合这两个工具来打造、评估生成式 AI 应用。
- 《ChatGPT Prompt Engineering for Developers》
- 《Building Systems with the ChatGPT API》
- 《LangChain for LLM Application Development》
- 《LangChain Chat with Your Data》
- 《Building Generative AI Applications with Gradio》
- 《Evaluating and Debugging Generative AI》
LLM 开发进阶课程
Google 的《Generative AI learning path》
DeepLearning的《Full Stack LLM Bootcamp》
AWS 的《Generative AI with Large Language Models》
国内模型
模型链接 | 模型描述 |
---|---|
ChatGLM | 清华开源的、支持中英双语的对话语言模型,使用了代码训练,指令微调和RLHF。和以下GLM相同大小的130B的模型还在开发中。试用了下超出预期! |
Moss | 为复旦正名!开源了预训练,指令微调的全部数据和模型。可商用 |
Wombat-7B | 达摩院开源无需强化学习使用RRHF对齐的语言模型, alpaca基座 |
TigerBot | 虎博开源了7B 180B的模型以及预训练和微调语料 |
Chinese-LLaMA-Alpaca | 哈工大中文指令微调的LLaMA |
Luotuo | 中文指令微调的LLaMA,和ChatGLM |
文心一言 | 已经拿到邀请码并试用,虽然人格化程度显著低,但效果上并没有很拉胯,国产YYDS!不过商业化霸王条款确实不少 |
通义千问 | 阿里系LLM开放申请 |
星火 | 科大讯飞星火,数学是真的厉害 |
Aquila | 智源开源7B大模型可商用免费 |
Baichuan | 百川智能开源7B大模型可商用免费 |
BiLLa | LLama词表扩充预训练+预训练和任务1比1混合SFT+指令样本SFT三阶段训练 |
Phoenix | 港中文开源凤凰和奇美拉LLM,Bloom基座,40+语言支持 |
OpenBuddy | Llama 多语言对话微调模型 |
Guanaco | LLama 7B基座,在alpaca52K数据上加入534K多语言指令数据微调 |
ziya | IDEA研究院在7B/13B llama上继续预训练+SFT+RM+PPO+HFTT+COHFT+RBRS |
Chinese Vincuna | LLama 7B基座,使用Belle+Guanaco数据训练 |
Linly | Llama 7B基座,使用belle+guanaco+pclue+firefly+CSL+newscommentary等7个指令微调数据集训练 |
Firefly | 中文2.6B模型,提升模型中文写作,古文能力,待开源全部训练代码,当前只有模型 |
Baize | 使用100k self-chat对话数据微调的LLama |
BELLE | 使用ChatGPT生成数据对开源模型进行中文优化 |
Chatyuan | chatgpt出来后最早的国内开源对话模型,T5架构是下面PromptCLUE的衍生模型 |
PromptCLUE | 多任务Prompt语言模型 |
PLUG | 阿里达摩院发布的大模型,提交申请会给下载链接 |
CPM2.0 | 智源发布CPM2.0 |
GLM | 清华发布的中英双语130B预训练模型 |
垂直领域模型
模型链接 | 模型描述 | |
---|---|---|
ChatDoctor | 110K真实医患对话样本+5KChatGPT生成数据进行指令微调 | |
Huatuo Med-ChatGLM | 医学知识图谱和chatgpt构建中文医学指令数据集+医学文献和chatgpt构建多轮问答数据 | |
Chinese-vicuna-med | Chinese-vicuna在cMedQA2数据上微调 | |
OpenBioMed | 清华AIR开源轻量版BioMedGPT, 知识图谱&20+生物研究领域多模态预训练模型 | |
DoctorGLM | ChatDoctor+MedDialog+CMD 多轮对话+单轮指令样本微调GLM | |
MedicalGPT-zh | 自建的医学数据库ChatGPT生成QA+16个情境下SELF构建情景对话 | |
PMC-LLaMA | 医疗论文微调Llama | |
NHS-LLM | Chatgpt生成的医疗问答,对话,微调模型 | |
LawGPT-zh | 利用ChatGPT清洗CrimeKgAssitant数据集得到52k单轮问答+我们根据中华人民共和国法律手册上最核心的9k法律条文,利用ChatGPT联想生成具体的情景问答+知识问答使用ChatGPT基于文本构建QA对 | |
LawGPT | 基于llama+扩充词表二次预训练+基于法律条款构建QA指令微调 | |
Lawyer Llama | 法律指令微调数据集:咨询+法律考试+对话进行指令微调 | |
LexiLaw | 法律指令微调数据集:问答+书籍概念解释,法条内容进行指令微调 | |
FinChat.io | 使用最新的财务数据,电话会议记录,季度和年度报告,投资书籍等进行训练 | |
OpenGPT | 领域LLM指令样本生成+微调框架 | |
乾元BigBang金融2亿模型 | 金融领域预训练+任务微调 | |
度小满千亿金融大模型 | 在Bloom-176B的基础上进行金融+中文预训练和微调 |