项目汇总

主要阐述了当前（2023.6）表现最好的开源模型——Falcon的数据集构建流程

对QLoRA整体结构和相关基础进行了介绍

介绍了自动寻找最优Prompt的技术——Automatic Prompt Engineer (APE)，并阐述了部分机制的实现方法

介绍了将思维链和外部知识库结合的Prompt技术——ReAct，目前该技术已经整合到Langchain，有较高应用价值

整理了LLM微调的技术发展，着重关注了PEFT的基本原理，对LoRA整体结构和相关基础进行了详细叙述，并通过一个实际项目展示模型训练的全过程。

对论文*GLM：General Language Model Pretraining with Autoregressive Blank Infilling*的详细解读

简单介绍了soft prompt的概念，并解读了Prompt Tuning的设计方法

解读了LoRA设计结构及其理论支撑

从基础开始认识什么是LLM。本文主要介绍LLM用到的基本技术和GPT系列的发展历程，并解答了LLM为什么会突然爆火的原因——Emergent Ability