Llama

相比传统 Transformer 的改进.

RMSNorm

RoPE

LlamaMLP

Pretrain

SFT

RLHF

NLP 基础

NLP 任务的特点:

• 输入是一个一维线性序列
• 输入不定长
• 单词和句子的位置关系很重要
• 句子中长距离特征对于语义理解也很重要

三大模型的优势与问题:

• RNN 采用线性序列结构不断从前往后手机输入信息, 但是线性序列结构在反向传播时路径太长, 存在梯度消失或梯度爆炸问题.
• RNN 与 Transformer 的长距离特征捕获能力长不多
• RNN 在并行计算方面有严重缺陷, 这是它本身的序列依赖特性导致的

参数量计算

分布式训练

一些问题

1: 为什么现在的LLM都是Decoder only的架构？ - 知乎 (zhihu.com)

参考 为什么现在的LLM都是Decoder-only的架构？ - 科学空间|Scientific Spaces (kexue.fm)

BERT 是 Encoder-Only 的代表; T5 和 BART 是 encoder-decoder 架构的代表; GPT 是 decoder-only 架构的代表.

• a. 在理论上 Encoder 的双向注意力会存在低秩问题, 可能会削弱模型表达能力; encoder-decoder 架构在某种场景下表现得更好可能是由于它多了一倍参数, 同等参数量和同等推理成本下, decoder-only 更具优势

• b. 过去的研究表明 decoder-only 架构的泛化性能更好; 许多工作表明 decoder-only 模型在各种下游任务上 zero-shot 或者 few-shot (in-context) 的泛化能力都更强

• c. decoder-only 结构支持 KV Cache, 效率更高

• d. OpenAI 作为开创者带来的风气.

2: 目前主流的(开源) LLM 都有哪些?

GPT 家族, LLaMA 家族和 PaLM 家族. (不过没怎么见过 PaLM 家族)

国内的一些大模型:

• 文心一言
• ChatGLM
• Qwen
• Intern
• CPM (OpenBMB)

3: 目前主流的(开源) MLLM 都有哪些?

• LLaVA
• Qwen-VL
• BLIP2
• InstructBLIP
• MiniGPT-4

4: Prefix LM 和 Causal LM 的区别.

• Prefix LM 是 encoder-decoder 模型的变体, 共享同一个 Trasnformer. 在生成每个词时都考虑之前的上下文信息, 根据给定的前缀预测下一个可能的词; encoder 部分采用 auto-encoding 模式, decoder 部分采用 auto-regressive 模式.
• Causal LM 就是自回归语言模型.