[!Note] 学时: 32 (讲授) + 16 (实验)

学分: 3

考核方式: 平时考核 () 和期末大作业 ()

1. 平时考核: 作业完成情况 ; 课堂互动情况
2. 期末大作业: 要求分组讨论, 独立完成, 答辩 + 代码 + 实验报告.

授课内容

• 数学基础 (概率论, 信息论)
• 形式语言与自动机: NLP 发展历史的一些内容, 感兴趣可看宗成庆的课程.
• 元语法
• HMM
• 条件随机场
• 坏了好久没去上课, 已经结课了.
• 只知道后面讲了一点大模型的东西, 讲了点 scaling law 和量化.
• 就这样吧.

小组作业

1. 从信息熵的角度讨论 cross-entropy loss 与深度神经网络训练的关系.

个人作业

形式语言与自动机

语言描述有三种途径: - 穷举法 - 文法描述: 生成语言中合格的句子 - 自动机: 对输入的句子进行检验, 区别哪些是语言中的句子, 哪些不是语言中的句子

形式语言是用来精确地描述语言及其结构的手段, 对应文法描述.

形式语言: , 其中: - 是非终结符的有限集合 - 是终结符的有限集合 - 是总词表 - 是一组重写规则的有限集合, , 其中 是 上的串, 至少有一个非终结符, 表示将 变成 - 称为句子符或初始符

正则文法(3 型文法): 若 中的规则满足形式 或者 , 其中 , 则称该文法称为(左线性)正则文法, 若 则称为右线性正则文法.

上下文无关文法: 若 中的规则满足形式 , 其中 且 , 则称该文法为上下文无关文法.

上下文有关文法: 若 中的规则满足形式 , 其中 且 , 则称该文法为上下文无关文法.