学习地址1：https://pan.baidu.com/s/1qq4jYRutBn5Jox0UHfU2Hg 提取码：6tzd 学习地址2：https://share.weiyun.com/grO4IKgp 密码：bfvf7y

一、大语言模型（LLM）是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。

二、这个大语言模型到底有多大？ 拿 GPT 来说， GPT 其实出现了好几代，GPT 3 它有 45 个 t b 的训练数据，那么整个维基百科里面的数据只相当于他训练数据的 0. 6%。我们在这个训练的时候把这个东西称作语料，就语言材料，这个语料的量是可以说是集中到我们人类所有语言文明的精华在里面，这是一个非常非常庞大的一个数据库。

三、大模型的能力 2.1 涌现能力（emergent abilities） 区分大语言模型（LLM）与以前的预训练语言模型（PLM）最显著的特征之一是它们的涌现能力。涌现能力指的是一种令人惊讶的能力，它在小型模型中不明显，但在大型模型中显著出现。可以类比到物理学中的相变现象，涌现能力的显现就像是模型性能随着规模增大而迅速提升，超过了随机水平，也就是我们常说的量变引起了质变。

具体来说，涌现能力可以定义为与某些复杂任务相关的能力，但我们更关注的是它们具备的通用能力，也就是能够应用于解决各种任务的能力。接下来，让我们简要介绍三个典型的LLM涌现能力：

上下文学习：上下文学习能力是由 GPT-3 首次引入的。这种能力允许语言模型在提供自然语言指令或多个任务示例的情况下，通过理解上下文并生成相应输出的方式来执行任务，而无需额外的训练或参数更新。 指令遵循：通过使用自然语言描述的多任务数据进行微调，也就是所谓的指令微调，LLM 被证明在同样使用指令形式化描述的未见过的任务上表现良好。这意味着LLM能够根据任务指令执行任务，而无需事先见过具体示例，这展示了其强大的泛化能力。 逐步推理：小型语言模型通常难以解决涉及多个推理步骤的复杂任务，例如数学问题。然而，LLM通过采用"思维链"推理策略，可以利用包含中间推理步骤的提示机制来解决这些任务，从而得出最终答案。据推测，这种能力可能是通过对代码的训练获得的。

四、大型语言模型如何工作？ 大型语言模型使用一种称为无监督学习的技术来工作。在无监督学习中，模型是在没有任何特定标签或目标的情况下在大量数据上训练的。目标是学习数据的底层结构，并使用它来生成结构与原始数据相似的新数据。

对于大型语言模型，用于训练的数据通常是大型文本语料库。该模型学习文本数据中的模式，并使用它们来生成新文本。训练过程包括优化模型参数，以最小化语料库中生成的文本与实际文本之间的差异。

训练模型后，可以使用它来生成新文本。为此，模型被赋予一个单词的起始序列，并根据训练语料库中单词的概率生成序列中的下一个单词。重复此过程，直到生成所需的文本长度。

代码实战： var i *int = nil fmt.Println("i.size:", unsafe.Sizeof(i)) //8

var i8 *int8 = nil
fmt.Println("i8.size:", unsafe.Sizeof(i8)) //8

var s *string = nil
fmt.Println("s.size:", unsafe.Sizeof(s)) //8

var ps *struct{} = nil
fmt.Println("ps.size:", unsafe.Sizeof(ps)) //8

var si []int = nil
var si1 []int = nil
fmt.Println("si.size:", unsafe.Sizeof(si)) //24

var ii interface{} = nil
fmt.Println("ii.size:", unsafe.Sizeof(ii)) //16

第二种方式是将map做一些封装：

go-interview/demo/4-28/empty-struct/set/set.go package set

type Set map[int]struct{}

func (s Set) Put(x int) { s[x] = struct{}{} } func (s Set) Has(x int) (exists bool) { _, exists = s[x] return } func (s Set) Remove(val int) { delete(s, val) } defer的底层数据结构 源码位置:$GOPATH/src/runtime/runtime2.go type _defer struct { // 参数和返回值的内存大小 siz int32

//表示该_defer语句是否已经开始执行 started bool

//表示该_defer语句的优先级
//当一个_defer语句被执行时，它会被添加到_defer链表中，而heap字段则用于将_defer语句添加到一个优先队    列中，以便在函数返回时按照一定的顺序执行_defer语句。在_defer链表中，后添加的_defer语句会先被执行，而在优先队列中，heap值较小的_defer语句会先被执行。这个字段的值是在_defer语句被添加到_defer链表时根据一定规则计算出来的，通常是根据_defer语句的执行顺序和作用域等因素计算而得。在函数返回时，Go语言会按照heap值的大小顺序执行_defer语句。如果多个_defer语句的heap值相同，则它们会按照它们在_defer链表中的顺序依次执行。这个机制可以确保_defer语句按照一定的顺序执行，从而避免了一些潜在的问题。
heap    bool       

// 表示该_defer用于具有开放式编码_defer的帧。开放式编码_defer是指在编译时已经确定_defer语句的数量和位置，而不是在运行时动态添加_defer语句。在一个帧中，可能会有多个_defer语句，但只会有一个_defer结构体记录了所有_defer语句的信息，而openDefer就是用来标识该_defer结构体是否是针对开放式编码_defer的

openDefer bool

//_defer语句所在栈帧的栈指针（stack pointer） //在函数调用时，每个函数都会创建一个新的栈帧，用于保存函数的局部变量、参数和返回值等信息。而_defer语句也被保存在这个栈帧中，因此需要记录栈指针以便在函数返回时找到_defer语句。当一个_defer语句被执行时，它会被添加到_defer链表中，并记录当前栈帧的栈指针。在函数返回时，Go语言会遍历_defer链表，并执行其中的_defer语句。而在执行_defer语句时，需要使用保存在_defer结构体中的栈指针来访问_defer语句所在栈帧中的局部变量和参数等信息。需要注意的是，由于_defer语句是在函数返回之前执行的，因此在执行_defer语句时，函数的栈帧可能已经被销毁了。因此，_sp字段的值不能直接使用，需要通过一些额外的处理来确保_defer语句能够正确地访问栈帧中的信息。 sp uintptr

//_defer语句的程序计数器（program counter） //程序计数器是一个指针，指向正在执行的函数中的下一条指令。在_defer语句被执行时，它会被添加到_defer链表中，并记录当前函数的程序计数器。当函数返回时，Go语言会遍历_defer链表，并执行其中的_defer语句。而在执行_defer语句时，需要让程序计数器指向_defer语句中的函数调用，以便正确地执行_defer语句中的代码。这就是为什么_defer语句需要记录程序计数器的原因。需要注意的是，由于_defer语句是在函数返回之前执行的，因此在执行_defer语句时，程序计数器可能已经指向了其它的函数或代码块。因此，在执行_defer语句时，需要使用保存在_defer结构体中的程序计数器来确保_defer语句中的代码能够正确地执行。 pc uintptr // pc 计数器值，程序计数器

// defer 传入的函数地址，也就是延后执行的函数 fn *funcval

//efer 的 panic 结构体

_panic *_panic

//用于将多个defer链接起来，形成一个defer栈
//当程序执行到一个 defer 语句时，会将该 defer 语句封装成一个 _defer 结构体，并将其插入到 defer 栈的顶部。当函数返回时，程序会从 defer 栈的顶部开始依次执行每个 defer 语句，直到 defer 栈为空为止。每个 _defer 结构体中的 link 字段指向下一个 _defer 结构体，从而将多个 _defer 结构体链接在一起。当程序执行完一个 defer 语句后，会将该 defer 从 defer 栈中弹出，并将其 link 字段指向的下一个 _defer 结构体设置为当前的 defer 栈顶。这样，当函数返回时，程序会依次执行每个 defer 语句，从而实现 defer 语句的反转执行顺序的效果。需要注意的是，由于 _defer 结构体是在运行时动态创建的，因此 defer 栈的大小是不固定的。在编写程序时，应该避免在单个函数中使用大量的 defer 语句，以免导致 defer 栈溢出。

link *_defer }