Pytorch架构使用

Pytorch

1、pytorch基本语法

1.1 学习目标

1.2 什么是Pytorch

1.3 pytroch的基本元素操作

1.4 pytroch基本运算操作

1.5 关于Torch Tensor和Numpyarray之间的相互转换

Torch Tensor 和Numpy array 共享底层的内存空间，因此改变其中的一个值，另外一个值

代码：

注意：所有在cpu上的Tensors，除了char Tensor，都可以转换为Numpy array 并可以反向转换

关于Cuda Tensor：Tensors可以用.to()方法来将其移动到任意设备上

1.6 小节总结

2、pytorch初步使用

2.1 学习目标

2.2 关于torch.Tensor

2.3 guanyu Tensor的操作

2.4 关于梯度Gradients

2.5 小节总结

第三章：TransFormer经典案例

3.1 使用transForm构建语言模型

语言模型能解决哪些问题？

1、根据语言模型的定义，可以在它的基础上完成机器翻译，文本生成等任务，因为我们通过最后输出的概率分布来预测下一个词汇是什么

2、语言模型可以判断输入的序列是否为一句完整的得话，因为我们可以根据输出的概率分布查看最大概率是否落在句子结束符上，来判断完整性

3、语言模型本身的训练目标是预测下一个词，因为他的特征是提取部分会抽象很多语言序列之间的关系，这些关系可能同样对其他语言模型类任务有效果，因此可以作为预训练模型进行迁移学习