PyTorch

PyTorch

原作者	Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan
開發者	Meta AI（英语：Meta AI）
首次发布	2016年10月，​8年前​（2016-October）
当前版本	2.5.0[1]（2024年10月17日，23天前）
源代码库	github.com/pytorch/pytorch
编程语言	Python, C++, CUDA
操作系统	Linux, macOS, Windows
平台	IA-32, x86-64, ARM64
类型	机器学习和深度学习库
许可协议	BSD许可证
网站	pytorch.org

机器学习与数据挖掘
范式 监督学习 無監督學習 線上機器學習 元学习（英语：Meta-learning (computer science)） 半监督学习 自监督学习 强化学习 基于规则的机器学习（英语：Rule-based machine learning） 量子機器學習
问题 统计分类 生成模型 迴歸分析 聚类分析 降维 密度估计（英语：density estimation） 异常检测 数据清洗 自动机器学习 关联规则学习 語意分析 结构预测（英语：Structured prediction） 特征工程 表征学习 排序学习（英语：Learning to rank） 语法归纳（英语：Grammar induction） 本体学习（英语：Ontology learning） 多模态学习（英语：Multimodal learning）
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning） 决策树学习 集成学习 Bagging 提升方法 随机森林 k-NN 線性回歸 朴素贝叶斯 人工神经网络 邏輯斯諦迴歸 感知器 相关向量机（RVM） 支持向量机（SVM） 迁移学习 微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm） 层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维 因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction） 圖模式 貝氏網路 條件隨機域 隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor） 孤立森林（英语：Isolation forest）
人工神经网络 自编码器 認知計算 深度学习 DeepDream（英语：DeepDream） 多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network） 储备池计算（英语：reservoir computing） 受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision transformer（英语：Vision transformer） 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor） 电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD） 多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习 主动学习（英语：Active learning (machine learning)） 众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断 学习曲线（英语：Learning curve (machine learning)）
数学基础 内核机器（英语：Kernel machines） 偏差–方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化 奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目 人工智能术语（英语：Glossary of artificial intelligence） 机器学习研究数据集列表（英语：List of datasets for machine-learning research） 机器学习概要（英语：Outline of machine learning）
查 论 编

PyTorch是一个开源的Python机器学习库，基于Torch（英语：Torch (machine_learning)）库^[2][3][4]，底层由C++实现，应用于人工智能领域，如计算机视觉和自然语言处理^[5]。它最初由Meta Platforms的人工智能研究团队开发，現在屬於Linux基金会的一部分^[6][7][8]。它是在修改後的BSD許可證下發布的自由及开放源代码软件。 儘管Python接口更加完善並且是開發的主要重點，但 PyTorch 也有C++接口^[9]。

許多深度學習軟體都是基於 PyTorch 構建的，包括特斯拉自动驾驶^[10]、Uber的Pyro^[11]、Hugging Face的Transformers^[12]、 PyTorch Lightning^[13][14]、和Catalyst^[15][16]。

PyTorch主要有两大特征：^[17]

• 类似于NumPy的张量计算，能在 GPU 或 MPS 等硬件加速器上加速；
• 基于带自动微分系统^[18][19]的深度神经网络^[20]。

PyTorch包括torch.autograd、torch.nn、torch.optim等子模块^[20]。

PyTorch包含多种损失函数，包括 MSE（均方误差 = L2 范数）、交叉熵损失和负熵似然损失（对分类器有用）等。

PyTorch定義了一個名為張量(torch.Tensor) 的類別來儲存和操作同構多維矩形數字陣列。 PyTorch張量與NumPy陣列類似，但也可以在支援 CUDA 的 英伟达 GPU 上運作。 PyTorch 也一直在開發對其他 GPU 平台的支持，例如 AMD 的 ROCm 和 Apple 的Metal Framework^[21]。

张量是 PyTorch 中的核心数据抽象，PyTorch 支援各種張量子類型^[22]。通常地，一维张量称为向量（vector），二维张量称为矩阵（matrix）。

张量的数据类型包括：

• torch.bool
• torch.int8
• torch.uint8
• torch.int16
• torch.int32
• torch.int64
• torch.half
• torch.float
• torch.double
• torch.bfloat

神经网络由对数据执行操作的层/模块组成。 torch.nn 命名空间提供了使用者需要的所有构建块来构建自己的神经网络。PyTorch 中的每个模块都对应nn.模块。 神经网络本身是由其他模块（层）组成的模块。这种嵌套结构允许使用者轻松构建并管理复杂的架构。神经网络中的许多层都是参数化的，即具有相关的权重以及在训练期间优化的偏差。自动子类化跟踪模型对象中定义的所有字段，并生成所有参数可使用模型或方法访问。^[2]

import torch                     # for all things PyTorch import torch.nn as nn            # for torch.nn.Module, the parent object for PyTorch models import torch.nn.functional as F  # for the activation function 

激活函数torch.nn.Module具有封装所有主要内容的对象激活功能，包括 ReLU 及其许多变体、Tanh、 Hardtanh、sigmoid 等。^[3]

最基本的神经网络层类型是线性或完全连接层。在这个层中，每个输入都会影响每个图层的输出到由图层权重指定的程度。如果 模型有 m 个输入和 n 个输出，权重将是一个 m x n 矩阵。

卷积层旨在处理高度空间相关性。它们在计算机视觉中非常常用， 它们检测组成的特征的紧密分组更高级别的功能。它们也会在其他上下文中弹出。例如， 在 NLP 应用程序中，单词的直接上下文（即序列中附近的其他单词）可以影响语句。

递归神经网络（RNN）是用于顺序数据（从科学仪器到时间序列测量）的自然语言句子。

下面的程序用简单的例子展示这个程序库的低层功能。

>>> import torch >>> dtype = torch.float >>> device = torch.device("cpu") # 本次在CPU上执行所有的计算 >>> # device = torch.device("cuda:0") # 本次在GPU上执行所有的计算 >>>  >>> # 建立一个张量并用随机数填充这个张量 >>> a = torch.randn(2, 3, device=device, dtype=dtype) >>> print(a) # 输出张量a tensor([[-0.1460, -0.3490,  0.3705],         [-1.1141,  0.7661,  1.0823]]) >>>  >>> # 建立一个张量并用随机数填充这个张量 >>> b = torch.randn(2, 3, device=device, dtype=dtype) >>> print(b) # 输出张量B tensor([[ 0.6901, -0.9663,  0.3634],         [-0.6538, -0.3728, -1.1323]]) >>>  >>> print(a*b) # 输出两个张量的乘积 tensor([[-0.1007,  0.3372,  0.1346],         [ 0.7284, -0.2856, -1.2256]]) >>> print(a.sum()) # 输出在张量a中所有元素的总和 tensor(0.6097) >>>  >>> print(a[1,2]) # 输出第2行第3列（0起始）的元素 tensor(1.0823) >>>  >>> print(a.max()) # 输出在张量a中的极大值 tensor(1.0823) 

下列代码块展示了nn模块提供的高层功能的例子。例子中定义了具有线性层的神经网络。

import torch from torch import nn # 从PyTorch中导入nn子模块   class NeuralNetwork(nn.Module): # 神经网络被定义为类     def __init__(self): # 在__init__方法中定义诸层和变量         super(NeuralNetwork, self).__init__() # 必须出现在所有网络中         self.flatten = nn.Flatten() # 定义一个压平层         self.linear_relu_stack = nn.Sequential( # 定义诸层的一个堆栈             nn.Linear(28*28, 512), # 线性层有一个输入和输出形状             nn.ReLU(), # ReLU是nn提供的诸多激活函数之一             nn.Linear(512, 512),             nn.ReLU(),             nn.Linear(512, 10),          )      def forward(self, x): # 这个函数定义前向传递。         x = self.flatten(x)         logits = self.linear_relu_stack(x)         return logits 

• 深度学习软件比较（英语：Comparison of deep learning software）
• 人工神经网络
• 深度学习
• 机器学习
• 损失函数
• 激活函数

• 官方网站
• 从 GitHub 访问 PyTorch 教程 （页面存档备份，存于互联网档案馆）
• PyTorch基金会的Youtube账号 （页面存档备份，存于互联网档案馆）