⬆️ deps: Update dependencies (non-major)

[renovate]

This PR contains the following updates:

Package	Change	Age	Adoption	Passing	Confidence
isort (source, changelog)	5.11.5 -> 5.12.0
paddlepaddle (source)	2.5.0rc1 -> 2.5.1
pytest (source, changelog)	7.3.1 -> 7.4.2

---

Release Notes

pycqa/isort (isort)

v5.12.0

Compare Source

• Removed support for Python 3.7
  • Fixed incompatiblity with latest poetry version
  • Added support for directory limitations within built in git hook

paddlepaddle/paddle (paddlepaddle)

v2.5.1

Compare Source

v2.5.0: PaddlePaddle 2.5.0 Release Note

Compare Source

PaddlePaddle 2.5.0 Release Note

1. 重要更新

• 动静统一新架构：实现基础算子组合的动转静加编译器执行新模式，在ResNet50&Bert模型上完成动转静、组合算子、神经网络编译器优化加速全流程。动转静完成整图fallback核心功能开发，支持动转静失败时回退到动态图训练执行；组合算子设计一套包含150多个基础算子的基础算子体系，实现python层前向算子拆分机制和支持动、静态图的反向算子拆分机制，实现70多个常用前、反向算子的拆分；CINN编译器修复正确性问题，开发关键Pass，添加手工Schedule规则，实现内核代码自动生成，ResNet50模型性能提升12%，Bert模型性能提升10%。
• PHI算子库算子架构统一：将原算子体系下剩余的350+算子内核全部统一到PHI算子库中，以及原算子体系中的算子定义方式也都统一为PHI算子库的算子定义形式（基于YAML配置定义算子），提升了架构统一性，降低了框架开发的理解成本；将PHI算子库依赖的Fluid头文件全部解耦，并独立编译为动态链接库，为框架的二次开发提供更轻量的算子库复用方式；继续对飞桨框架中不规范的算子以及算子内核进行规范化调整，便于开发者理解，降低了硬件的接入成本。
• 静态图新执行器全面上线：静态图新执行器实现多项功能和性能优化，完成对原有多套旧执行器的统一和替换，成为静态图单卡和分布式训练python端入口以及动转静、控制流、CINN等后端默认使用的执行引擎，大幅提升框架调度性能，功能架构更加清晰，二次开发能力显著增强。
• Python API 支持0维tensor：为形状为[1,] 及形状为 [] 的张量定义了清晰的语义。
• 新的环境适配：适配了CUDA 12，并支持使用gcc12进行编译。

2. 不兼容升级

• 飞桨API支持0维tensor。飞桨之前用shape为[1]的1维tensor来替代0维tensor，这种替代方式和当前主流习惯有差异，增加模型的开发调试成本，有时还会导致非预期错误。本版本对需支持0维tensor的376个API进行了修正，和社区广泛使用的工具如EinOps等实现。例如，在之前的情况下，模型训练中输出的loss为1维tensor，如果要取出或打印loss，往往需要使用 loss.numpy()[0] 这样的代码。经过本次修改后，模型训练中输出的loss为0维tensor，使用 loss.numpy() 即可取出或打印loss，代码简短、易懂且符合业界使用习惯。
• paddle.fluid API全面退场。按照上个版本已预告的计划，本次退场了1116个paddle.fluidAPI及相关内部接口，剩余少量相关内部接口会在下个版本全部清理完成。fluid API属于飞桨2.0本计划移除但考虑到兼容性等因素延缓清理的历史API，本次退场清理不会影响基于飞桨2.0开发的程序，飞桨API体系也会更加简洁易懂。
• 旧版动态图Python端代码完成清理。至此，Python端仅使用新版动态图调用C++核心逻辑。
• 为统一静态图模型数据并行的训练方式，废弃原有的单进程多卡训练方式，包括 paddle.static.ParallelExecutor 和 paddle.static.CompiledProgram().with_data_parallel() 两个接口，原因是这套接口只支持单机多卡，不支持多机多卡，且底层执行性能较差。推荐统一使用多进程多卡训练方式，即 paddle.distributed.launch 接口来进行数据并行的分布式训练。该升级只影响静态图，不影响动态图和动转静训练，如果使用了废弃接口，请参考 数据并行 的文档修改模型代码。#​50351，#​50501，#​51240，#​51701，#​51616，#​51369，#​52671
• 移除框架中原有的昇腾NPU和寒武纪MLU的适配代码，全部升级为CustomDevice插件式适配方式，并将昇腾NPU和寒武纪MLU的适配代码迁移至PaddleCustomDevice仓库。

3. 训练框架（含分布式）

Python API

API 支持0维tensor

• API输入支持0维tensor，涉及 paddle.reshape、paddle.trace、paddle.linalg.norm 等286个API。#​53208, #​53592, #​47074, #​53186, #​47677, #​49357, #​50237, #​46555, #​47219, #​47501, #​47858, #​47961, #​48058, #​48007, #​49755, #​51024, #​51566, #​51899, #​49813, #​47812, #​47849, #​47251, #​53125, #​53828, #​51265, #​47689, #​48452, #​49072, #​48638, #​49175, #​49279, #​50857, #​49805, #​47734, #​45992, #​49616, #​49959, #​50536, #​49544, #​49842, #​46909, #​49361, #​50169, #​48314, #​48735, #​49122, #​49122, #​49177, #​49501, #​49562, #​49340, #​49550, #​49596, #​49730, #​49667, #​49692, #​49854, #​49845, #​49803, #​49889, #​49904, #​49518, #​49884, #​49880, #​49862, #​49921, #​49260, #​49929, #​49570, #​49882, #​50213, #​49780, #​50271, #​50289, #​50293, #​49735, #​50433, #​49847, #​50635, #​50950, #​50947, #​49460, #​53087, #​51687, #​52185, #​54649
• API输出支持0维tensor，涉及 paddle.sum、paddle.min/max、paddle.any/all 等90个API。#​52891, #​52861, #​52775, #​52850, #​52843, #​52857, #​51721, #​53051, #​53192, #​52739, #​52741, #​53175, #​51889, #​53199, #​53242, #​53421
• 支持0维tensor后，修正原有不规范的代码，及对模型代码中的非规范用法进行提示和兼容。#​51562, #​51586, #​51757, #​52197, #​54117。

new API

• 新增 jacobian 和 hessian API，用于科学计算。#​53331
• 新增稀疏计算API。例如 paddle.sparse.reshape、paddle.sparse.sum 和 paddle.sparse.slice 等。#​46694, #​51513, #​53794, #​51406
• 新增其它API。例如 paddle.optimizer.LBFGS、paddle.index_put 和 paddle.logaddexp 等。#​53314, #​51912, #​52886, #​50843, #​47282, #​52284

动态图

新功能

• 新增了paddle.nn.utils.clip_grad_norm_用于支持梯度裁剪和paddle.Tensor.data_ptr用于获取Tensor数据的内存/显存的地址 PR49935, PR48235, PR49173
• 新增了saved_tensors_hooks机制，用于临时存放和取回用于反向计算使用的前向Tensor。 PR45763, PR46215, PR48124
• Tensor支持了pickler，用于支持Tensor的序列化。 PR47025, PR48179
• 新增了调试日志，反向出现nan/inf时打印前向Python堆栈 PR53217 PR52639 PR52729
• 新增了对expand_v2, tile, concat, assign, slice高阶微分的支持。PR45941, PR45942, PR45940, PR45879, PR45960

功能优化

• 优化了动态图的日志打印，包括日志内容优化、VLog级别优化、报错内容优化等。PR45783, PR46349, PR46934, PR47724
• 新增了FLAGS_auto_growth_chunk_size_in_mb用于auto_growth_allocator最小chunk size的设置 PR52204

bug fix

• 修复了一些算子的bug，包括：batch_norm, slice, set_value, scale, multinomial, adam, conv, transpose2_grad, conv2d_transpose_double_grad。PR47802, PR47634, PR47349, PR46124, PR46147, PR50388, PR48626, PR48519, PR50386, PR48432, PR51851
• 修复了PyLayer的一些错误问题。PR51740, PR47154, PR47323, PR54041, PR48533
• 确保sync_batch_norm在反向有序，防止错序导致hang或精度错误。PR52268, PR52860, PR52779
• 修复了linspace在AMP下的bug。PR46088
• 修复了Python C API错误调用导致Windows崩溃的问题。PR46833
• 修复了DataLoader可能遗漏删除/dev/shm的问题。PR48511
• 修复了paddle.grad的一些问题。PR47151
• 为不支持高阶微分的算子添加报错信息。PR47231
• 为python运算符添加numpyarray的支持。PR48229
• 有两处element_size 接口，删除其中之一。PR49631
• 修复老动态图开VLOG崩溃问题。PR47115
• XPU，d2d时，改成d2h+h2d，规避多线程问题 。PR48373

性能优化

• Python运算符下沉到C++实现，以提升API性能, 下沉后该类API有3~6倍性能提升。PR45811, PR46326, PR46329, PR46520, PR46542, PR46565, PR47060, PR47077, PR47174, PR47315
• 优化了Optimizer CPU调度性能，可减少Optimizer阶段导致的GPU Gap。 PR49787, PR50188, PR51340, PR49864, PR50158, PR50335
• API中可下沉到C++的逻辑，下沉到C++，以提升API性能。PR46412, PR46190
• 优化动态图下Python端不必要的调用逻辑，以提升API性能。PR46221, PR49473, PR49574, PR49589, PR49612, PR49717, PR49733, PR49823, PR49508, PR46840
• 优化了Allocator的使用，以提升动态图API调度性能。PR47125, PR48548, PR50995, PR47731
• 优化了fused_attention算子性能。PR48902
• optimizer的_add_accumulator，如果device是CPU，且在动态图下，直接使用full初始化var。PR48189
• 对反向图不必要执行的subgraph进行剪枝以提升性能。PR47827
• 优化了initalizers的性能。PR46033
• 新增fused dropout add算子，提升dropout 和 add 一起计算的性能。#​52903

静态图

静态图新执行器全面上线

静态图新执行器实现多项功能和性能优化，完成对原有多套旧执行器的统一和替换，成为静态图单卡和分布式训练python端入口以及动转静、控制流、CINN等后端默认使用的执行引擎，大幅提升框架调度性能，功能架构更加清晰，二次开发能力显著增强。#​45913，#​46025，#​48911，#​50239，#​45696，#​46092，#​48158,#​51389，#​49708，#​49275,#​48789，#​49939，#​51149，#​52652

算子库

自定义算子等功能增强

包括：全新支持了自定义扩展机制，实现将 C++ 扩展的运算函数绑定至Python端使用，进一步提升了框架的二次开发能力；扩展支持自定义硬件上使用自定义算子机制，以满足硬件厂商实现非Paddle已有算子的需求；扩展支持了在自定义算子中实现inplace、vector<Tensor>输出、optional<Tnesor>输入等高阶机制；优化了自定义算子在动态图模式下的调度性能，多输入参数的算子性能提升 25.4%；为自定义算子Tensor扩展新增了常用运算符及API，支持链式调用，简化代码写法。对算子内核选择机制进行了优化；对部分算子内核进行了逻辑完善、支持数据类型增强以及性能优化；新增以及完善 XPU 内核 100+；修复各项 Bug 累计 170+。
#​49222, #​51773, #​51923, #​53080, #​50731, #​50563, #​50840, #​50983, #​51713, #​48733, #​50558, #​50764, #​51973, #​52216, #​51027, #​50745, #​50756, #​50886, #​50813, #​50869, #​51085, #​51646, #​51620, #​51844, #​52421, #​52872, #​52597, #​50582, #​52114, #​52915, #​50928, #​48272, #​48702, #​52191, #​52191, #​47374, #​47375, #​47378, #​54126, #​47638, #​47661, #​50606, #​53528, #​50599, #​51727, #​50825, #​50773, #​50979, #​53336, #​53555, #​53716, #​53753, #​53981, #​53977, #​53980, #​54043, #​54066, #​52866, #​53043, #​53325, #​54323, #​54367, #​51353, #​53749, #​50013, #​47570, #​50997, #​51241, #​49537

算子体系架构统一

具体包括：将原算子体系下剩余的350+算子内核全部统一到PHI算子库中，以及原算子体系中的算子定义方式也都统一为PHI算子库的算子定义形式（基于YAML配置定义算子），提升了架构统一性，降低了框架开发的理解成本；将PHI算子库依赖的Fluid头文件全部解耦，并独立编译为动态链接库，为框架的二次开发提供更轻量的算子库复用方式；继续对飞桨框架中不规范的算子以及算子内核进行规范化调整，便于开发者理解，降低了硬件的接入成本。
#​47856, #​49328, #​49138, #​52014, #​52044, #​52116, #​52486, #​52101, #​52882, #​53003, #​53034, #​51914, #​49116, #​52626, #​52878, #​52879, #​52880, #​52875, #​51600, #​51601, #​51590, #​51887, #​51891, #​52036, #​52130, #​52134, #​51951, #​51886, #​52274, #​52263, #​51913, #​52145, #​52347, #​52370, #​52437, #​52424, #​52231, #​52522, #​52529, #​52802, #​52799, #​52855, #​52711, #​52940, #​53309, #​47817, #​48001, #​48063, #​48049, #​48168, #​48415, #​48696, #​48970, #​50183, #​50407, #​50498, #​50419, #​50282, #​50870, #​50911, #​50865, #​51288, #​53735, #​47248, #​47787, #​52202,
#​47579, #​49444, #​45772, #​51264, #​51634, #​51631, #​47385, #​46342, #​47510, #​47532, #​47702, #​47860, #​49470, #​50358, #​49121, #​50190, #​52374, #​52372, #​52375, #​52371

动转静加组合算子

新功能

• 组合算子添加dropout, silu, stack, relu, expand, unsqueeze, pow, squeeze, meshgrid, batch_norm, layer_norm, group_norm, instance_norm, full_like, split, split_with_num, gelu, mean, flatten, rsqrt, hadswish算子的组合规则 #​50497, #​50838, #​50861, #​50819, #​50810, #​51527, #​51070, #​51539, #​51061, #​49894, #​50422, #​51874, #​51341, #​50295, #​50298, #​50672, #​51432, #​51003
• 组合算子添加gather_nd, reduce_max, group_norm, relu, reduce_max, gather, topk, sqrt, elementwise_pow, softmax, batch_norm, prod, multiply, expand, div, relu, slice, cumsum, sigmoid, layer_norm, sin, cos, roll, instance_norm, abs, assign, tile, scatter_nd_add, erf, floor, log, silu, leaky_relu, pad算子的vjp规则 #​50966, #​51653, #​52663, #​51742, #​52203, #​50794, #​50305, #​50786, #​50679, #​51045, #​51230, #​51474, #​51283, #​51238, #​49831, #​51838, #​50771, #​50565, #​51768, #​51750, #​51748, #​52532, #​52935, #​50963, #​51430, #​53141, #​52469, #​50436, #​51059, #​51296, #​52533, #​53374
• 组合算子添加matmul, tanh, elementwise二阶微分规则 #​50452, #​52192, #​53014
• 组合算子添加exp, reduce_mean, softmax, divide, cast, layer_norm, prod, meshgrid, expand_as, dropout, concat, gather_nd, elementwise_max, elementwise_pow, reduce_max组合算子bf16数据类型支持 #​54263， #​54236, #​53865, #​54175, #​54399
• 动转静新增控制流中的容器添加赋值语义支持 #​51248
• 动转静新增全图回退功能，当动转静转换失败时，可全图回退到动态图方式执行; 回退机制增加set_eval_frame接口 #​50111, #​52006
• 动转静to_static支持算子组合机制；支持被to_static装饰下使用register_hook的场景； #​49836, #​52948, #​53572
• 动转静to_static接口增加backend参数， 可以指定为 CINN 或者 None，当该参数指定为 CINN 时，将会使用 CINN 编译器来加速训练和推理 #​52596
• 新增primitive接口代码自动生成功能，根据ops.yaml和legacy_ops.yaml中的算子定义；自动生成primitive接口的代码；自动生成Tensor运算接口 #​50315, #​49654, #​50642
• 新增算子前向组合功能，通过注册前向算子的组合规则，实现将前向算子拆分成基础算子 #​49605
• 新增组合算子开关，可以在shell中通过设置环境变量，实现算子按照不同方式进行拆分 #​50309
• 添加OpTest新增组合测试功能，对算子精度进行保障；添加elementwise类基础算子单测；添加batch_norm的CINN单测 #​50509, #​50807, #​52815

功能优化

• 添加组合算子支持FP16运算和AMP O1运算；添加softmax和layer_norm算子AMP逻辑 #​52397, #​52598, #​51473
• 简化组合算子batch_norm的组合规则和vjp规则 #​54012, #​51827, #​51933,
• 组合算子优化组合规则，提升含scalar组合规则的性能；优化组合算子日志打印 #​51960, #​50160
• 组合算子支持jit.save接口；新增自定义VJP规则接口 #​52344, #​50885
• 组合算子gather_grad删除overwrite参数。 #​52707
• 动转静代码风格清理，报错信息优化，规范日志 #​48637, #​46128, #​52527, #​46800,#​46415
• 动转静通过调用append backward的方式获取grad var name以修复高阶梯度计算时的错误 #​53250
• 动转静功能升级，清理to_static的临时目录以加速代码转换；增强to_static自动略过内部接口；支持在程序使用to_static装饰器 #​47102, #​50596, #​45768
• 动转静优化print函数转换以支持在组网阶段打印 Tensor 参数；升级参数收集机制 #​48672, #​50336

bug fix

• 组合算子修复cmake编译错误；修复cuda 12测试错误；修复若干算子如meshgird, expand_as, concat, conv, arrange等错误#​49643, #​54622, #​53951, #​53951, #​53350, #​51486, #​52764
• 组合算子修复若干rank=1, shape=-1, amp, 多进程等场景下的bug；#​51413, #​51435, #​50518, #​47301,
• 组合算子修复composite grad maker和static prim api自动代码生成bug; 修复op创建属性丢失和部分组合规则不生效的bug #​50854, #​51445, #​50780, #​52120
• 组合算子修复一些其他bug #​50086, #​51208, #​51577, #​53598, #​47500, #​52119, #​50397, #​50527, #​50788, #​51014, #​52154, #​52752
• 动转静修复dataloader, cond输入dict, transformer导入, T5模型内存泄露, grad var name解析错误等bug #​49821， #​47299, #​50776, #​50883, #​51100, #​51464, #​51966, #​52110, #​52821
• 动转静修复Lazy初始化，Windows训练，is_paddle_func失效，recurrent op删除pass失败等错误 #​50785, #​52580, #​51585, #​51763, #​51763

性能优化

• 动转静调用run_program_op的执行过程中，增加scope缓存和复用机制，避免每个step都会传入新的scope #​45813

分布式训练

动态图分布式

• 去除旧动态图分布式sharding功能API #​49334
• fleet升级到distributed目录 #​50834
• 优化分布式策略的日志打印。#​47761
• 重计算支持hook模式、inplace功能、stop_gradient模式，支持更灵活的使用。 #​48471, #​47985
• 数据并行
  • 数据并行支持no_sync接口，用于屏蔽参数梯度通信；参数同步功能；添加scale接口，缩放参数。#​47536,#​51895,#​47519
  • 修复数据并行下显存泄露问题。#​47369,#​47444,#​48668
  • 支持sparse 参数梯度同步。#​52785
• 流水线并行
  • 优化流水线性能，去除通信等待，优化调度，通信overlap。#​46209,#​54003,#​54312,#​53384,#​54310,#​46399,#​46483,#​46780,#​46116
  • 支持自定义切分，日志打印，随机种子设置，timer耗时打印。#​53344, #​47670,#​47336,#​52656,#​53831
  • 优化流水线调度中的显存释放逻辑，提前释放中间变量和数据。#​54557, #​47199,#​47497,#​48045,#​54672
  • 支持流水线并行的VPP模式，模型保存。#​54196, #​52927,#​47801,#​45922,#​47242
• 分组切分并行
  • sharding stage2 并行支持量化功能，混合并行训练，梯度累加，XPU硬件，BF16低精度计算、优化器学习率设置、offload功能、数据并行。#​47169,#​47535, #​46795,#​47711,#​48310,#​46846,#​48857,#​49196,#​49931,#​47114,#​49767
  • sharing stage2 性能优化，支持通信计算overlap。#​46495,#​46894
  • sharding stage3 支持共享参数、不可训练参数。#​48695,#​48577
• 张量模型并行
  • 张量模型并行性能优化，减少stream切流对性能的影响。#​47715,#​51617
  • 支持参数、优化器状体、梯度同步。#​51428,#​53254, #​53335,#​45803,#​46303,#​52293
  • 优化张量模型并行算子，如c_embedding、softmax_with_corss_entropy。#​53197,#​53547,#​53541,#​52789,#​46491,#​52742,#​53419
• Launch启动
  • 支持分布式Launch功能，保存独立日志。#​53207,#​50405
  • 新增框架打印环境变量功能，日志覆盖功能，日志返回，环境检查，便于debug环境变量的改动。#​53243,#​53243, #​51803, #​53990
• 通信库
  • 增加自定义混合并行通信组，拓扑结构信息打印，自定义通信拓扑顺序。#​47021,#​54000,#​51781
  • 去除通信库对Place信息依赖 #​47857
  • 增加通信库对GLOO算子支持，支持send/recv/gather。 #​52221, #​52334,#​49084
  • 禁止通信算子的反向计算。#​47636
  • 新增通信库静态shape check，帮助判别通信量是否匹配。#​48256,#​48915,#​48646
  • 支持通信python object类型，BF16类型，alltoall，reduce，allgather，group call，global gather，broadcast，scatter通信方式，XPU设备通信支持。#​51765,#​45844,#​48059,#​48115, #​48339,#​49252,#​49451,#​50085,#​50701,#​48208,#​48736,#​51762,#​52495,#​53514,#​48232,#​49896,#​49941,#​45584
  • 新增对计算流通信功能。#​46182,#​46023,#​46295,#​46761,#​47481,#​47740,#​47976,#​48163,#​48396,#​48308,#​47110,#​53089
  • 优化通信库TCP建联时间。#​49810,#​47184

自动并行

• 静态图半自动并行功能完善：
  • 新增多个算子的FLOPs计算函数，并新增基于FLOPs的计算Cost建模 #​48083,#​47978,#​47595,#​48083,#​48084,#​47816
  • 接口易用性提升，完善 DistAttr, Process Mesh, Engine API、信息打印、输入输出等模块；执行Engine新增cost接口，可用于理论分析模型运行的时间和显存开销 #​47503,#​46416,#​46554, #​46633,#​49214,#​53848,#​46552, #​47043, #​49665, #​52912, #​45776, #​47263
  • 优化Pass的通用性和易用性升级，支持更多场景、减少Pass预分析耗时 #​46519,#​47358,#​46391, #​51035
  • 调试能力增强，添加分布式随机性控制机制和混合并行精度对齐工具 #​52903,#​49865
  • 支持推理生成任务组网的自动切分, 适配生成模型中的控制流、conditional block等特殊用法 #​46771, #​54067
  • 完善grad_clip，支持了数据并行场景下的负载均衡。#​49510, #​49249
• 静态图半自动并行性能提升：
  • 新增 Sharding Pass 自动化通信Fuse 和 多流通信功能，GPT 6.7B 模型两机上吞吐性能提升 26% #​48604, #​47180,#​46180
  • 新增 Recompute 优化策略调优功能，支持根据显存和模型大小选择最优 recompute checkpoint 设置 #​48608,#​47846,#​49010
  • 流水线并行新增 1F1B 调度优化 Pass #​54260, #​45915
  • 数据并行优化，支持融合通信和通信计算Overlap 等优化, GPT 1.3B模型内性能提升 5% #​48092,#​45643,#​49744, #​47578
  • 优化 Reshard模块concate 性能，减少部分场景下concate 次数。#​47809
  • 混合精度优化Pass性能升级, 支持 BF16 低精度, 适配 while 循环控制流的自动混合并行等 #​51285,#​51147, #​49219, #​49079
• 静态图全自动并行功能完善：
  • 新增基于规则的全自动搜索策略 #​51859,#​51908,#​52053,#​48316,#​48464, #​52041
  • 自动并行建模能力完善，丰富单节点内拓扑建模、通信量建模等。 #​52723,#​46387,#​47043

参数服务器

• 清空ps

---

Configuration

📅 Schedule: Branch creation - "before 4am on Monday" (UTC), Automerge - At any time (no schedule defined).

🚦 Automerge: Enabled.

♻ Rebasing: Whenever PR becomes conflicted, or you tick the rebase/retry checkbox.

👻 Immortal: This PR will be recreated if closed unmerged. Get config help if that's undesired.

---

• If you want to rebase/retry this PR, check this box

---

This PR has been generated by Mend Renovate. View repository job log here.