OneFlow 算子对齐 PyTorch 完备计划推进表

[doombeaker]

背景

本 issue 主贴（此贴）记录分工和对应的 PR，方便跟进。

解决的时间节点

Hard难度的应该在0.7.0版本之前解决，Medium应该在0.6.0版本之前完全解决，Easy难度的应该在分配当周或者下周进行解决。

相关文档

• 给Op增加Inplace版本：https://github.com/Oneflow-Inc/OneTeam/issues/806
• 开发User OP：https://github.com/Oneflow-Inc/OneTeam/issues/567

负责人

@BBuf

任务分工表

• flow.sum()仅支持dim指定维度，而torch支持dim或axis。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1089842163
• oneflow._oneflow_internal.Tensor 类型不可以自动转化为Numpy类型 来源：陈巧玲 OCR https://github.com/Oneflow-Inc/OneCloud/issues/69#issuecomment-1074628723
• Dataloader pin_memory没有对齐的问题。需要露阳解决。优先级低。相关issue：https://github.com/Oneflow-Inc/OneTeam/issues/1180 。
• 将argsort的Python层逻辑迁移到Functor。来源性能需求。认领人：王世杰。 Medium。
• 将argwhere的Python层逻辑迁移到Functor。来源性能需求。认领人：王世杰。 Medium。
• 将to_local_op的Python层逻辑迁移到Functor。来源性能需求。Easy。
• 将empty的Python层逻辑迁移到Functor。来源性能需求。 Medium。
• flow.cuda.empty_cache 接口没对齐。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/87#issuecomment-1102115749 。来自丰伟：allocator需要通过vm从stream中获取。当前支持的条件不成熟，且功能较为薄弱。
• TypeError: conv2d(): missing required argument channel_pos 。来源：迟子秋。认领人：张晓雨。优先级：中。Fix nn functional conv2d bug #7892
• 支持bool Tensor的~方法。来源：中兴用户。认领人：王世杰。优先级：高。dev invert api #7899
• 新增了SoftShrink算子。开发者：王义。Add op softshrink #7826
• 中兴用户跑一个模型出现错误。来源：错误。认领人：张晓雨。最终定位到var op不支持dim为负数的bug，已解决：Fix var op negative dim bug #7863
• as_tensor 算子不支持。来源：中兴。难度：Medium 优先级高。认领人：张晓雨。Support as tensor op #7855
• flow.randn 在 cuda:1 上直接创建tensor出错以及api没有对齐 pytorch。来源：https://github.com/Oneflow-Inc/OneTeam/issues/1213 。难度：Medium 优先级中。 fix bug about randn because get wrong device id #7896 Fix rand/randn bug #7914
• SoftPlus没有和PyTorch的接口对齐。来源：SoftPlus 算子没有对齐 #7817 。难度：Easy 。优先级中。认领人：李响。PR：Fix softplus op #7888
• F.pad 函数报错提示无效。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1063799216 。Medium 优先级中。认领人：王义。Add module information in error message when type mismatch #7918
• tensor 类型不可以直接使用 numpy 作为索引。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1065098590 Medium 优先级中。认领人：王迎港。Support numpy scalar parameters #7935
• 缺flow.cuda.manual_seed_all(seed) 接口。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1066291996 Hard 优先级中。认领人：韩彬彬。add_manual_seed_all_api #7957
• 缺nn.init.orthogonal_ 初始化方法接口。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1066291996 Hard 优先级中。认领人：钟珊珊。参考链接：https://github.com/apache/incubator-mxnet/blob/5f0efbbe33a1ef2af140e91a8fd367cd3bf92373/python/mxnet/initializer.py#L547 。Add nn init orthogonal #8009
• 缺flow.cuda.current_device() 接口 。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1066340504 Medium 优先级中。认领人：刘丰伟。api current_device #7856
• set_grad_enabled 接口没有和PyTorch对齐。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1066478232 Easy 优先级中。认领人：王迎港：Feat set grad enabled #8016
• .to(device) 不支持int传参。优先级高。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1066495109 Easy 优先级中。认领人：张晓雨。Align to api with torch #7853
• 缺 flow.isnan()接口 来源：陈巧玲 OCR https://github.com/Oneflow-Inc/OneCloud/issues/69#issuecomment-1074673614 。认领人：刘丰伟。add isnan isinf #7943
• 缺 flow.isinf()接口 来源：陈巧玲 OCR https://github.com/Oneflow-Inc/OneCloud/issues/69#issuecomment-1074673614 认领人：刘丰伟。add isnan isinf #7943
• Tensor.unfold 后向错误，来源：https://github.com/Oneflow-Inc/OneTeam/issues/1230 。难度：Medium 优先级中。认领人：韩彬彬。 fix_unfold_tensor_sbp_and_add_global_test #7883
• reduce sum不支持scalar tensor，来源: https://github.com/Oneflow-Inc/OneTeam/issues/1229 。难度：Medium 优先级中。认领人：张晓雨。fix reduce_sum scalar check bug #7866
• bicubic 模式下，Upsample后向计算结果与pytorch不一样，来源：Fix upsample sbp infer bug and add global test #7884 (comment) 难度：Medium 优先级中。认领人：张晓雨。Fix upsample sbp infer bug and add global test #7884
• 缺 torch.manual_seed()接口，来源：袁梓洋。 https://github.com/Oneflow-Inc/OneTeam/issues/1227#issuecomment-1077460367 。认领人：韩彬彬。add_manual_seed_all_api #7957
• Deconv系列的Op对应的nn.functional接口没有对齐PyTorch。来源：迟子秋。难度：Medium 优先级中。认领人：钟珊珊。Add functional conv transpose #7991
• oneflow.cat和torch.cat行为不一致问题。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1076005569 优先级中。认领人：赵露阳。concat type promotion #7921
• oneflow.expand和torch.expand行为不一致问题。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1076018011 。优先级中。认领人：张晓雨。Fix expand flow size bug #7913
• oneflow.rand()的参数传入oneflow.Size报错。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1077432622 。优先级中。认领人：张晓雨。Fix rand/randn bug #7914
• linalg.vector_norm在ord=0时返回了一个非Scalar Tensor，是一个没有对齐的BUG。来源：对齐swin-transformer过程中。认领人：张晓雨。Fix linalg vector norm and clip grad bug #8007
• flow.save接口在global_dst_rank=True时的报错信息需要改进，减少用户迷惑。来源：中兴用户对齐mae过程中的误用。优先级中。认领人：刘丰伟。 add assert about global_dst_rank type and range #7964
• flow.randn传一个tuple会bug。来源：zzk反馈。优先级：中。认领人：张晓雨。Fix rand/randn bug #7914 。Fix rand/randn bug #7914
• flow.scatter函数的dim参数不能取-1。来源：江皓哲。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1080314966 。认领人：刘沛宏。Support negative dim in scatter op #7934
• BatchNorm的num_batches_tracked参数未对齐。来源：钟珊珊。需要新增一篇 howto 讲述如何将 PyTorch 预训练模型转为 OneFlow 预训练模型 oneflow-documentation#457 。优先级：高。 认领人：张晓雨。 Add num batches tracked #7920
• oneflow._oneflow_internal.Tensor 类型不可以强制转成 float。来源：钟珊珊。https://github.com/Oneflow-Inc/OneCloud/issues/67#issuecomment-1065098590 认领人：张晓雨。Add tensor float/int method #7927
• 缺 flow.Tensor.new_zeros() 接口。来源：江皓哲。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1081558212 。认领人：赵露阳。add tensor.new_zeros op #7937
• flow.prod()缺少dtype参数。来源：江皓哲。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1081783018 。认领人：王世杰。add prod dtype #7932
• oneflow.meshgrid 与 torch.meshgrid 输入参数情况未全部对齐。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1082709073 。认领人：张晓雨。Fix meshgrid op #7933
• oneflow 索引行为与torch未对齐。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1084042280 认领人：刘沛宏。Align getitem with pytorch when index on different devices #7977
• None in [x,y,z]判断，oneflow与torch行为不一致。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1084155786 。认领人：张晓雨。Fix eq none bug #7938
• 为squeeze 实现inplace版本op squeeze_。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1083999136 。认领人：赵露阳。add in-place version of squeeze #7962
• Tensor缺少half方法。来源：林松。认领人：钟珊珊。add tensor half #7971
• 缺少flow.Tensor.new_tensor()接口 。 来源：江皓哲。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1088498063 。认领人：刘丰伟。align torch new tensor #7973
• nn.functional.one_hot与torch行为不一致。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1089824855 。认领人：张晓雨。Fix one hot scalar tensor bug #7975
• gather算子没有做越界的错误检查。来源：debug过程中发现。认领人：张晓雨。Fix gather kernel check #7979
• cpu setitem触发了blob内存申请错误。来源：张晓雨。认领人：王迎港。Fix from_numpy use inplace op check #7963
• oneflow不支持算子flow.amax。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1089877451 认领人：夏慈杰。add the flow.amax operator #7996
• oneflow不支持算子flow.amin。来源：迟子秋。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1089877451 认领人：钟珊珊。Add flow amin #8042
• numpy array 和oneflow tensor 之间的转换和torch没对齐。来源：迟子秋。 https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1089923376. support ctor np array from of tensor #7970
• oneflow min/max op 无法在不同数据类型间执行。 来源：迟子秋。Support libai DETR project  libai#260 (comment) 。认领人：张晓雨。Fix min max dtype promotion #8021
• PariticalFC 在Eager Global下反向挂掉。来源：https://github.com/Oneflow-Inc/OneTeam/issues/1321 。认领人：王迎港。Fix partial_fc gradient_funcs bug #8041 。
• oneflow.nn.functional.leaky_relu 的 inplace 操作未对齐。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/87#issuecomment-1102104571 。认领人：刘丰伟。 support inplace for LeakyReLU #8060
• flow.tensor 缺少 byte 接口。来源：林松 。https://github.com/Oneflow-Inc/OneCloud/issues/87#issuecomment-1102128737 。认领人：钟珊珊。 Add tensor byte #8053
• flow.nn 下model 无法转半精度模型。来源：林松 。https://github.com/Oneflow-Inc/OneCloud/issues/87#issuecomment-1102133340 。 认领人：张晓雨。Add module half #8059
• einsum。梁德澎认领。Hard。Add einsum  #7526
• 修复BatchNorm1d NHWC版本BUG。朱望认领。Easy。fix batchnorm nhwc errors #7454
• 开发trunc_normal op。 来源：swin-transformer。Medium。Support linspace and trunc_normal vision#100
• 对齐PyTorch的clip_grad。BBuf认领。来源：swin-transformer。Easy。add inplace mul for clip_grad #7180
• floor_ 算子开发。BBuf认领。来源：swin-transformer。Easy。Add floor inplace version #7187
• flow.erfinv算子开发。李响认领。来源：swin-transformer。 Medium。PR：Add erfinv op #7163
• 优化linalg.vector_norm的ord=2.0的情况。认领人：BBuf。来源：swin-transformer。 Medium。PR：Add linalg 2d norm op for clip_grad #7160
• 为stack实现kernel。来源：swin-transformer。认领人：ZZK。 Medium。PR：Add stack kernel #7152 。
• flow.ones和torch.ones接口没有对齐，flow.div在除数和被除数均为整数时和PyTorch获得的结果不一样，PyTorch输出的是float类型，要用//才能输出为int类型，而OneFlow是输出的是int类型，这也是一个没对齐的点（但我觉得oneflow是对的，是否需要对齐还需要讨论一下）。认领人：BBuf。来源swin-transformer。Add other api graph autotest #7091
• clip_grad.py 里面.numpy()方法和mul使用方式(pytorch是inplace mul)和PyTorch没有对齐。认领人：BBuf。来源swin-transformer。Fix linalg vector norm and clip grad bug #8007
• linspace op开发。认领人：BBuf。来源：swin-transformer。 Medium。PR：Add linspace op #7006
• reshape,slice,transpose的一些特例需要优化和解决bug。认领人：王雨顺 。Medium。PR：optimize reshape/slice/transpose functor #6956
• reciprocal 算子存在bug。认领人：管张。Medium。https://github.com/Oneflow-Inc/oneflow/pull/6560。
• oneflow->onnx op加单测以及支持更多模型。认领人：李响。Medium。
• PReLU需要优化，优先级高。（来源insightface） 认领人：张晓雨。Medium。Optimize prelu kernel #6869
• CPU分组卷积，优先级高。（来源MobileNet系列模型）认领人：张晓雨&梁德澎。Hard。Add cpu group conv impl #6823
• CPU分组反卷积，优先级高。（来源Unet等分割模型）认领人：朱望。Hard。add cpu group deconve impl #6980
• MaxPool Op 差一个NHWC的实现，优先级中。（来源赵露阳）认领人：赵露阳。Medium。Maxpool op nhwc #7214
• torch.from_numpy()，优先级中。来源算子对齐。认领人：王迎港。 Medium。Feat from numpy #7013
• 将eye_op的Python层逻辑迁移到Functor。 认领人：姚迟 来源性能需求。Medium https://github.com/Oneflow-Inc/oneflow/pull/7036/files
• prelu少了dtype和device参数。来源：和PyTorch接口对齐。认领人：王雨顺 easy PR：fix prelu bug #7118
• torch.movedim 没有实现，优先级中。来源对齐需要，认领人：李春游。Medium Lch movedim #6227
• torch.meshgrid 功能不完整，优先级中。来源对齐需要，认领人：李春游。Medium indexing first version #7012
• torch.diagonal 没有实现，优先级中。来源对齐需要，认领人：李春游。Medium Add Diagonal Op #6016
• torch.cumsum 没有实现，优先级中。来源对齐需要。 认领人：王雨顺。 Medium PR：Cumsum op implementation #7050
• fllow.select 认领人：李春游。implement select op #7320
• flow.t / flow.T 白夏颖，已完成。Add_Tensor.T_and_Tensor.t()_ops #7269
• flow.hsplit, 认领人：李春游。revise tensor_split,vsplit,hsplit #7407
• flow.vsplit 认领人：李春游。revise tensor_split,vsplit,hsplit #7407
• flow.tensor_split 认领人：李春游。revise tensor_split,vsplit,hsplit #7407
• flow.swapaxes 认领人：李响。PR: Add swapaxes op #7179
• flow.as_strided。认领人：李春游。implement as strided #7275
• PixelShufflev2在Python层的逻辑可以封装为一个Functor。Easy。李响认领。Migrate pixel_shuffle python layer to functor #7745
• 缺 torch.repeat_interleave()接口，来源：袁梓洋。 https://github.com/Oneflow-Inc/OneTeam/issues/1227#issuecomment-1077460367 。认领人：张晓雨。transfer index select op and fix numpy bug #7965 (前置pr index_select) &
• torch.all, torch.any。来源性能需求。认领人：王世杰Hard。Decompose ndarray reduce in out dtype and dev all any #6784
• 非FP32类型Tensor访问Numpy报错。来源BBuf。Hard 。认领人：刘丰伟。support float16 tensor's numpy method #7432
• onerec_decoder_op lazy迁到eager。认领人：姚迟 来源广搜模型场景。 Medium。move lazy op to eager mode: read_onerec, decode_onerec #6911
• torch.nn.functional.normalize，优先级中。来源之江，认领人：李春游。Medium Fix l2_normalize & add nn.functional.normalize #6940
• Pool Op 重构，优先级中。（来源 #6734-comment ） 认领人：刘丰伟。Medium pool code refine #6853
• Tensor.mul_() ，优先级中。(来源用户实现BertAdam()缺少) 认领人：管张汇泓 Medium。add inplace mul #6861
• Tensor.add_()缺少alpha参数，优先级中，认领人：刘丰伟。(来源用户实现BertAdam()缺少) Easy。add alpha parameter in add_op #6867
• torch.var实现Kernel，优先级中。认领人：刘丰伟 。Medium。var kernel #7024
• 自动测试疑存BUG，优先级高。（来源conv,matmul,bn多次ci测试）认领人：张建浩和张晓雨。
• 检查OneFlow现存的Op是否存在多包了一层nn.Module，优先级中。认领人：李响。Easy
• 将bmm的Python层逻辑迁移到Functor。来源性能需求。认领人：李响。Easy。
• 将BroadCastLike的Python层逻辑迁移到Functor，去掉多余的nn.Module封装。来源性能需求。认领人：李响 。Medium。
• 将chunk的Python层逻辑迁移到Functor。来源性能需求。认领人：李响。Easy。
• 将expand_op的Python层逻辑迁移到Functor。来源性能需求。认领人：梁德澎。Easy。
• 将_flow_flatten的Python层逻辑迁移到Functor。来源性能需求。Easy。
• 将floor_op的Python层逻辑迁移到Functor。来源性能需求。Easy。
• 将gather_op的Python层逻辑迁移到Functor。来源性能需求。认领人：姚迟 Easy。
• 将gather_nd_op的Python层逻辑迁移到Functor。来源性能需求。认领人：姚迟 Easy。
• OneFlow的l2_normalize有Bug，l2_norm的axis意义应该是在某一个维度上做norm.
  我们是从该axis到最后，做norm。对应的解决方案可以是前后加2个transpose。#787 。认领人：刘沛宏。 Medium。
• 优化diagonal的CUDA Kernel。认领人：姚子航 来源 https://github.com/Oneflow-Inc/oneflow/pull/7546。 Medium
• flow.swapdims 认领人：马诚宇。Add swapdims op #7659
• reduce_ops.py 里的max、min、sum等操作可以改成Functor，然后直接导出。Easy。认领人：钟珊珊。Modify reduce ops #8085
• Tensor.addcmul_()，优先级中。（来源用户实现BertAdam()缺少）认领人：李春游。 Medium 。
• 缺 torch.tensordot()接口，来源：袁梓洋。 https://github.com/Oneflow-Inc/OneTeam/issues/1227#issuecomment-1077460367 认领人：王义。Add oneflow.tensordot interface #7968
• 缺少tensor.median()方法，来源：任天和。期望libai mae支持graph格式数据并行，流水线并行和模型并行 libai#259 。认领人：王世杰。dev_median #8069
• flow.as_tensor从numpy array转换时无法显式指定data type。来源：迟子秋。Support libai DETR project  libai#260 (comment) 。认领人：张晓雨。Fix as tensor numpy dtype bug #8097
• oneflow.nn.functional.interpolate与torch行为不一致。来源：迟子秋。 Support libai DETR project  libai#260 (comment) 。认领人：张晓雨，钟珊珊。fix upsample shape infer bug #8105
• 实现flow.embedding op。认领人：姚子航。 Implement oneflow.embedding op #8110
• 实现cosine_similarity。认领人：王世杰。dev cosine_similarity #8119
• linalg.norm 形状错误bug。认领人：张晓雨。Fix linalg norm shape bug #8185
• cumprod 后向计算错误。认领人：刘丰伟。fix cumprod bug #8136
• sub 算子支持alpha参数。认领人：刘丰伟。sub support alpha arg #8026
• oneflow tensor.type() 与 torch 未对齐。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1082881851 认领人：王义。Add Tensor.type method #7948
• flow.nn.utils.spectral_norm 。认领人：姚子航。Implement spectral normalization #8082
• oneflow.matmul 函数矩阵乘法没对齐。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1080290869 认领人：zzk。Add fully support for broadcast matmul #6937
• flow.view_as 认领人：姚子航 Add Tensor.view_as, Tensor.new_empty method #8077
• oneflow.inverse 关于矩阵求逆接口没实现。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1080227746 优先级中。认领人：王义。
• flow.load()方法无 map_location参数 来源：陈巧玲 OCR https://github.com/Oneflow-Inc/OneCloud/issues/69#issuecomment-1077027266 认领人：王迎港。
• 为unsqueeze 实现inplace版本op unsqueeze_。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1083999136 。认领人：赵露阳。
• onehot，Eager和Lazy没有对齐，优先级中。来源许啸宇。认领人：王雨顺 Easy 。
• 优化Upsample的CUDA Kernel。认领人：张晓雨 来源 https://github.com/Oneflow-Inc/OneTeam/issues/767。 Medium
• torch.nn.Embedding完整功能，优先级中。来源外部用户，认领人：姚子航。Hard
• torch.multinomial 没有实现，优先级中。来源对齐需要，认领人：姚子航。Medium
• flow.split_with_sizes 认领人：姚子航。
• flow.cumsum支持，tensor.cumsum不支持。另外flow.cumsum不能指定dtype。来源：迟子秋。Support libai DETR project  libai#260 (comment) 。认领人：刘丰伟。Add dtype for cumop #8065
• AI-Writer 性能比PyTorch慢15%，需要调查。来源：钟珊珊 AI-Writer。https://github.com/Oneflow-Inc/OneTeam/issues/1214 难度：Medium 优先级中。
• global 模型加载 local 参数时，报错不清晰。来源：https://github.com/Oneflow-Inc/OneCloud/issues/70#issuecomment-1077397584 优先级中。
• oneflow.linalg.inv 关于矩阵求逆接口没实现。来源：林松。https://github.com/Oneflow-Inc/OneCloud/issues/71#issuecomment-1080227746 优先级中。
• oneflow里nn.init.zeros() 循环取索引初始化出现非0数。来源：袁梓洋。https://github.com/Oneflow-Inc/OneTeam/issues/1227#issuecomment-1080453803 。
• BatchNorm1d参数affine=False时有" Only local tensors have 'device'. Please use '.placement' for consistent tensors."的bug。来源：迟子秋。Add MOCOV3 project libai#160 (comment) 。（需要参考LayerNorm把gamma和beta变成optional）。
• flow.Tensor 整数数组索引的规则与 torch.Tensor 不一致。来源：江皓哲。https://github.com/Oneflow-Inc/OneTeam/issues/1184#issuecomment-1088362789
• 缺少类似torch的torch.cuda.synchronize以及torch.cuda.max_memory_alocated接口。来源: 任天和。期望libai mae支持graph格式数据并行，流水线并行和模型并行 libai#259
• torch.nn.parallel.DistributedDataParallel()的入参没有对齐。来源：任天和。期望libai mae支持graph格式数据并行，流水线并行和模型并行 libai#259
• oneflow.nn.utils.clip_grad_norm_不支持传入None，来源：任天和。期望libai mae支持graph格式数据并行，流水线并行和模型并行 libai#259
• torch.set_default_tensor_type，优先级中。来源之江。Medium
• 优化AdaptiveAvgPool的CUDA Kernel。来源 https://github.com/Oneflow-Inc/OneTeam/issues/767。 Medium
• Tensor.new()，优先级中。谢子鹏实现哈工大的elmo时用到的 Hard 。
• torch.nn.SyncBatchNorm，优先级中。来源OneFlow QQ群用户 Hard 。
• torch.nn.broadcastmatmul，优先级中。来源https://github.com/Oneflow-Inc/OneTeam/issues/780 。Medium
• flow.real
• flow.imag
• flow.view_as_real
• tensor_ops.py 可以改成Functor，然后直接导出。Easy。
• flow.cdist不支持。来源：迟子秋。
• tensor.unbind不支持global tensor (NotImplementedError error)。来源：迟子秋。 Support libai DETR project  libai#260 (comment)
• RNN 模块相关， 认领人：梁德澎 Move RNN implementation to C++ & add RNNCell modules #8164
  • torch.nn.RNN，优先级中。来源之江。0.7.0版本前ready。Hard
  • torch.nn.LSTM，优先级中。来源之江。0.7.0版本前ready。Hard
  • torch.nn.GRU，优先级中。来源之江。0.7.0版本前ready。Hard
  • torch.nn.RNNCell，优先级中。来源之江。0.7.0版本前ready。Hard
  • torch.nn.GRUCell，优先级中。来源之江。0.7.0版本前ready。Hard
  • torch.nn.utils.rnn.pack_padded_sequence。来源：庄宇林 Couplet。Medium 优先级低。
  • torch.nn.utils.rnn.pad_packed_sequence。来源：庄宇林 Couplet。Medium 优先级低。
  • torch.nn.utils.rnn.pad_sequence。来源：庄宇林 Couplet。Medium 优先级低。
  • torch.nn.utils.rnn.pack_sequence。来源：庄宇林 Couplet。Medium 优先级低

#6156

[yuanms2]

为什么einsum 这个没有在列表里