【complex op】 No.10 add complex support for exp/expm1 #56398

Wanglongzhi2001 · 2023-08-17T09:27:07Z

PR types

New features

PR changes

OPs

Description

运行测试会出现问题，报如下的错误：

可以麻烦帮忙看看吗, @ScottWong98
#56145

paddle-bot · 2023-08-17T09:27:13Z

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

CLAassistant · 2023-08-17T09:27:13Z

All committers have signed the CLA.

CLAassistant · 2023-08-17T09:27:14Z

Thank you for your submission! We really appreciate it. Like many open source projects, we ask that you sign our Contributor License Agreement before we can accept your contribution.
_{You have signed the CLA already but the status is still pending? Let us recheck it.}

paddle-bot · 2023-08-17T09:27:15Z

✅ This PR's description meets the template requirements!
Please wait for other CI results.

ScottWong98 · 2023-08-17T13:27:17Z

test/legacy_test/test_activation_op.py

@@ -183,28 +263,72 @@ def test_api_int(self):
        paddle.enable_static()


+class TestParameter:


把这个类放到原来位置吧，不然diff太大了

ScottWong98 · 2023-08-17T13:35:15Z

test/legacy_test/test_activation_op.py

 class TestExpm1(TestActivation):
    def setUp(self):
        self.op_type = "expm1"
+        self.prim_op_type = "prim"


应该不需要添加这行

ScottWong98 · 2023-08-17T13:35:34Z

test/legacy_test/test_activation_op.py

        self.python_api = paddle.expm1
+        self.public_python_api = paddle.exp


这行应该也不需要添加，并且如果添加应该是 paddle.expm1

ScottWong98 · 2023-08-17T13:36:49Z

test/legacy_test/test_activation_op.py

        out = np.expm1(x)

        self.inputs = {'X': OpTest.np_dtype_to_fluid_dtype(x)}
        self.outputs = {'Out': out}
        self.convert_input_output()

    def test_check_grad(self):
-        self.check_grad(['X'], 'Out')
+        if self.dtype == np.complex64 or self.dtype == np.complex128:


这一块应该也不需要更改，check_grad 中 check_prim 默认为 False。之前的逻辑里非 complex 类型的数据也没有 check prim，保持逻辑一致吧

ScottWong98 · 2023-08-17T13:37:29Z

test/legacy_test/test_activation_op.py

+        pass
+
+
+class TestExp_Complex128(OpTest):


这个应该可以继承 TestExp_Complex64 类

ScottWong98 · 2023-08-17T13:41:12Z

paddle/phi/kernels/funcs/activation_functor.h

@@ -96,6 +96,25 @@ struct Cosine<dtype::bfloat16> {
  }
 };

+template <typename T>
+struct Exp {


这一块或许并不需要显示地定义 Exp ?

ScottWong98 · 2023-08-17T13:42:35Z

paddle/phi/kernels/funcs/activation_functor.h

+            typename Out,
+            typename dOut,
+            typename dX>
+  void operator()(Device d, X x, Out out UNUSED, dOut dout, dX dx) const {


应该是 (Device d, X x UNUSED, Out out, dOut dout, dX dx)

ScottWong98 · 2023-08-17T13:43:13Z

paddle/phi/kernels/funcs/activation_functor.h

+            typename dX>
+  void operator()(Device d, X x, Out out UNUSED, dOut dout, dX dx) const {
+    dx.device(d) =
+        dout * x.unaryExpr(Exp<ComplexType<T>>()).unaryExpr(Conj<T>());


只需要求 out 的共轭就行了吧

ScottWong98 · 2023-08-17T13:43:41Z

paddle/phi/kernels/funcs/activation_functor.h

+            typename Out,
+            typename dOut,
+            typename dX>
+  void operator()(Device d, X x, Out out UNUSED, dOut dout, dX dx) const {


应该是 (Device d, X x UNUSED, Out out, dOut dout, dX dx)

ScottWong98 · 2023-08-17T13:46:23Z

paddle/phi/kernels/funcs/activation_functor.h

+            typename dX>
+  void operator()(Device d, X x, Out out UNUSED, dOut dout, dX dx) const {
+    dx.device(d) =
+        dout * x.unaryExpr(Exp<ComplexType<T>>()).unaryExpr(Conj<T>());


这块的求导应该不对

ScottWong98 · 2023-08-17T13:50:31Z

@Wanglongzhi2001 可以在 build 目录下使用 PYTHONPATH=./python:./test/ pytest -v -s test/legacy_test/test_activation_op.py::TestExp_Complex64::test_check_output 针对具体的 test case 查看到底是哪个case导致了截图中出现的错误。建议先写 cpu 下的 exp，再写 cpu 下的 expm1，然后扩展到 GPU 上。保证每一步都正确后，就能知道是哪一次的修改出现了问题

Wanglongzhi2001 · 2023-08-17T13:51:58Z

@Wanglongzhi2001 可以在 build 目录下使用 PYTHONPATH=./python:./test/ pytest -v -s test/legacy_test/test_activation_op.py::TestExp_Complex64::test_check_output 针对具体的 test case 查看到底是哪个case导致了截图中出现的错误。建议先写 cpu 下的 exp，再写 cpu 下的 expm1，然后扩展到 GPU 上。保证每一步都正确后，就能知道是哪一次的修改出现了问题

谢谢您的建议，第一次给Paddle提PR，还不大熟悉~

Wanglongzhi2001 · 2023-08-22T06:08:53Z

@ScottWong98 您好，现在的情况是如图所示测试无法通过，想向您请教一下。

第一个问题是Complex128类型时输出梯度的容忍错误度为1e-6，而我的达到了0.005, 查看Optest类后发现对于Complex128类型容忍错误度写死了1e-6无法通过max_relative_error进行修改，

Paddle/test/legacy_test/eager_op_test.py

Lines 2570 to 2576 in 8495377

    
           if ( 
        
               self.dtype == np.complex128 
        
               and self.op_type 
        
               not in op_threshold_white_list.NEED_FIX_FP64_CHECK_GRAD_THRESHOLD_OP_LIST 
        
           ): 
        
               numeric_grad_delta = 1e-5 
        
               max_relative_error = 1e-6

第二个出现的问题是GPU的check_output问题，在CPU上输出没有问题，但是GPU上会出现虚部一直为0的情况，但是GPU上就仅是简单的使用thrust库进行计算而已，我也在本地测试过thrust的exp函数没有问题，不知道问题出在哪儿？

#if defined(PADDLE_WITH_CUDA_OR_HIP_COMPLEX) && \
    (defined(__CUDA_ARCH__) || defined(__HIPCC__))
  return complex<T>(thrust::exp(thrust::complex<T>(a)));

ScottWong98 · 2023-08-23T14:43:38Z

@ScottWong98 您好，现在的情况是如图所示测试无法通过，想向您请教一下。

第一个问题是Complex128类型时输出梯度的容忍错误度为1e-6，而我的达到了0.005, 查看Optest类后发现对于Complex128类型容忍错误度写死了1e-6无法通过max_relative_error进行修改，

Paddle/test/legacy_test/eager_op_test.py

Lines 2570 to 2576 in 8495377

if (

self.dtype == np.complex128

and self.op_type

not in op_threshold_white_list.NEED_FIX_FP64_CHECK_GRAD_THRESHOLD_OP_LIST

):

numeric_grad_delta = 1e-5

max_relative_error = 1e-6

第二个出现的问题是GPU的check_output问题，在CPU上输出没有问题，但是GPU上会出现虚部一直为0的情况，但是GPU上就仅是简单的使用thrust库进行计算而已，我也在本地测试过thrust的exp函数没有问题，不知道问题出在哪儿？
#if defined(PADDLE_WITH_CUDA_OR_HIP_COMPLEX) && \
    (defined(__CUDA_ARCH__) || defined(__HIPCC__))
  return complex<T>(thrust::exp(thrust::complex<T>(a)));

关于第一个问题，我后面再看一下
关于第二个问题，建议依据 Traceback debug 一下，看到底是哪个地方导致了虚部全为 0 的情况

Wanglongzhi2001 · 2023-08-23T14:46:10Z

@ScottWong98 您好，现在的情况是如图所示测试无法通过，想向您请教一下。
第一个问题是Complex128类型时输出梯度的容忍错误度为1e-6，而我的达到了0.005, 查看Optest类后发现对于Complex128类型容忍错误度写死了1e-6无法通过max_relative_error进行修改，

Paddle/test/legacy_test/eager_op_test.py

Lines 2570 to 2576 in 8495377

if (

self.dtype == np.complex128

and self.op_type

not in op_threshold_white_list.NEED_FIX_FP64_CHECK_GRAD_THRESHOLD_OP_LIST

):

numeric_grad_delta = 1e-5

max_relative_error = 1e-6

第二个出现的问题是GPU的check_output问题，在CPU上输出没有问题，但是GPU上会出现虚部一直为0的情况，但是GPU上就仅是简单的使用thrust库进行计算而已，我也在本地测试过thrust的exp函数没有问题，不知道问题出在哪儿？
#if defined(PADDLE_WITH_CUDA_OR_HIP_COMPLEX) && \
    (defined(__CUDA_ARCH__) || defined(__HIPCC__))
  return complex<T>(thrust::exp(thrust::complex<T>(a)));
关于第一个问题，我后面再看一下

关于第二个问题，建议依据 Traceback debug 一下，看到底是哪个地方导致了虚部全为 0 的情况

好的，谢谢~

Wanglongzhi2001 · 2023-09-01T01:55:52Z

@ScottWong98 @GGBond8488 麻烦 reveiw 一下

ScottWong98 · 2023-09-01T03:05:48Z

paddle/phi/kernels/funcs/activation_functor.h

+            typename dOut,
+            typename dX>
+  void operator()(Device d, X x UNUSED, Out out, dOut dout, dX dx) const {
+    dx.device(d) = dout * out.unaryExpr(Conj<T>()) + dout;


请教一下，为什么这里 expm1 （exp - 1) 的梯度是 dout*(exp + 1) :)

事实上我也不是很理解，tensorflow 的梯度实现也是不用加上这个 dout 的：
https://github.com/tensorflow/tensorflow/blob/f82986df65bea201e5aa466e6993504372132cec/tensorflow/python/ops/math_grad.py#L688-L695

但是我看到 paddle 的其他数据类型的梯度实现是加上了这个 dout，并且我不加上这个 dout 确实梯度误差检查过不了，所以我就加上了，我也想请教下 paddle 的前辈们是不是 paddle 的算子梯度的实现这块不一样导致这样的结果。

exp(x)-1的grad是exp(x)，exp(x)=（exp(x)-1）+1=out+1

ScottWong98 · 2023-09-01T03:08:54Z

python/paddle/tensor/ops.py

@@ -640,7 +640,16 @@ def expm1(x, name=None):
        check_variable_and_dtype(
            x,
            'x',
-            ['float16', 'uint16', 'float32', 'float64', 'int32', 'int64'],
+            [


该方法的 docstring 也相应修改一下

ScottWong98 · 2023-09-01T03:10:38Z

test/legacy_test/test_activation_op.py

+        self.check_output()
+
+    def test_check_grad(self):
+        self.check_grad(['X'], 'Out', max_relative_error=0.006)


这里的 max_relative_error 对于 complex64 和 complex128 都需要嘛

Wanglongzhi2001 · 2023-09-04T02:14:36Z

@ScottWong98 docstring 已经修改过了，请问还有什么需要改正的地方吗？麻烦 review 一下 ^_^

ScottWong98

LGTM, 麻烦 @GGBond8488 再 review 一下

GGBond8488 · 2023-09-05T03:17:20Z

paddle/phi/kernels/funcs/activation_functor.h

+};
+
+template <typename T>
+struct Expm1 {


这里为什么要单独定义Expm1呢，按理说这里本身是定义functor的, 这个也相当于是定义了expm1的运算，与下面的有点重复，如果是想定义复数expm1运算，建议放到complex.h里面

您好，因为 trust 不支持 expm1 算子，并且 C++ 中的 expm1 不支持复数类型，所以 expm1 的复数实现需要用 exp 的复数实现来复合。之前我是放在 complex.h 里的，但是之前 @ScottWong98 建议 C++ 中不支持的放在 activation_functor.h 中

好的，但是确定需要自己额外补充定义expm1吗，我看下面非复数的expm1也是调用的函数，如果确认需要的话，可以在activation_functor中定义，但是需要是复数的特化，不要代表所有的类型

确实是我的疏忽，应该只需要定义复数的特化，感谢您的建议~

已经修改了，麻烦 review 一下 @GGBond8488

GGBond8488 · 2023-09-08T03:14:12Z

paddle/phi/common/complex.h

@@ -466,6 +466,16 @@ HOSTDEVICE inline complex<T> tanh(const complex<T>& a) {
 #endif
 }

+template <typename T>


这里之前的pr应该已经加了exp, 可以同步一下最新的代码，不要加重复了

Wanglongzhi2001 added 5 commits August 17, 2023 09:15

add exp and expm1 in complex.h

0fd0b59

add exp and expm1 in cpu/gpu forward files

6c1a3ef

add exp and expm1 in cpu/gpu background files

da55715

add exp and expm1 in activation_functor.h

ed85ed9

add test case

077f534

paddle-bot bot added contributor External developers status: proposed labels Aug 17, 2023

Wanglongzhi2001 and others added 2 commits August 17, 2023 18:26

Merge branch 'PaddlePaddle:develop' into develop

11cf229

fix codestyle

b43efdf

ScottWong98 reviewed Aug 17, 2023

View reviewed changes

luotao1 mentioned this pull request Aug 18, 2023

【complex op】paddlepaddle 支持复数 #56145

Closed

luotao1 added the HappyOpenSource 快乐开源活动issue与PR label Aug 18, 2023

paddle-bot bot removed the status: proposed label Aug 18, 2023

luotao1 assigned luotao1 and GGBond8488 Aug 18, 2023

fix error

1d4e2da

Wanglongzhi2001 and others added 2 commits August 31, 2023 12:28

Merge branch 'PaddlePaddle:develop' into develop

4f09e7b

fix exp and expm1 grad

6eacc19

ScottWong98 reviewed Sep 1, 2023

View reviewed changes

Merge branch 'PaddlePaddle:develop' into develop

989f273

fix docstring

0210cee

ScottWong98 approved these changes Sep 4, 2023

View reviewed changes

GGBond8488 reviewed Sep 5, 2023

View reviewed changes

luotao1 added HappyOpenSource Pro 进阶版快乐开源活动，更具挑战性的任务 and removed HappyOpenSource 快乐开源活动issue与PR labels Sep 6, 2023

add the partial specilization of Expm1

4083ff1

GGBond8488 reviewed Sep 8, 2023

View reviewed changes

Merge branch 'PaddlePaddle:develop' into develop

9513cce

Wanglongzhi2001 closed this by deleting the head repository Sep 8, 2023

		@@ -183,28 +263,72 @@ def test_api_int(self):
		paddle.enable_static()


		class TestParameter:

		self.python_api = paddle.expm1
		self.public_python_api = paddle.exp

【complex op】 No.10 add complex support for exp/expm1 #56398

【complex op】 No.10 add complex support for exp/expm1 #56398

Conversation

Wanglongzhi2001 commented Aug 17, 2023 • edited Loading

PR types

PR changes

Description

paddle-bot bot commented Aug 17, 2023

CLAassistant commented Aug 17, 2023 • edited Loading

CLAassistant commented Aug 17, 2023

paddle-bot bot commented Aug 17, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

ScottWong98 commented Aug 17, 2023

Wanglongzhi2001 commented Aug 17, 2023

Wanglongzhi2001 commented Aug 22, 2023

ScottWong98 commented Aug 23, 2023

Wanglongzhi2001 commented Aug 23, 2023

Wanglongzhi2001 commented Sep 1, 2023

Choose a reason for hiding this comment

Wanglongzhi2001 Sep 1, 2023 • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Wanglongzhi2001 commented Sep 4, 2023

ScottWong98 left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Wanglongzhi2001 commented Aug 17, 2023 •

edited

Loading

CLAassistant commented Aug 17, 2023 •

edited

Loading

paddle-bot bot commented Aug 17, 2023 •

edited

Loading

Wanglongzhi2001 Sep 1, 2023 •

edited

Loading