diff --git a/notebooks/quantized_recurrent.ipynb b/notebooks/quantized_recurrent.ipynb index 5e0b04cba..e3a4cfcd9 100644 --- a/notebooks/quantized_recurrent.ipynb +++ b/notebooks/quantized_recurrent.ipynb @@ -25,6 +25,14 @@ "execution_count": 1, "metadata": {}, "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "/home/giuseppe/miniconda3/envs/torch_1.13/lib/python3.7/site-packages/tqdm/auto.py:22: TqdmWarning: IProgress not found. Please update jupyter and ipywidgets. See https://ipywidgets.readthedocs.io/en/stable/user_install.html\n", + " from .autonotebook import tqdm as notebook_tqdm\n" + ] + }, { "data": { "text/markdown": [ @@ -38,12 +46,14 @@ " bias: bool = True,\n", " batch_first: bool = False,\n", " bidirectional: bool = False,\n", - " weight_quant = Int8WeightPerTensorFloat,\n", - " bias_quant = Int32Bias,\n", - " io_quant = Int8ActPerTensorFloat,\n", - " gate_acc_quant = Int8ActPerTensorFloat,\n", - " shared_input_hidden_weights = False,\n", + " weight_quant=Int8WeightPerTensorFloat,\n", + " bias_quant=Int32Bias,\n", + " io_quant=Int8ActPerTensorFloat,\n", + " gate_acc_quant=Int8ActPerTensorFloat,\n", + " shared_input_hidden_weights=False,\n", " return_quant_tensor: bool = False,\n", + " dtype: Optional[torch.dtype] = None,\n", + " device: Optional[torch.device] = None,\n", " **kwargs):\n", " super(QuantRNN, self).__init__(\n", " layer_impl=_QuantRNNLayer,\n", @@ -60,6 +70,8 @@ " gate_acc_quant=gate_acc_quant,\n", " shared_input_hidden_weights=shared_input_hidden_weights,\n", " return_quant_tensor=return_quant_tensor,\n", + " dtype=dtype,\n", + " device=device,\n", " **kwargs)\n", "\n", "```" @@ -76,6 +88,8 @@ "import inspect\n", "from brevitas.nn import QuantRNN\n", "from IPython.display import Markdown, display\n", + "import torch\n", + "torch.manual_seed(0)\n", "\n", "def pretty_print_source(source):\n", " display(Markdown('```python\\n' + source + '\\n```'))\n", @@ -105,7 +119,7 @@ "name": "stderr", "output_type": "stream", "text": [ - "c:\\users\\alessand\\documents\\brevitas\\src\\brevitas\\nn\\mixin\\base.py:112: UserWarning: Keyword arguments are being passed but they not being used.\n", + "/home/giuseppe/Documents/git/brevitas/src/brevitas/nn/mixin/base.py:77: UserWarning: Keyword arguments are being passed but they not being used.\n", " warn('Keyword arguments are being passed but they not being used.')\n" ] } @@ -276,46 +290,46 @@ "Input-hidden weight bit-width: 4.0\n", "Hidden-hidden weight bit-width: 4.0\n", "I/O quant bit-width: 6.0\n", - "Input-hidden weight scale: tensor([[0.0316],\n", + "Input-hidden weight scale: tensor([[0.0317],\n", + " [0.0315],\n", + " [0.0308],\n", + " [0.0305],\n", + " [0.0303],\n", + " [0.0313],\n", + " [0.0302],\n", + " [0.0287],\n", + " [0.0315],\n", + " [0.0312],\n", " [0.0317],\n", - " [0.0319],\n", - " [0.0318],\n", " [0.0314],\n", - " [0.0298],\n", - " [0.0317],\n", - " [0.0285],\n", - " [0.0306],\n", - " [0.0312],\n", " [0.0318],\n", " [0.0315],\n", - " [0.0298],\n", - " [0.0314],\n", - " [0.0293],\n", - " [0.0310],\n", - " [0.0306],\n", - " [0.0310],\n", - " [0.0309],\n", - " [0.0317]], grad_fn=)\n", - "Hidden-hidden weight scale: tensor([[0.0316],\n", - " [0.0317],\n", - " [0.0319],\n", + " [0.0305],\n", + " [0.0308],\n", " [0.0318],\n", - " [0.0314],\n", - " [0.0298],\n", - " [0.0317],\n", - " [0.0285],\n", - " [0.0306],\n", + " [0.0297],\n", + " [0.0316],\n", + " [0.0305]], grad_fn=)\n", + "Hidden-hidden weight scale: tensor([[0.0317],\n", + " [0.0315],\n", + " [0.0308],\n", + " [0.0305],\n", + " [0.0303],\n", + " [0.0313],\n", + " [0.0302],\n", + " [0.0287],\n", + " [0.0315],\n", " [0.0312],\n", + " [0.0317],\n", + " [0.0314],\n", " [0.0318],\n", " [0.0315],\n", - " [0.0298],\n", - " [0.0314],\n", - " [0.0293],\n", - " [0.0310],\n", - " [0.0306],\n", - " [0.0310],\n", - " [0.0309],\n", - " [0.0317]], grad_fn=)\n" + " [0.0305],\n", + " [0.0308],\n", + " [0.0318],\n", + " [0.0297],\n", + " [0.0316],\n", + " [0.0305]], grad_fn=)\n" ] } ], @@ -385,52 +399,52 @@ "name": "stderr", "output_type": "stream", "text": [ - "c:\\users\\alessand\\documents\\brevitas\\src\\brevitas\\nn\\mixin\\base.py:343: UserWarning: Defining your `__torch_function__` as a plain method is deprecated and will be an error in future, please define it as a classmethod. (Triggered internally at C:\\cb\\pytorch_1000000000000\\work\\torch\\csrc\\utils\\python_arg_parser.cpp:354.)\n", + "/home/giuseppe/Documents/git/brevitas/src/brevitas/nn/mixin/base.py:312: UserWarning: Defining your `__torch_function__` as a plain method is deprecated and will be an error in future, please define it as a classmethod. (Triggered internally at /opt/conda/conda-bld/pytorch_1670525553989/work/torch/csrc/utils/python_arg_parser.cpp:350.)\n", " return torch.cat(outputs, dim=seq_dim)\n" ] }, { "data": { "text/plain": [ - "(QuantTensor(value=tensor([[[-0.4458, -0.1651, -0.7045, -0.5889, -0.2532, -0.0330, -0.1651,\n", - " 0.1706, 0.1376, 0.4348, 0.5834, -0.3577, -0.2807, 0.1046,\n", - " 0.2532, 0.2807, 0.2532, -0.4293, 0.1376, -0.1486],\n", - " [-0.1569, 0.3530, -0.6995, -0.0458, -0.5295, -0.3007, -0.7257,\n", - " 0.2877, -0.1308, 0.6603, 0.0196, -0.8237, 0.0065, -0.4380,\n", - " -0.2615, 0.3138, -0.0850, 0.0065, 0.0458, -0.1961],\n", - " [ 0.1929, -0.5981, -0.2508, -0.2251, -0.5917, 0.2251, 0.0257,\n", - " 0.2508, -0.3023, 0.2830, 0.3344, -0.4309, -0.0836, 0.2701,\n", - " 0.3666, -0.1351, 0.1736, -0.0257, 0.1286, -0.6174],\n", - " [ 0.4682, -0.1804, 0.2780, 0.4974, 0.4389, -0.0585, -0.6242,\n", - " -0.0098, 0.2341, 0.3511, -0.2926, -0.4925, 0.1414, -0.4633,\n", - " -0.0683, 0.2633, 0.3804, 0.3024, 0.1951, 0.1707],\n", - " [-0.0852, 0.0965, -0.4656, -0.3180, -0.3464, -0.2782, -0.1931,\n", - " -0.6360, -0.3180, -0.3293, 0.7211, 0.4316, 0.4145, -0.3066,\n", - " -0.5224, -0.3066, -0.5849, -0.7211, 0.3293, 0.1420]],\n", + "(QuantTensor(value=tensor([[[ 0.4898, -0.0550, -0.3598, 0.3399, 0.2899, -0.1649, -0.6397,\n", + " 0.3299, 0.2499, 0.4198, 0.1749, 0.4498, 0.3049, -0.5248,\n", + " 0.1199, -0.5847, -0.1549, 0.2249, 0.3299, 0.3948],\n", + " [ 0.0266, 0.4397, 0.0866, -0.2532, 0.3398, -0.2532, -0.1732,\n", + " 0.2265, -0.2332, -0.2398, 0.4330, 0.2598, 0.1732, -0.2798,\n", + " 0.3064, -0.6795, 0.4197, 0.0799, 0.2065, 0.2598],\n", + " [ 0.3642, -0.3252, 0.3838, -0.1301, 0.3708, -0.8000, 0.5919,\n", + " 0.3968, 0.0650, -0.1821, 0.3838, 0.6244, 0.6049, 0.1366,\n", + " 0.6504, -0.8326, 0.0650, 0.6309, 0.4293, -0.2212],\n", + " [-0.3607, 0.8982, -0.3819, -0.2688, -0.1839, 0.2758, -0.1202,\n", + " 0.8346, 0.5022, 0.4880, -0.2546, -0.2688, 0.3819, 0.6719,\n", + " 0.4031, 0.4031, -0.2688, -0.7921, 0.4102, 0.8558],\n", + " [-0.6557, 0.2074, 0.5888, -0.2743, 0.6156, 0.1940, 0.1071,\n", + " 0.4550, 0.7226, 0.6223, -0.0401, -0.5620, -0.1873, -0.1807,\n", + " -0.0870, -0.0602, 0.4082, -0.0268, -0.0201, -0.1807]],\n", " \n", - " [[ 0.5669, 0.2367, -0.3027, -0.3137, -0.3632, -0.1651, -0.5999,\n", - " 0.2036, 0.4293, 0.2201, -0.2862, -0.3908, -0.2091, -0.2532,\n", - " -0.2532, -0.5834, -0.2697, 0.0055, 0.2532, 0.1761],\n", - " [ 0.1242, 0.4184, -0.6472, -0.0196, -0.4707, -0.5034, -0.8368,\n", - " 0.3530, 0.1504, 0.0458, -0.0654, -0.7714, -0.1961, -0.4903,\n", - " -0.6015, -0.3596, -0.2484, -0.4380, -0.0458, 0.2942],\n", - " [ 0.3409, 0.8168, -0.7396, 0.2958, 0.2508, -0.1286, -0.1286,\n", - " 0.7782, -0.1994, 0.7846, -0.3087, -0.3666, 0.1029, 0.1479,\n", - " -0.3216, -0.1479, -0.2315, 0.4566, 0.5209, -0.3344],\n", - " [-0.0878, 0.0390, -0.1707, -0.1365, -0.2243, -0.2390, -0.3706,\n", - " 0.1609, -0.5511, -0.4096, 0.5121, -0.5901, 0.2633, -0.3609,\n", - " -0.5511, 0.3755, -0.4925, -0.0293, -0.0780, -0.2829],\n", - " [ 0.0965, -0.1987, 0.0057, 0.1306, 0.3861, 0.2839, -0.3861,\n", - " 0.5962, -0.1987, 0.3180, -0.1647, -0.3066, -0.0227, 0.4372,\n", - " 0.0852, 0.3748, 0.0852, -0.0057, -0.1703, -0.0738]]],\n", - " grad_fn=), scale=tensor(0.0058, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)),\n", - " QuantTensor(value=tensor([[[-0.0852, 0.0965, -0.4656, -0.3180, -0.3464, -0.2782, -0.1931,\n", - " -0.6360, -0.3180, -0.3293, 0.7211, 0.4316, 0.4145, -0.3066,\n", - " -0.5224, -0.3066, -0.5849, -0.7211, 0.3293, 0.1420],\n", - " [ 0.0965, -0.1987, 0.0057, 0.1306, 0.3861, 0.2839, -0.3861,\n", - " 0.5962, -0.1987, 0.3180, -0.1647, -0.3066, -0.0227, 0.4372,\n", - " 0.0852, 0.3748, 0.0852, -0.0057, -0.1703, -0.0738]]],\n", - " grad_fn=), scale=tensor(0.0057, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)))" + " [[ 0.1299, -0.2049, 0.3199, -0.3598, 0.2049, -0.0850, 0.2749,\n", + " -0.3099, -0.5548, -0.3648, -0.4198, -0.1050, -0.3099, 0.3798,\n", + " -0.2249, 0.1100, -0.4948, 0.3998, 0.1000, -0.1999],\n", + " [ 0.5396, -0.1599, -0.2598, 0.4264, -0.1266, -0.8527, -0.3064,\n", + " -0.4863, 0.0000, -0.3731, -0.0600, 0.5929, 0.1932, -0.1199,\n", + " 0.5463, -0.7195, -0.1066, 0.4930, 0.5529, -0.1066],\n", + " [-0.3903, 0.7220, 0.7740, -0.7740, 0.3057, 0.5529, 0.1756,\n", + " 0.0455, -0.1041, -0.2927, 0.4943, -0.0715, -0.2732, -0.4488,\n", + " -0.3187, 0.3708, 0.5464, 0.0715, -0.0911, -0.6374],\n", + " [ 0.4880, -0.3819, -0.2758, -0.2546, 0.4880, -0.4314, 0.7497,\n", + " -0.1415, 0.0919, -0.3324, 0.1768, 0.4597, 0.1768, 0.4244,\n", + " -0.1556, 0.1627, -0.7780, 0.6153, 0.0000, -0.3112],\n", + " [ 0.0067, 0.5353, 0.5821, -0.2074, 0.0468, -0.4483, -0.1472,\n", + " 0.4617, 0.0602, 0.1004, 0.4684, -0.8096, -0.3078, -0.8565,\n", + " -0.1673, -0.5420, 0.0602, 0.0268, -0.1673, 0.5018]]],\n", + " grad_fn=), scale=tensor(0.0064, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)),\n", + " QuantTensor(value=tensor([[[-0.6557, 0.2074, 0.5888, -0.2743, 0.6156, 0.1940, 0.1071,\n", + " 0.4550, 0.7226, 0.6223, -0.0401, -0.5620, -0.1873, -0.1807,\n", + " -0.0870, -0.0602, 0.4082, -0.0268, -0.0201, -0.1807],\n", + " [ 0.0067, 0.5353, 0.5821, -0.2074, 0.0468, -0.4483, -0.1472,\n", + " 0.4617, 0.0602, 0.1004, 0.4684, -0.8096, -0.3078, -0.8565,\n", + " -0.1673, -0.5420, 0.0602, 0.0268, -0.1673, 0.5018]]],\n", + " grad_fn=), scale=tensor(0.0067, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)))" ] }, "execution_count": 10, @@ -459,48 +473,56 @@ "execution_count": 11, "metadata": {}, "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "/home/giuseppe/miniconda3/envs/torch_1.13/lib/python3.7/site-packages/torch/_tensor.py:1255: UserWarning: Named tensors and all their associated APIs are an experimental feature and subject to change. Please do not use them for anything important until they are released as stable. (Triggered internally at /opt/conda/conda-bld/pytorch_1670525553989/work/c10/core/TensorImpl.h:1758.)\n", + " return super(Tensor, self).rename(names)\n" + ] + }, { "data": { "text/plain": [ - "(QuantTensor(value=tensor([[[ 0.1760, 0.2670, -0.1214, -0.3702, 0.3884, 0.4127, 0.0243,\n", - " 0.0425, -0.2246, -0.0910, -0.2670, 0.4734, 0.0971, -0.3824,\n", - " 0.1396, 0.6858, 0.0061, 0.3702, 0.1275, 0.5037],\n", - " [ 0.2831, 0.0566, -0.2831, -0.2661, -0.0793, 0.3511, -0.4926,\n", - " 0.0510, -0.6455, 0.7191, -0.1812, -0.6172, 0.1529, 0.4077,\n", - " -0.7078, -0.0453, -0.0963, 0.4926, -0.4983, -0.4077],\n", - " [ 0.0000, -0.3977, 0.0947, 0.1894, -0.3725, -0.2589, -0.3914,\n", - " 0.3409, -0.0063, 0.2652, -0.5177, -0.4230, -0.0821, -0.0631,\n", - " 0.0505, -0.0189, 0.0253, -0.1578, -0.4988, 0.5556],\n", - " [ 0.4809, 0.8144, -0.6925, 0.4360, 0.0256, -0.4360, -0.5130,\n", - " 0.2501, -0.1347, 0.7631, -0.5386, -0.2437, 0.4296, -0.1988,\n", - " -0.7246, -0.1154, -0.2437, 0.3655, 0.0641, 0.3142],\n", - " [ 0.0706, -0.0192, -0.7185, -0.8211, -0.5709, 0.1155, 0.4683,\n", - " 0.3400, -0.3015, 0.3528, 0.3143, -0.1155, -0.3143, -0.0257,\n", - " 0.1411, -0.2309, 0.5132, 0.3721, 0.5196, -0.5453]],\n", + "(QuantTensor(value=tensor([[[-0.0814, 0.6216, 0.0814, 0.2220, -0.2516, -0.2664, -0.7031,\n", + " -0.6660, -0.2738, -0.0740, -0.0814, -0.3774, -0.5846, -0.4958,\n", + " -0.2368, -0.1258, 0.3774, 0.2072, 0.0814, -0.1998],\n", + " [-0.3391, 0.3530, 0.6921, -0.1315, 0.0000, -0.2145, 0.0554,\n", + " 0.6782, 0.3668, 0.0138, 0.4568, -0.4914, -0.2561, -0.7336,\n", + " -0.5675, 0.2561, 0.3668, 0.6159, -0.3391, -0.4637],\n", + " [ 0.7364, -0.0995, 0.1194, 0.1194, -0.1393, -0.6899, 0.0796,\n", + " 0.3980, 0.2919, 0.0597, 0.2919, 0.3383, -0.2322, -0.1393,\n", + " 0.4445, -0.5373, -0.2123, 0.2786, 0.1260, 0.2654],\n", + " [ 0.2179, 0.6365, 0.0172, -0.6079, 0.3498, 0.3441, -0.1090,\n", + " -0.1548, -0.7340, 0.2064, 0.5333, -0.2007, -0.2294, -0.5161,\n", + " -0.6480, -0.1663, -0.2294, -0.6079, -0.6537, 0.5563],\n", + " [ 0.4623, 0.2311, 0.3674, -0.3911, 0.1482, -0.5215, -0.1067,\n", + " -0.0059, 0.2904, -0.2963, 0.1600, 0.2430, -0.4386, 0.7349,\n", + " 0.2074, -0.3260, 0.0178, 0.2074, 0.1600, -0.3674]],\n", " \n", - " [[ 0.4066, -0.7768, 0.6008, 0.0546, 0.0182, 0.1821, 0.0971,\n", - " -0.3763, 0.3520, -0.5037, -0.0061, 0.2246, -0.0486, 0.2124,\n", - " 0.3641, -0.6433, 0.4248, 0.0789, 0.1275, -0.1214],\n", - " [ 0.2321, 0.1982, -0.1302, 0.1529, -0.0736, -0.3567, -0.4360,\n", - " -0.0283, 0.4869, 0.5379, -0.6964, -0.0340, -0.2944, -0.1529,\n", - " -0.2152, -0.4643, 0.3454, 0.3284, -0.3341, 0.5945],\n", - " [-0.2020, 0.0379, -0.8081, -0.7260, -0.0821, 0.0631, 0.4988,\n", - " 0.0694, 0.0253, 0.5430, 0.8018, 0.2273, -0.3472, -0.0505,\n", - " 0.4924, -0.4735, 0.5745, -0.5619, 0.6313, -0.1768],\n", - " [ 0.2501, -0.4360, 0.6541, 0.0385, 0.5835, -0.3078, -0.0449,\n", - " 0.3270, 0.7951, -0.3591, -0.4809, -0.2757, -0.3591, -0.7567,\n", - " 0.5194, 0.2757, 0.7438, 0.7695, 0.5451, 0.4296],\n", - " [ 0.2630, -0.4747, 0.1347, -0.0641, -0.2245, -0.3336, -0.4490,\n", - " -0.4619, -0.1796, -0.5517, 0.3913, 0.0257, -0.2053, -0.2823,\n", - " -0.6992, -0.6607, 0.1989, -0.6928, -0.5581, 0.5966]]],\n", - " grad_fn=), scale=tensor(0.0062, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)),\n", - " QuantTensor(value=tensor([[[ 0.0706, -0.0192, -0.7185, -0.8211, -0.5709, 0.1155, 0.4683,\n", - " 0.3400, -0.3015, 0.3528, 0.3143, -0.1155, -0.3143, -0.0257,\n", - " 0.1411, -0.2309, 0.5132, 0.3721, 0.5196, -0.5453],\n", - " [ 0.2630, -0.4747, 0.1347, -0.0641, -0.2245, -0.3336, -0.4490,\n", - " -0.4619, -0.1796, -0.5517, 0.3913, 0.0257, -0.2053, -0.2823,\n", - " -0.6992, -0.6607, 0.1989, -0.6928, -0.5581, 0.5966]]],\n", - " grad_fn=), scale=tensor(0.0064, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)))" + " [[-0.6808, -0.7401, 0.2220, -0.9103, 0.8141, -0.3922, 0.9399,\n", + " 0.4144, -0.4588, -0.3034, 0.5476, -0.2368, 0.7697, -0.5550,\n", + " -0.3256, 0.2886, -0.6512, 0.7623, -0.3034, 0.0444],\n", + " [ 0.0900, -0.2353, -0.3460, -0.8858, 0.4360, -0.0346, 0.0000,\n", + " 0.1523, -0.5121, 0.0415, 0.5606, -0.7128, 0.2907, -0.7267,\n", + " 0.1177, 0.2976, -0.8443, 0.5675, -0.2907, 0.7059],\n", + " [ 0.0862, 0.2388, -0.8491, -0.6103, -0.1658, -0.2853, -0.6567,\n", + " -0.2322, -0.5970, -0.2123, -0.3450, -0.2786, 0.3450, 0.6368,\n", + " 0.7297, 0.1061, -0.5572, 0.7364, 0.4246, 0.4975],\n", + " [ 0.0746, 0.4473, -0.5161, 0.2753, -0.5219, 0.5505, -0.6136,\n", + " -0.1606, -0.2867, -0.3097, -0.4530, -0.0573, 0.0000, 0.6824,\n", + " -0.2867, 0.4760, -0.2925, 0.0516, 0.3441, 0.1720],\n", + " [-0.2430, -0.3911, -0.0948, 0.6519, -0.0652, -0.1067, -0.4208,\n", + " -0.2785, 0.1304, -0.1304, -0.4445, -0.0237, -0.0948, -0.5334,\n", + " -0.4623, -0.1482, -0.0770, 0.7527, 0.2252, -0.0948]]],\n", + " grad_fn=), scale=tensor(0.0065, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)),\n", + " QuantTensor(value=tensor([[[ 0.4623, 0.2311, 0.3674, -0.3911, 0.1482, -0.5215, -0.1067,\n", + " -0.0059, 0.2904, -0.2963, 0.1600, 0.2430, -0.4386, 0.7349,\n", + " 0.2074, -0.3260, 0.0178, 0.2074, 0.1600, -0.3674],\n", + " [-0.2430, -0.3911, -0.0948, 0.6519, -0.0652, -0.1067, -0.4208,\n", + " -0.2785, 0.1304, -0.1304, -0.4445, -0.0237, -0.0948, -0.5334,\n", + " -0.4623, -0.1482, -0.0770, 0.7527, 0.2252, -0.0948]]],\n", + " grad_fn=), scale=tensor(0.0059, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)))" ] }, "execution_count": 11, @@ -531,45 +553,45 @@ { "data": { "text/plain": [ - "(QuantTensor(value=tensor([[[-0.1984, 0.2499, -0.1102, 0.2499, -0.0955, -0.4630, -0.8672,\n", - " 0.1911, -0.4851, 0.8085, 0.6982, -0.5806, 0.0000, -0.4189,\n", - " -0.7423, -0.4851, -0.9260, -0.0147, 0.0514, -0.1984],\n", - " [-0.2167, 0.5092, -0.3846, 0.0650, 0.6717, -0.2492, -0.0867,\n", - " 0.3142, -0.3900, 0.3521, 0.4767, -0.1137, 0.6879, 0.1733,\n", - " -0.0596, 0.4279, -0.5471, -0.2762, 0.5904, -0.3737],\n", - " [-0.1335, -0.0140, -0.2810, -0.5339, -0.5339, 0.0562, 0.7236,\n", - " -0.1264, -0.0211, -0.3021, -0.1124, 0.4777, 0.3793, 0.2388,\n", - " -0.0702, 0.4847, -0.4988, 0.7236, 0.5901, -0.4847],\n", - " [ 0.3340, -0.5225, -0.1242, 0.1499, 0.3083, -0.1756, -0.1713,\n", - " 0.0000, 0.3512, -0.3041, 0.3126, -0.5482, 0.4882, 0.1028,\n", - " -0.4796, 0.1028, -0.2527, -0.3640, 0.1713, 0.0471],\n", - " [-0.4438, -0.2686, -0.3095, -0.2978, -0.0993, 0.0584, 0.4846,\n", - " -0.0526, 0.3737, -0.4496, 0.1109, 0.7416, -0.0526, 0.3445,\n", - " 0.4963, 0.2803, 0.1927, 0.0000, 0.6131, 0.1109]],\n", + "(QuantTensor(value=tensor([[[-0.4554, 0.6244, 0.1249, -0.3599, -0.7787, -0.9403, -0.5362,\n", + " -0.0147, -0.2791, 0.2791, 0.0441, -0.5142, 0.1322, -0.4334,\n", + " 0.0294, 0.0000, 0.2498, 0.3967, 0.2498, 0.1763],\n", + " [ 0.1406, -0.4084, -0.1004, -0.4419, 0.2544, -0.4151, 0.4084,\n", + " 0.7030, -0.8034, 0.0201, 0.2544, 0.0402, 0.6293, 0.0134,\n", + " -0.0803, 0.3548, -0.3147, 0.5021, -0.1272, 0.2075],\n", + " [-0.3952, 0.5408, -0.3674, -0.8874, 0.7210, -0.1733, 0.0000,\n", + " 0.4160, -0.3744, 0.5408, 0.8527, -0.7002, -0.0139, -0.8250,\n", + " -0.3397, 0.2080, 0.6378, -0.0693, -0.2704, 0.6101],\n", + " [-0.6444, 0.7190, -0.2035, -0.6783, -0.4070, 0.2442, -0.5698,\n", + " 0.2374, 0.1357, 0.0204, -0.4274, -0.7462, -0.3799, 0.5495,\n", + " 0.3934, 0.8615, -0.3392, 0.4613, -0.0407, 0.2442],\n", + " [ 0.3990, -0.0579, -0.1480, 0.0901, -0.1351, 0.0386, 0.0708,\n", + " -0.7014, -0.5985, -0.3732, -0.1158, -0.4054, -0.7143, 0.3604,\n", + " -0.7272, 0.1544, -0.0450, 0.1158, -0.3153, -0.2767]],\n", " \n", - " [[ 0.1102, -0.8085, 0.5806, -0.0661, 0.3013, 0.2646, 0.2499,\n", - " -0.6321, 0.4557, 0.4777, 0.6321, 0.0294, -0.2646, -0.9407,\n", - " 0.7350, -0.6027, 0.6174, -0.4116, 0.6835, 0.0514],\n", - " [ 0.1787, 0.0271, 0.1354, -0.3033, 0.6229, -0.3250, -0.3846,\n", - " 0.0812, 0.5633, 0.6879, -0.0325, -0.2383, -0.3521, -0.5850,\n", - " 0.3033, -0.3900, 0.6771, 0.3196, 0.5633, 0.2383],\n", - " [-0.1264, 0.5901, -0.3934, 0.3231, 0.0492, -0.5128, -0.8149,\n", - " 0.1124, -0.7517, 0.8711, 0.4004, -0.8992, 0.0702, -0.2178,\n", - " -0.8851, -0.5760, -0.1054, -0.0702, -0.3512, -0.5198],\n", - " [ 0.2612, 0.2570, 0.1542, -0.1071, -0.0300, 0.0257, -0.3854,\n", - " -0.0685, -0.2570, 0.0728, -0.4240, -0.3083, 0.1627, -0.3383,\n", - " -0.0428, 0.0300, -0.1199, 0.3683, 0.3298, -0.3340],\n", - " [ 0.4204, -0.2452, -0.0934, 0.2336, 0.1285, -0.1285, 0.2044,\n", - " -0.0701, 0.0058, 0.3971, 0.0175, -0.3270, 0.2803, 0.1810,\n", - " -0.4963, -0.5547, 0.0467, 0.0175, 0.1927, -0.2452]]],\n", - " grad_fn=), scale=tensor(0.0060, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)),\n", - " QuantTensor(value=tensor([[[-0.4438, -0.2686, -0.3095, -0.2978, -0.0993, 0.0584, 0.4846,\n", - " -0.0526, 0.3737, -0.4496, 0.1109, 0.7416, -0.0526, 0.3445,\n", - " 0.4963, 0.2803, 0.1927, 0.0000, 0.6131, 0.1109],\n", - " [ 0.4204, -0.2452, -0.0934, 0.2336, 0.1285, -0.1285, 0.2044,\n", - " -0.0701, 0.0058, 0.3971, 0.0175, -0.3270, 0.2803, 0.1810,\n", - " -0.4963, -0.5547, 0.0467, 0.0175, 0.1927, -0.2452]]],\n", - " grad_fn=), scale=tensor(0.0058, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)))" + " [[-0.6832, 0.6611, 0.1910, 0.3526, -0.0441, -0.6097, -0.3379,\n", + " -0.6979, 0.2644, -0.7199, -0.8301, -0.3967, -0.8962, 0.0441,\n", + " -0.2791, 0.7493, 0.5069, 0.3746, 0.5289, -0.6464],\n", + " [-0.3816, -0.3816, 0.4887, 0.4017, -0.4352, -0.1875, -0.2678,\n", + " 0.3414, 0.0402, 0.1406, -0.5423, -0.4486, -0.4017, -0.8435,\n", + " -0.3147, 0.4753, -0.1272, 0.8502, -0.2946, -0.2209],\n", + " [ 0.0971, -0.2080, -0.4229, -0.5546, 0.0763, -0.2357, -0.3952,\n", + " -0.3397, -0.3189, -0.2288, -0.3882, 0.1941, -0.3952, 0.1109,\n", + " 0.2565, 0.2149, -0.0139, 0.6448, 0.3744, -0.0693],\n", + " [-0.5155, 0.1221, 0.1628, -0.4681, 0.1764, 0.3934, 0.4816,\n", + " 0.2849, 0.3595, -0.5291, -0.1967, -0.3053, -0.0136, 0.1425,\n", + " -0.5698, 0.4613, -0.7326, 0.5088, 0.0339, -0.4409],\n", + " [ 0.3475, 0.2317, -0.1866, -0.1609, 0.4183, -0.0386, -0.5470,\n", + " -0.7336, -0.3475, 0.0579, -0.3346, -0.7336, -0.8237, -0.6371,\n", + " -0.2831, -0.1287, -0.0257, 0.5985, -0.2574, -0.0450]]],\n", + " grad_fn=), scale=tensor(0.0068, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)),\n", + " QuantTensor(value=tensor([[[ 0.3990, -0.0579, -0.1480, 0.0901, -0.1351, 0.0386, 0.0708,\n", + " -0.7014, -0.5985, -0.3732, -0.1158, -0.4054, -0.7143, 0.3604,\n", + " -0.7272, 0.1544, -0.0450, 0.1158, -0.3153, -0.2767],\n", + " [ 0.3475, 0.2317, -0.1866, -0.1609, 0.4183, -0.0386, -0.5470,\n", + " -0.7336, -0.3475, 0.0579, -0.3346, -0.7336, -0.8237, -0.6371,\n", + " -0.2831, -0.1287, -0.0257, 0.5985, -0.2574, -0.0450]]],\n", + " grad_fn=), scale=tensor(0.0064, grad_fn=), zero_point=tensor(0.), bit_width=tensor(8.), signed_t=tensor(True), training_t=tensor(True)))" ] }, "execution_count": 12, @@ -753,20 +775,22 @@ " bias: bool = True,\n", " batch_first: bool = False,\n", " bidirectional: bool = False,\n", - " weight_quant = Int8WeightPerTensorFloat,\n", - " bias_quant = Int32Bias,\n", - " io_quant = Int8ActPerTensorFloat,\n", - " gate_acc_quant = Int8ActPerTensorFloat,\n", - " sigmoid_quant = Uint8ActPerTensorFloat,\n", - " tanh_quant = Int8ActPerTensorFloat,\n", - " cell_state_quant = Int8ActPerTensorFloat,\n", + " weight_quant=Int8WeightPerTensorFloat,\n", + " bias_quant=Int32Bias,\n", + " io_quant=Int8ActPerTensorFloat,\n", + " gate_acc_quant=Int8ActPerTensorFloat,\n", + " sigmoid_quant=Uint8ActPerTensorFloat,\n", + " tanh_quant=Int8ActPerTensorFloat,\n", + " cell_state_quant=Int8ActPerTensorFloat,\n", " coupled_input_forget_gates: bool = False,\n", - " cat_output_cell_states = True,\n", - " shared_input_hidden_weights = False,\n", - " shared_intra_layer_weight_quant = False,\n", - " shared_intra_layer_gate_acc_quant = False,\n", - " shared_cell_state_quant = True,\n", + " cat_output_cell_states=True,\n", + " shared_input_hidden_weights=False,\n", + " shared_intra_layer_weight_quant=False,\n", + " shared_intra_layer_gate_acc_quant=False,\n", + " shared_cell_state_quant=True,\n", " return_quant_tensor: bool = False,\n", + " device: Optional[torch.device] = None,\n", + " dtype: Optional[torch.dtype] = None,\n", " **kwargs):\n", " super(QuantLSTM, self).__init__(\n", " layer_impl=_QuantLSTMLayer,\n", @@ -789,6 +813,8 @@ " shared_intra_layer_gate_acc_quant=shared_intra_layer_gate_acc_quant,\n", " shared_cell_state_quant=shared_cell_state_quant,\n", " return_quant_tensor=return_quant_tensor,\n", + " dtype=dtype,\n", + " device=device,\n", " **kwargs)\n", " if cat_output_cell_states and cell_state_quant is not None and not shared_cell_state_quant:\n", " raise RuntimeError(\"Concatenating cell states requires shared cell quantizers.\")\n", @@ -893,6 +919,25 @@ "cell_type": "code", "execution_count": 18, "metadata": {}, + "outputs": [], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_onnx_qcdq\n", + "\n", + "quant_lstm_weight_only = QuantLSTM(input_size=10, hidden_size=20, weight_bit_width=4, io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", + "export_path = 'quant_lstm_weight_only_4b.onnx'\n", + "exported_model = export_onnx_qcdq(quant_lstm_weight_only, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n" + ] + }, + { + "cell_type": "code", + "execution_count": 19, + "metadata": { + "tags": [ + "skip-execution" + ] + }, "outputs": [ { "name": "stdout", @@ -916,22 +961,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 18, + "execution_count": 19, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_onnx_qcdq\n", - "\n", - "quant_lstm_weight_only = QuantLSTM(input_size=10, hidden_size=20, weight_bit_width=4, io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", - "export_path = 'quant_lstm_weight_only_4b.onnx'\n", - "export_onnx_qcdq(quant_lstm_weight_only, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n", "show_netron(export_path, 8080)" ] }, @@ -945,9 +983,17 @@ }, { "cell_type": "code", - "execution_count": 19, + "execution_count": 20, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "2023-11-09 17:53:49.004519879 [W:onnxruntime:, graph.cc:1271 Graph] Initializer onnx::LSTM_93 appears in graph inputs and will not be treated as constant value/weight. This may prevent some of the graph optimizations, like const folding. Move it out of graph inputs if there is no need to override it, by either re-generating the model with latest exporter/converter or with the tool onnxruntime/tools/python/remove_initializer_from_input.py.\n" + ] + } + ], "source": [ "import onnxruntime as ort\n", "import numpy as np\n", @@ -968,8 +1014,29 @@ }, { "cell_type": "code", - "execution_count": 20, + "execution_count": 21, "metadata": {}, + "outputs": [], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_onnx_qcdq\n", + "\n", + "quant_lstm_weight_only_cifg = QuantLSTM(\n", + " input_size=10, hidden_size=20, coupled_input_forget_gates=True, weight_bit_width=4,\n", + " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", + "export_path = 'quant_lstm_weight_only_cifg_4b.onnx'\n", + "exported_model = export_onnx_qcdq(quant_lstm_weight_only_cifg, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)" + ] + }, + { + "cell_type": "code", + "execution_count": 22, + "metadata": { + "tags": [ + "skip-execution" + ] + }, "outputs": [ { "name": "stdout", @@ -993,24 +1060,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 20, + "execution_count": 22, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_onnx_qcdq\n", - "\n", - "quant_lstm_weight_only_cifg = QuantLSTM(\n", - " input_size=10, hidden_size=20, coupled_input_forget_gates=True, weight_bit_width=4,\n", - " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", - "export_path = 'quant_lstm_weight_only_cifg_4b.onnx'\n", - "export_onnx_qcdq(quant_lstm_weight_only_cifg, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n", "show_netron(export_path, 8082)" ] }, @@ -1024,9 +1082,17 @@ }, { "cell_type": "code", - "execution_count": 21, + "execution_count": 23, "metadata": {}, - "outputs": [], + "outputs": [ + { + "name": "stderr", + "output_type": "stream", + "text": [ + "2023-11-09 17:53:52.224785809 [W:onnxruntime:, graph.cc:1271 Graph] Initializer onnx::LSTM_83 appears in graph inputs and will not be treated as constant value/weight. This may prevent some of the graph optimizations, like const folding. Move it out of graph inputs if there is no need to override it, by either re-generating the model with latest exporter/converter or with the tool onnxruntime/tools/python/remove_initializer_from_input.py.\n" + ] + } + ], "source": [ "import onnxruntime as ort\n", "import numpy as np\n", @@ -1047,17 +1113,39 @@ }, { "cell_type": "code", - "execution_count": 22, + "execution_count": 24, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ - "c:\\users\\alessand\\documents\\brevitas\\src\\brevitas\\nn\\mixin\\base.py:112: UserWarning: Keyword arguments are being passed but they not being used.\n", + "/home/giuseppe/Documents/git/brevitas/src/brevitas/nn/mixin/base.py:77: UserWarning: Keyword arguments are being passed but they not being used.\n", " warn('Keyword arguments are being passed but they not being used.')\n" ] - }, + } + ], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_onnx_qcdq\n", + "\n", + "quant_lstm_weight_only_bidirectional_2_layers = QuantLSTM(\n", + " input_size=10, hidden_size=20, bidirectional=True, num_layers=2, weight_bit_width=4,\n", + " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", + "export_path = 'quant_lstm_weight_only_bidirectional_2_layers.onnx'\n", + "exported_model = export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)" + ] + }, + { + "cell_type": "code", + "execution_count": 25, + "metadata": { + "tags": [ + "skip-execution" + ] + }, + "outputs": [ { "name": "stdout", "output_type": "stream", @@ -1080,24 +1168,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 22, + "execution_count": 25, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_onnx_qcdq\n", - "\n", - "quant_lstm_weight_only_bidirectional_2_layers = QuantLSTM(\n", - " input_size=10, hidden_size=20, bidirectional=True, num_layers=2, weight_bit_width=4,\n", - " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", - "export_path = 'quant_lstm_weight_only_bidirectional_2_layers.onnx'\n", - "export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n", "show_netron(export_path, 8083)" ] }, @@ -1110,17 +1189,39 @@ }, { "cell_type": "code", - "execution_count": 23, + "execution_count": 26, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ - "c:\\users\\alessand\\documents\\brevitas\\src\\brevitas\\nn\\mixin\\base.py:112: UserWarning: Keyword arguments are being passed but they not being used.\n", + "/home/giuseppe/Documents/git/brevitas/src/brevitas/nn/mixin/base.py:77: UserWarning: Keyword arguments are being passed but they not being used.\n", " warn('Keyword arguments are being passed but they not being used.')\n" ] - }, + } + ], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_onnx_qcdq\n", + "\n", + "quant_lstm_weight_only_bidirectional_2_layers_shared = QuantLSTM(\n", + " input_size=10, hidden_size=20, bidirectional=True, shared_input_hidden_weights=True, weight_bit_width=4,\n", + " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", + "export_path = 'quant_lstm_weight_only_bidirectional_2_layers_shared_ih.onnx'\n", + "exported_model = export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers_shared, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)" + ] + }, + { + "cell_type": "code", + "execution_count": 27, + "metadata": { + "tags": [ + "skip-execution" + ] + }, + "outputs": [ { "name": "stdout", "output_type": "stream", @@ -1143,24 +1244,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 23, + "execution_count": 27, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_onnx_qcdq\n", - "\n", - "quant_lstm_weight_only_bidirectional_2_layers_shared = QuantLSTM(\n", - " input_size=10, hidden_size=20, bidirectional=True, shared_input_hidden_weights=True, weight_bit_width=4,\n", - " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", - "export_path = 'quant_lstm_weight_only_bidirectional_2_layers_shared_ih.onnx'\n", - "export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers_shared, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n", "show_netron(export_path, 8085)" ] }, @@ -1174,17 +1266,2137 @@ }, { "cell_type": "code", - "execution_count": 24, + "execution_count": 28, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ - "c:\\users\\alessand\\documents\\brevitas\\src\\brevitas\\nn\\mixin\\base.py:112: UserWarning: Keyword arguments are being passed but they not being used.\n", + "/home/giuseppe/Documents/git/brevitas/src/brevitas/nn/mixin/base.py:77: UserWarning: Keyword arguments are being passed but they not being used.\n", " warn('Keyword arguments are being passed but they not being used.')\n" ] }, + { + "data": { + "text/plain": [ + "ir_version: 7\n", + "producer_name: \"pytorch\"\n", + "producer_version: \"1.13.1\"\n", + "graph {\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Concat_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.0.0/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.0/export_handler/Shape_output_0\"\n", + " name: \"/layers.0.0/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Shape_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.0.0/export_handler/Gather_output_0\"\n", + " name: \"/layers.0.0/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_95\"\n", + " output: \"onnx::Concat_96\"\n", + " name: \"Unsqueeze_42\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_338\"\n", + " input: \"onnx::Concat_96\"\n", + " input: \"/layers.0.0/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.0.0/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.0.0/export_handler/Expand_output_0\"\n", + " name: \"/layers.0.0/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.0/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.0.0/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_106\"\n", + " output: \"onnx::Concat_107\"\n", + " name: \"Unsqueeze_51\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_339\"\n", + " input: \"onnx::Concat_107\"\n", + " input: \"/layers.0.0/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.0.0/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.0.0/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " input: \"/layers.0.0/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.0.0/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_337\"\n", + " input: \"/layers.0.0/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/export_handler/Expand_output_0\"\n", + " input: \"/layers.0.0/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.0.0/export_handler/LSTM_output_0\"\n", + " output: \"/layers.0.0/export_handler/LSTM_output_1\"\n", + " output: \"/layers.0.0/export_handler/LSTM_output_2\"\n", + " name: \"/layers.0.0/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"forward\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_90\"\n", + " output: \"/layers.0.0/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.0.0/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.0.0/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.0.0/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.0.0/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.0.0/Constant_output_0\"\n", + " output: \"/layers.0.0/Unsqueeze_output_0\"\n", + " name: \"/layers.0.0/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.0.0/Constant_1_output_0\"\n", + " output: \"/layers.0.0/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.0/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Concat_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.1/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.0.1/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.1/export_handler/Shape_output_0\"\n", + " name: \"/layers.0.1/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Shape_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.0.1/export_handler/Gather_output_0\"\n", + " name: \"/layers.0.1/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_164\"\n", + " output: \"onnx::Concat_165\"\n", + " name: \"Unsqueeze_100\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_343\"\n", + " input: \"onnx::Concat_165\"\n", + " input: \"/layers.0.1/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.0.1/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.0.1/export_handler/Expand_output_0\"\n", + " name: \"/layers.0.1/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.1/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.0.1/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_175\"\n", + " output: \"onnx::Concat_176\"\n", + " name: \"Unsqueeze_109\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_344\"\n", + " input: \"onnx::Concat_176\"\n", + " input: \"/layers.0.1/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.0.1/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.0.1/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " input: \"/layers.0.1/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.0.1/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_342\"\n", + " input: \"/layers.0.1/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.1/export_handler/Expand_output_0\"\n", + " input: \"/layers.0.1/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.0.1/export_handler/LSTM_output_0\"\n", + " output: \"/layers.0.1/export_handler/LSTM_output_1\"\n", + " output: \"/layers.0.1/export_handler/LSTM_output_2\"\n", + " name: \"/layers.0.1/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"reverse\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_90\"\n", + " output: \"/layers.0.1/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.0.1/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.0.1/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.0.1/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.0.1/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.0.1/Constant_output_0\"\n", + " output: \"/layers.0.1/Unsqueeze_output_0\"\n", + " name: \"/layers.0.1/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.0.1/Constant_1_output_0\"\n", + " output: \"/layers.0.1/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.1/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Squeeze_output_0\"\n", + " input: \"/layers.0.1/export_handler/Squeeze_output_0\"\n", + " output: \"/Concat_output_0\"\n", + " name: \"/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: -1\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Concat_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_output_0\"\n", + " output: \"/layers.1.0/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.1.0/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.0/export_handler/Shape_output_0\"\n", + " name: \"/layers.1.0/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Shape_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.1.0/export_handler/Gather_output_0\"\n", + " name: \"/layers.1.0/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_234\"\n", + " output: \"onnx::Concat_235\"\n", + " name: \"Unsqueeze_159\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_348\"\n", + " input: \"onnx::Concat_235\"\n", + " input: \"/layers.1.0/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.1.0/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.1.0/export_handler/Expand_output_0\"\n", + " name: \"/layers.1.0/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.0/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.1.0/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_245\"\n", + " output: \"onnx::Concat_246\"\n", + " name: \"Unsqueeze_168\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_349\"\n", + " input: \"onnx::Concat_246\"\n", + " input: \"/layers.1.0/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.1.0/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.1.0/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " input: \"/layers.1.0/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.1.0/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_347\"\n", + " input: \"/layers.1.0/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.1.0/export_handler/Expand_output_0\"\n", + " input: \"/layers.1.0/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.1.0/export_handler/LSTM_output_0\"\n", + " output: \"/layers.1.0/export_handler/LSTM_output_1\"\n", + " output: \"/layers.1.0/export_handler/LSTM_output_2\"\n", + " name: \"/layers.1.0/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"forward\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_90\"\n", + " output: \"/layers.1.0/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.1.0/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.1.0/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.1.0/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.1.0/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.1.0/Constant_output_0\"\n", + " output: \"/layers.1.0/Unsqueeze_output_0\"\n", + " name: \"/layers.1.0/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.1.0/Constant_1_output_0\"\n", + " output: \"/layers.1.0/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.0/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Concat_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_output_0\"\n", + " output: \"/layers.1.1/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.1.1/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.1/export_handler/Shape_output_0\"\n", + " name: \"/layers.1.1/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Shape_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.1.1/export_handler/Gather_output_0\"\n", + " name: \"/layers.1.1/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_303\"\n", + " output: \"onnx::Concat_304\"\n", + " name: \"Unsqueeze_217\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_353\"\n", + " input: \"onnx::Concat_304\"\n", + " input: \"/layers.1.1/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.1.1/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.1.1/export_handler/Expand_output_0\"\n", + " name: \"/layers.1.1/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.1/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.1.1/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_314\"\n", + " output: \"onnx::Concat_315\"\n", + " name: \"Unsqueeze_226\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_354\"\n", + " input: \"onnx::Concat_315\"\n", + " input: \"/layers.1.1/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_89\"\n", + " input: \"/layers.1.1/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.1.1/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " input: \"/layers.1.1/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.1.1/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_352\"\n", + " input: \"/layers.1.1/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.1.1/export_handler/Expand_output_0\"\n", + " input: \"/layers.1.1/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.1.1/export_handler/LSTM_output_0\"\n", + " output: \"/layers.1.1/export_handler/LSTM_output_1\"\n", + " output: \"/layers.1.1/export_handler/LSTM_output_2\"\n", + " name: \"/layers.1.1/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"reverse\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_90\"\n", + " output: \"/layers.1.1/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.1.1/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.1.1/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_91\"\n", + " output: \"/layers.1.1/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.1.1/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.1.1/Constant_output_0\"\n", + " output: \"/layers.1.1/Unsqueeze_output_0\"\n", + " name: \"/layers.1.1/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.1.1/Constant_1_output_0\"\n", + " output: \"/layers.1.1/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.1/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Squeeze_output_0\"\n", + " input: \"/layers.1.1/export_handler/Squeeze_output_0\"\n", + " output: \"332\"\n", + " name: \"/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: -1\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/Unsqueeze_output_0\"\n", + " input: \"/layers.0.1/Unsqueeze_output_0\"\n", + " input: \"/layers.1.0/Unsqueeze_output_0\"\n", + " input: \"/layers.1.1/Unsqueeze_output_0\"\n", + " output: \"333\"\n", + " name: \"/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/Unsqueeze_1_output_0\"\n", + " input: \"/layers.0.1/Unsqueeze_1_output_0\"\n", + " input: \"/layers.1.0/Unsqueeze_1_output_0\"\n", + " input: \"/layers.1.1/Unsqueeze_1_output_0\"\n", + " output: \"334\"\n", + " name: \"/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " name: \"torch_jit\"\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_337\"\n", + " raw_data: \"\\330\\315\\260=c\\323\\265=\\333\\036\\246=\\332H\\343\\275\\314\\365\\'\\275\\215\\235\\262\\275\\250p\\364=5\\032\\010>%#\\037=\\3506\\020\\276!\\\"\\032\\276\\214\\335\\036=i\\361s=\\224\\263\\206\\274\\217%O\\276?S8\\276\\234O\\037\\276Y&$>\\271\\371\\323\\275\\3632)\\276\\266u`>\\300)\\341\\274j\\372\\212\\274%\\205\\327=\\2606\\277\\275\\330\\242.>q\\001_=\\327\\211N>\\335\\014\\360\\275l\\274:\\275\\274\\334i=\\223HU\\276\\252\\3106>\\010.\\010=\\322\\353\\005>%\\204$\\275H\\3173\\276L\\315\\363=\\016\\241\\307<\\326\\252u=H/P\\276\\3376\\271=\\007\\252\\017\\276|\\224[=\\204\\314\\201\\275oR\\034=\\370p\\005\\275\\261\\247\\300\\275\\177D\\365=\\243\\235\\322\\273@\\327\\364\\275\\346he=\\254?\\317=\\303\\277\\024\\275\\203\\004\\364\\275Bq\\026>\\364\\346\\304\\275\\273\\376%>\\306s\\267=9c\\000\\276]\\311\\254=\\327\\371|=6\\0372\\276o3\\331=K\\240@>\\337\\003\\375=\\026\\235\\233=\\022\\363-Wqa>\\027\\375\\255=/\\320\\005\\276\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_342\"\n", + " raw_data: \"v\\374K<6\\340\\337\\275\\364\\037\\252<\\222MC\\276gV,=\\322\\350\\310\\275\\377\\227?>\\330\\361\\002>\\236\\225\\032\\276\\236\\350\\247\\275+\\177\\204=\\234\\\"\\367=\\340\\355#>r\\030\\336\\274H\\252v\\275.\\3675\\276`{\\201\\275\\301Q\\023>3\\300\\371\\2755\\305]=\\355\\207\\364=\\021\\024\\023\\276\\2668B>\\373#\\035=\\021IP\\276\\276\\200G\\276\\354Vb=v\\347%>N\\235[\\276\\017\\234.\\276QA=>\\014\\256F\\275\\207v\\374=\\r+0\\276\\331!\\211\\275\\264\\000\\233<\\273h\\345=\\376b_>,}G\\276D\\263b\\276R++\\276\\177@ =\\333\\316\\244\\275\\275\\237\\345=X!\\335\\275\\237\\335\\315\\275\\231\\\\U=I\\370\\246\\275\\n\\337F>\\027}X>\\355\\215B\\275^\\276\\323<\\232\\224\\317\\275e\\242<>Q\\317\\014\\275i\\206\\013\\276\\300\\364\\373=\\323\\225i\\273r{!\\275F\\261\\031\\276\\033\\002\\004>=\\213N\\275\\233\\303$\\276\\033\\241U>\\252\\314J>\\r\\372u=M\\232+\\276\\033\\302?\\275\\354\\261O\\275\\312X\\300<\\034\\372]\\276\\232\\335->\\245\\274\\350\\275\\026\\2704>\\337q\\t;\\322\\027,\\276\\002\\3673\\276\\213\\207\\372=\\023~O=\\021$6>\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_347\"\n", + " raw_data: \"\\240\\314d\\275\\261\\017[<\\223\\0333>XR\\211\\274\\220\\273\\200\\274\\367\\202\\366=\\331-c>\\245\\3621>\\023c1\\276\\261\\271\\316<)\\010t=Q\\334)\\276\\323Dk<\\350\\373N\\276\\006\\\\\\334=}\\351m\\275\\245W\\034\\276P\\373!>\\376\\336\\336\\275\\022\\2578>\\365 \\013\\276\\327w^=\\t\\325H>\\267_F\\276\\232\\003b>G\\252(>\\261$#=\\263r\\003<\\344\\201\\037\\276\\006P/\\276\\352P\\003>\\231A\\304\\274iW\\206=\\200\\2210=H\\331$\\275@R\\000\\276\\373\\026w\\275\\343\\367\\223:>iK=\\342\\337@\\276A\\327\\224\\275\\354V*\\276\\344[\\223=\\2644^\\275\\335\\360\\246=\\024\\227`\\2769\\360\\306\\275\\253O\\215<\\352C?\\276\\262\\262\\025>3\\203X>\\016\\3530\\275\\274\\260H=\\325fH\\276\\335\\2071>\\177\\026c\\276\\316\\203\\356\\274o\\200\\240=\\023\\376\\032=`q\\215=H\\205\\\\=25c\\276\\343\\032\\305< E\\000>\\376\\004\\\"=:\\211\\022>\\274\\243/\\276hs6=\\211Zc\\276\\232\\374X\\276\\271\\2014>\\341\\273\\264<\\253n\\207\\275\\225p\\200\\275C\\253\\224=\\025\\377\\317=\\243\\006`\\276\\217E\\003>\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_352\"\n", + " raw_data: \"\\345!E\\276\\232\\002.\\276\\215+\\330\\273\\276\\333\\321=\\236n0=\\026\\026;>\\3250<\\276\\026\\234\\035\\276\\343\\203O\\276\\255o\\345=\\314\\200\\326=\\333~\\202\\275H3\\225\\275\\250/\\212\\274@#F\\2762\\206\\203\\275\\325A\\313=\\343\\266/\\276\\036z%\\276\\245lb>\\007\\216\\245=\\374\\367E>\\030\\t\\226=\\376d\\034\\275\\265 \\301\\275\\266\\324\\034\\275t\\254>>\\317R*\\276\\377r\\034\\274?\\240\\271\\273\\200\\362V\\273U(>\\2764\\273O\\276\\n\\310\\255=\\340\\230/=\\372\\343\\\\>\\304\\002\\221=\\354\\377\\331\\275\\330\\363\\231=\\205X\\307=\\022\\257\\222<:\\300,>=|\\024\\276\\207L\\230=\\277\\r\\361=;\\371\\312=f\\351i=\\312\\336\\253=>\\323P=x\\374I>\\316\\232I\\276\\277P\\323\\274\\255\\300\\304=9\\3530<\\237t<\\274\\346\\361+\\276\\340\\304\\232=b\\265\\256\\2734\\177\\001\\276,\\330U>\\341\\001\\321=\\322\\026;>\\000\\374\\343\\275\\257\\352\\342=\\027\\035\\332=\\377\\256\\216=czI\\276;D\\203=\\225\\305\\306\\274V\\330\\207\\274\\002B\\307\\275\\231\\363\\311=\\036\\016[\\276|>\\021=\\r@!B\\232\\007\\275\\003\\250\\326\\275\\3061\\177\\275\\024p\\352\\275\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\352\\317\\002=\"\n", + " }\n", + " initializer {\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\006\\374\\376\\000\\377\\001\\373\\376\\004\\372\\373\\001\\377\\372\\374\\000\\372\\375\\003\\000\\000\\006\\003\\007\\002\\004\\002\\000\\372\\377\\372\\004\\000\\007\\376\\371\\005\\377\\005\\377\\001\\371\\002\\372\\371\\002\\002\\000\\005\\001\\372\\005\\374\\006\\000\\004\\371\\373\\377\\005\\005\\001\\377\\372\\004\\007\\005\\000\\006\\377\\000\\373\\376\\000\\007\\372\\001\\003\\373\\003\\372\\375\\003\\001\\000\\000\\377\\002\\003\\375\\377\\373\\007\\006\\373\\007\\377\\005\\372\\373\\007\\001\\373\\374\\373\\005\\006\\377\\002\\377\\377\\372\\006\\002\\004\\000\\000\\005\\377\\006\\372\\375\\003\\373\\377\\007\\005\\372\\007\\000\\000\\376\\005\\372\\372\\374\\000\\004\\001\\377\\375\\373\\376\\374\\003\\006\\377\\006\\001\\000\\006\\000\\001\\006\\371\\377\\006\\376\\006\\001\\005\\375\\374\\375\\374\\376\\006\\373\\000\\004\\373\\371\\374\\371\\376\\004\\377\\002\\002\\006\\374\\001\\377\\371\\000\\374\\376\\373\\006\\374\\006\\371\\001\\003\\002\\375\\374\\375\\001\\376\"\n", + " }\n", + " initializer {\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\371\"\n", + " }\n", + " initializer {\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\007\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\372\\375\\374\\003\\371\\006\\374\\376\\377\\002\\375\\004\\374\\374\\373\\375\\000\\376\\004\\372\\000\\372\\003\\374\\006\\003\\376\\005\\376\\001\\375\\002\\005\\000\\376\\372\\007\\001\\003\\001\\004\\373\\374\\002\\006\\003\\373\\374\\377\\000\\375\\007\\374\\371\\000\\374\\006\\373\\372\\375\\002\\375\\373\\375\\004\\000\\371\\006\\006\\374\\001\\005\\375\\374\\375\\376\\371\\371\\001\\371\\001\\377\\001\\000\\005\\373\\377\\372\\003\\007\\004\\007\\003\\376\\004\\003\\372\\002\\001\\376\\001\\372\\006\\003\\000\\374\\374\\002\\001\\004\\004\\005\\004\\000\\375\\000\\001\\005\\376\\002\\377\\377\\374\\003\\001\\001\\376\\003\\000\\002\\002\\005\\004\\002\\002\\005\\374\\000\\375\\006\\374\\006\\377\\000\\005\\377\\001\\000\\377\\375\\004\\371\\006\\004\\004\\007\\003\\371\\005\\000\\005\\006\\373\\003\\004\\005\\373\\004\\006\\002\\005\\372\\004\\374\\002\\003\\376\\374\\002\\005\\000\\374\\374\\002\\000\\002\\375\\002\\372\\004\\001\\004\\004\\377\\005\\372\\371\\372\\003\\376\\000\\375\\001\\004\\371\\373\\002\\372\\375\\001\\005\\372\\003\\003\\000\\003\\374\\373\\374\\371\\374\\376\\001\\006\\007\\372\\377\\377\\006\\000\\375\\373\\002\\002\\377\\004\\375\\377\\373\\002\\376\\371\\004\\000\\003\\005\\004\\006\\002\\373\\002\\004\\377\\005\\373\\372\\373\\376\\005\\001\\373\\372\\376\\376\\004\\372\\375\\371\\375\\001\\002\\003\\374\\372\\006\\005\\006\\003\\373\\000\\003\\004\\005\\007\\373\\376\\373\\000\\373\\374\\007\\375\\373\\377\\003\\003\\006\\006\\375\\376\\007\\004\\376\\375\\375\\372\\373\\006\\005\\371\\376\\373\\003\\373\\004\\000\\375\\376\\374\\001\\377\\002\\007\\374\\004\\004\\373\\373\\372\\004\\001\\001\\001\\376\\004\\374\\007\\377\\002\\376\\376\\004\\376\\002\\372\\372\\002\\004\\374\\006\\374\\373\\001\\000\\374\\006\\003\\374\\373\\375\\003\\375\\374\\372\\377\\000\\002\\371\\004\\002\\004\\002\\377\\372\\376\\377\\006\\374\\006\\000\\375\\002\\372\\000\\000\\000\\006\\005\\376\\003\\371\\372\\000\\005\\372\\006\\373\\372\\002\\002\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\006\\002\\372\\375\\001\\006\\006\\003\\001\\373\\007\\371\\375\\003\\004\\005\\006\\004\\375\\006\\000\\375\\377\\002\\372\\374\\375\\002\\377\\003\\371\\000\\375\\004\\004\\373\\003\\000\\373\\005\\004\\374\\377\\001\\374\\374\\373\\371\\007\\375\\007\\003\\000\\377\\003\\377\\006\\005\\374\\006\\007\\003\\005\\003\\004\\002\\004\\373\\377\\007\\001\\373\\373\\372\\007\\371\\373\\376\\372\\375\\003\\000\\374\\004\\003\\004\\000\\006\\002\\002\\375\\007\\371\\376\\374\\374\\006\\377\\005\\372\\374\\373\\372\\375\\001\\002\\375\\000\\372\\000\\377\\002\\007\\377\\007\\002\\006\\003\\001\\374\\004\\376\\007\\374\\372\\372\\003\\003\\005\\371\\000\\005\\003\\005\\004\\374\\372\\377\\376\\003\\376\\001\\373\\004\\375\\375\\377\\376\\001\\374\\007\\001\\005\\374\\376\\005\\005\\373\\001\\376\\004\\004\\372\\005\\377\\003\\376\\377\\005\\007\\000\\006\\377\\377\\000\\377\\002\\374\\374\\371\\003\\006\\000\\006\\375\\003\\375\\374\\004\\007\\377\\002\\001\\375\\002\\002\\373\\371\\006\\002\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\375\\372\\374\\001\\002\\003\\375\\373\\000\\003\\377\\376\\372\\000\\003\\377\\372\\373\\375\\375\\000\\005\\006\\373\\372\\372\\377\\373\\003\\375\\373\\006\\374\\377\\371\\007\\376\\007\\000\\006\\000\\377\\006\\001\\004\\005\\372\\004\\375\\003\\372\\377\\377\\375\\372\\007\\005\\007\\375\\000\\004\\372\\372\\372\\003\\377\\373\\376\\003\\371\\004\\006\\373\\003\\374\\371\\004\\005\\006\\374\\000\\001\\003\\007\\004\\006\\003\\006\\375\\001\\371\\002\\376\\000\\000\\371\\002\\376\\375\\377\\004\\003\\001\\374\\005\\377\\000\\007\\373\\002\\007\\002\\377\\372\\375\\006\\005\\006\\006\\001\\371\\375\\003\\374\\374\\374\\375\\002\\374\\377\\002\\374\\377\\004\\373\\371\\373\\377\\373\\001\\004\\002\\000\\000\\377\\371\\005\\002\\376\\372\\375\\002\\373\\001\\372\\375\\002\\006\\006\\007\\005\\006\\373\\371\\373\\005\\002\\000\\006\\372\\002\\372\\372\\003\\372\\003\\001\\002\\377\\372\\000\\006\\377\\377\\375\\000\\000\\001\\007\\000\\372\\003\\000\\371\\002\\372\\371\\374\\003\\006\\377\\002\\375\\007\\000\\000\\002\\373\\375\\000\\376\\377\\377\\377\\006\\375\\002\\002\\005\\005\\377\\006\\002\\376\\002\\003\\000\\004\\002\\004\\001\\002\\001\\371\\006\\002\\374\\376\\000\\002\\003\\372\\002\\377\\374\\374\\001\\000\\373\\007\\002\\005\\001\\375\\371\\377\\377\\004\\373\\001\\373\\374\\375\\371\\005\\374\\006\\004\\001\\377\\007\\376\\001\\377\\376\\003\\376\\371\\372\\372\\003\\003\\374\\375\\001\\374\\003\\000\\372\\000\\374\\373\\004\\006\\005\\004\\001\\005\\374\\372\\377\\376\\373\\000\\006\\377\\372\\374\\003\\002\\003\\001\\373\\374\\377\\002\\000\\003\\372\\375\\003\\375\\376\\006\\372\\000\\004\\376\\003\\000\\000\\375\\371\\000\\372\\001\\004\\007\\375\\377\\372\\005\\375\\000\\001\\006\\004\\004\\372\\371\\376\\375\\001\\005\\373\\003\\005\\001\\006\\007\\001\\003\\377\\375\\005\\000\\376\\377\\373\\003\\005\\003\\007\\004\\005\\003\\003\\006\\377\\373\\000\\001\\001\\375\\001\\002\\000\\373\\001\\376\\376\\005\\001\\375\\005\\377\\377\\005\\376\\006\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\372\\373\\002\\377\\372\\374\\002\\375\\007\\003\\003\\003\\376\\002\\005\\377\\377\\002\\373\\376\\376\\005\\002\\006\\377\\372\\374\\003\\005\\004\\372\\374\\004\\375\\374\\003\\004\\006\\373\\373\\005\\377\\002\\373\\003\\003\\377\\373\\373\\371\\373\\000\\002\\002\\003\\006\\375\\004\\375\\005\\001\\373\\373\\373\\376\\006\\373\\001\\005\\000\\000\\372\\371\\375\\371\\000\\002\\375\\374\\005\\006\\004\\373\\004\\002\\374\\003\\376\\005\\002\\003\\375\\377\\001\\372\\006\\002\\002\\371\\003\\002\\371\\373\\377\\000\\003\\374\\001\\002\\007\\372\\000\\374\\005\\005\\001\\376\\003\\376\\374\\377\\006\\372\\373\\005\\373\\001\\004\\002\\374\\000\\004\\001\\372\\375\\373\\374\\372\\003\\377\\001\\372\\371\\003\\002\\001\\001\\372\\006\\000\\377\\374\\377\\374\\376\\376\\000\\377\\375\\007\\375\\006\\005\\377\\006\\006\\372\\371\\006\\000\\373\\374\\374\\373\\001\\374\\005\\000\\372\\374\\003\\000\\372\\002\\002\\003\\004\\002\\007\\375\\000\\375\\002\\003\\375\\005\\373\\002\\373\\003\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\001\\003\\003\\000\\373\\001\\003\\372\\002\\377\\373\\005\\377\\003\\003\\002\\006\\004\\373\\004\\377\\004\\374\\376\\001\\373\\002\\001\\003\\001\\000\\004\\376\\001\\372\\004\\005\\000\\373\\003\\002\\001\\371\\376\\376\\376\\372\\005\\006\\371\\003\\005\\373\\001\\000\\374\\006\\375\\375\\376\\004\\002\\373\\371\\374\\001\\375\\005\\002\\375\\377\\374\\376\\373\\003\\003\\375\\005\\004\\003\\000\\375\\377\\002\\372\\374\\373\\001\\375\\004\\375\\375\\005\\376\\002\\002\\377\\372\\372\\005\\003\\373\\371\\002\\001\\373\\372\\002\\003\\374\\001\\003\\374\\376\\375\\375\\373\\375\\376\\376\\005\\372\\373\\003\\005\\000\\376\\001\\004\\377\\005\\372\\003\\375\\374\\003\\003\\374\\375\\377\\375\\377\\005\\373\\376\\002\\374\\001\\377\\007\\375\\374\\372\\374\\374\\000\\001\\374\\373\\374\\002\\003\\003\\006\\004\\004\\377\\377\\374\\373\\373\\005\\003\\006\\372\\001\\004\\004\\003\\007\\000\\001\\371\\371\\002\\003\\377\\375\\005\\376\\373\\005\\377\\003\\002\\374\\007\\374\\376\\001\\003\\003\\377\\005\\371\\373\\371\\377\\377\\002\\002\\374\\006\\004\\377\\006\\006\\000\\001\\373\\003\\375\\376\\372\\005\\372\\003\\376\\001\\004\\006\\005\\005\\375\\371\\004\\006\\373\\376\\004\\005\\376\\005\\376\\002\\007\\003\\376\\376\\002\\377\\374\\375\\005\\000\\000\\005\\007\\377\\001\\374\\374\\004\\005\\372\\005\\377\\006\\372\\374\\005\\002\\000\\000\\002\\377\\375\\373\\005\\005\\377\\004\\375\\005\\005\\372\\375\\000\\372\\377\\007\\374\\006\\002\\003\\005\\375\\375\\006\\000\\002\\004\\007\\005\\001\\007\\376\\005\\002\\376\\003\\375\\006\\377\\003\\374\\374\\001\\373\\377\\372\\374\\001\\374\\003\\007\\000\\372\\001\\005\\006\\006\\375\\004\\002\\003\\373\\000\\000\\007\\375\\376\\377\\001\\002\\005\\001\\000\\374\\002\\376\\374\\000\\375\\373\\371\\006\\372\\001\\377\\373\\002\\372\\003\\004\\004\\002\\003\\001\\003\\373\\374\\005\\374\\002\\004\\371\\000\\002\\003\\374\\377\\003\\001\\376\\377\\003\\374\\374\\373\\374\\373\\004\\006\\006\\004\\374\\374\\373\\377\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\375\\003\\371\\006\\005\\377\\000\\001\\001\\007\\375\\006\\000\\373\\374\\002\\003\\000\\007\\005\\007\\004\\371\\372\\374\\371\\374\\373\\377\\003\\376\\003\\376\\373\\006\\003\\006\\373\\001\\003\\005\\371\\372\\375\\003\\375\\376\\006\\375\\005\\002\\006\\006\\372\\372\\005\\002\\376\\373\\377\\374\\006\\372\\373\\001\\375\\377\\000\\377\\005\\001\\376\\371\\002\\003\\375\\000\\377\\376\\006\\004\\000\\001\\004\\374\\372\\375\\004\\006\\003\\374\\005\\005\\371\\005\\371\\374\\372\\007\\001\\004\\376\\006\\373\\007\\002\\004\\376\\003\\004\\002\\374\\375\\001\\372\\007\\373\\377\\000\\375\\376\\003\\376\\003\\001\\004\\001\\000\\373\\376\\372\\375\\377\\375\\377\\374\\006\\006\\371\\001\\371\\005\\002\\374\\375\\000\\006\\007\\000\\371\\373\\004\\377\\002\\001\\373\\007\\002\\006\\007\\373\\377\\376\\373\\372\\007\\374\\000\\005\\373\\006\\004\\006\\006\\377\\376\\004\\377\\377\\002\\003\\373\\377\\374\\376\\372\\004\\373\\001\\007\\376\\000\\377\\001\\372\\002\\004\\375\\003\\004\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\004\\376\\377\\004\\002\\007\\002\\376\\000\\006\\373\\001\\000\\372\\004\\002\\374\\007\\004\\372\\002\\007\\373\\001\\003\\001\\005\\007\\004\\007\\004\\374\\373\\003\\004\\004\\006\\372\\371\\374\\006\\006\\377\\371\\000\\005\\376\\372\\003\\377\\372\\003\\376\\376\\003\\376\\005\\374\\374\\001\\377\\372\\001\\375\\001\\005\\001\\371\\007\\375\\006\\374\\377\\001\\005\\000\\002\\001\\373\\001\\006\\003\\376\\376\\001\\000\\000\\004\\371\\372\\371\\371\\004\\374\\001\\003\\372\\375\\000\\004\\376\\371\\002\\000\\374\\374\\006\\374\\377\\374\\005\\373\\005\\375\\376\\001\\004\\375\\376\\006\\373\\005\\373\\002\\376\\371\\372\\001\\006\\000\\001\\004\\005\\006\\000\\000\\371\\001\\007\\377\\006\\372\\006\\374\\003\\372\\377\\001\\376\\372\\004\\001\\372\\004\\003\\376\\005\\000\\375\\372\\004\\376\\372\\375\\372\\000\\005\\375\\003\\372\\003\\372\\003\\373\\374\\003\\006\\005\\002\\006\\001\\001\\000\\004\\005\\374\\371\\374\\375\\007\\375\\003\\372\\006\\007\\000\\001\\000\\376\\001\\373\\007\\375\\001\\376\\005\\375\\005\\007\\372\\373\\371\\005\\005\\372\\002\\374\\001\\375\\002\\001\\005\\000\\375\\004\\373\\372\\377\\372\\376\\373\\003\\376\\005\\001\\374\\006\\007\\002\\372\\377\\000\\374\\001\\006\\003\\373\\002\\004\\373\\377\\372\\002\\375\\003\\002\\002\\002\\377\\377\\373\\004\\374\\375\\372\\005\\372\\001\\376\\002\\004\\375\\373\\007\\002\\004\\000\\004\\004\\376\\375\\006\\376\\001\\371\\004\\005\\375\\006\\371\\003\\372\\003\\373\\003\\001\\004\\003\\376\\373\\372\\377\\005\\001\\374\\374\\005\\377\\374\\000\\374\\374\\002\\375\\377\\004\\377\\377\\002\\004\\373\\000\\372\\001\\005\\373\\375\\371\\372\\001\\000\\007\\004\\002\\371\\001\\006\\006\\374\\001\\006\\000\\372\\376\\002\\373\\006\\374\\375\\373\\000\\004\\004\\000\\003\\376\\003\\003\\374\\007\\004\\371\\375\\002\\000\\006\\006\\376\\001\\374\\375\\373\\006\\000\\000\\002\\374\\373\\373\\001\\000\\375\\002\\005\\004\\373\\003\\373\\006\\376\\006\\374\\006\\373\\375\\000\\374\\375\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.0.0/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 1\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"onnx::Expand_89\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Squeeze_90\"\n", + " raw_data: \"\\002\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Squeeze_91\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_95\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_338\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_106\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_339\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\274\\312\\002=\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\373\\373\\377\\006\\371\\004\\003\\006\\372\\375\\375\\002\\373\\006\\002\\372\\377\\371\\374\\376\\006\\377\\005\\004\\002\\371\\000\\000\\376\\007\\002\\001\\006\\002\\004\\373\\002\\006\\375\\004\\002\\004\\374\\006\\000\\376\\374\\373\\002\\373\\377\\002\\004\\000\\372\\375\\375\\001\\006\\377\\002\\000\\372\\372\\007\\000\\007\\005\\003\\374\\001\\374\\004\\371\\373\\377\\005\\007\\000\\006\\001\\372\\372\\374\\375\\007\\006\\003\\000\\005\\000\\374\\374\\371\\375\\372\\374\\374\\371\\377\\375\\005\\376\\002\\005\\374\\001\\002\\004\\002\\373\\006\\001\\376\\373\\005\\005\\006\\374\\003\\372\\006\\004\\005\\005\\371\\004\\004\\006\\376\\372\\375\\001\\003\\004\\004\\373\\005\\377\\376\\003\\000\\005\\374\\005\\002\\371\\375\\374\\006\\006\\000\\000\\373\\002\\376\\002\\000\\374\\004\\003\\003\\376\\375\\003\\376\\005\\000\\002\\006\\000\\001\\375\\376\\372\\372\\377\\376\\376\\376\\002\\003\\005\\007\\372\\001\\371\\002\\377\\005\\005\\003\\372\\002\\373\\003\\005\\373\\003\\374\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\377\\375\\006\\001\\377\\377\\001\\005\\002\\003\\373\\004\\006\\377\\373\\377\\000\\007\\004\\005\\002\\371\\006\\001\\377\\375\\007\\376\\000\\376\\371\\001\\004\\006\\004\\372\\004\\006\\006\\003\\373\\006\\372\\375\\377\\001\\375\\377\\373\\001\\003\\000\\006\\003\\373\\003\\007\\003\\007\\373\\372\\371\\001\\003\\377\\371\\374\\002\\373\\377\\002\\004\\001\\371\\003\\006\\000\\372\\004\\004\\372\\002\\372\\001\\377\\005\\373\\000\\372\\373\\001\\003\\377\\373\\374\\006\\376\\005\\373\\376\\372\\005\\374\\373\\000\\000\\002\\000\\373\\376\\377\\375\\006\\372\\377\\373\\002\\376\\376\\376\\000\\371\\003\\371\\375\\003\\004\\002\\376\\373\\002\\004\\003\\005\\376\\001\\375\\005\\000\\377\\374\\375\\002\\001\\003\\000\\000\\003\\001\\377\\372\\374\\001\\001\\373\\000\\002\\377\\371\\376\\003\\002\\376\\002\\371\\375\\373\\001\\003\\000\\000\\373\\376\\001\\376\\376\\374\\377\\006\\003\\002\\377\\372\\376\\374\\375\\001\\006\\001\\372\\376\\376\\007\\005\\006\\376\\003\\373\\007\\371\\006\\374\\006\\372\\002\\006\\003\\001\\371\\376\\375\\000\\371\\006\\375\\000\\005\\375\\375\\002\\373\\001\\376\\373\\003\\006\\004\\006\\375\\371\\000\\003\\372\\375\\372\\006\\374\\005\\375\\375\\004\\005\\007\\375\\006\\002\\006\\003\\000\\003\\372\\374\\006\\374\\007\\374\\004\\375\\003\\001\\373\\372\\005\\002\\372\\001\\371\\376\\000\\004\\375\\002\\002\\372\\002\\002\\377\\375\\001\\373\\377\\376\\376\\004\\375\\003\\372\\000\\377\\002\\003\\372\\003\\001\\372\\000\\004\\371\\002\\002\\376\\376\\002\\375\\000\\001\\001\\005\\007\\376\\000\\001\\375\\003\\001\\377\\000\\001\\373\\376\\003\\006\\377\\373\\005\\375\\007\\004\\375\\377\\001\\372\\372\\375\\372\\002\\002\\004\\007\\002\\003\\003\\005\\372\\001\\377\\374\\000\\371\\000\\002\\371\\372\\377\\372\\004\\000\\371\\372\\377\\006\\373\\373\\004\\376\\007\\374\\377\\372\\001\\005\\005\\372\\377\\000\\374\\006\\375\\005\\002\\375\\003\\000\\004\\003\\375\\377\\374\\372\\003\\003\\372\\373\\000\\005\\003\\001\\000\\375\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\001\\376\\371\\002\\004\\003\\006\\001\\377\\001\\007\\004\\375\\002\\006\\377\\003\\002\\373\\002\\002\\001\\373\\004\\373\\375\\006\\001\\004\\374\\002\\373\\006\\006\\007\\006\\002\\005\\377\\001\\002\\000\\000\\374\\371\\376\\376\\003\\376\\373\\372\\001\\375\\001\\006\\373\\377\\377\\375\\377\\003\\002\\004\\000\\374\\006\\005\\374\\375\\007\\004\\000\\004\\002\\005\\373\\377\\005\\001\\007\\371\\004\\000\\375\\373\\006\\001\\375\\374\\377\\375\\002\\374\\375\\002\\002\\376\\000\\006\\373\\371\\371\\001\\373\\005\\005\\372\\377\\371\\374\\376\\001\\374\\006\\373\\007\\375\\006\\372\\000\\006\\372\\001\\375\\004\\374\\377\\007\\374\\377\\006\\007\\371\\001\\371\\001\\001\\001\\003\\374\\006\\372\\000\\376\\001\\372\\372\\000\\003\\373\\373\\375\\000\\001\\002\\001\\006\\002\\371\\001\\004\\003\\002\\007\\376\\374\\375\\372\\004\\004\\371\\371\\372\\372\\374\\371\\373\\376\\003\\006\\371\\005\\004\\377\\374\\376\\002\\372\\371\\372\\005\\007\\006\\376\\002\\003\\375\\377\\002\\004\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\376\\000\\006\\001\\000\\376\\004\\373\\002\\002\\000\\005\\374\\003\\001\\373\\004\\372\\001\\003\\005\\003\\002\\001\\374\\002\\007\\377\\000\\002\\001\\000\\377\\005\\003\\001\\002\\376\\004\\002\\374\\005\\002\\005\\377\\007\\007\\373\\007\\373\\373\\005\\005\\005\\003\\373\\377\\373\\006\\005\\377\\005\\002\\000\\375\\375\\375\\001\\375\\372\\002\\372\\006\\374\\375\\006\\376\\000\\001\\377\\006\\375\\004\\005\\002\\003\\006\\000\\007\\005\\002\\376\\003\\003\\372\\375\\005\\372\\004\\374\\376\\375\\003\\377\\372\\372\\003\\375\\371\\376\\004\\376\\375\\374\\372\\003\\000\\005\\371\\372\\374\\376\\002\\375\\005\\005\\007\\002\\001\\007\\001\\374\\003\\005\\372\\001\\377\\003\\004\\374\\006\\003\\006\\372\\373\\372\\002\\375\\374\\377\\003\\006\\375\\373\\374\\004\\373\\372\\003\\005\\376\\375\\002\\375\\371\\375\\003\\006\\377\\006\\374\\374\\374\\377\\002\\004\\005\\376\\377\\005\\377\\000\\000\\375\\003\\377\\005\\377\\005\\003\\003\\003\\372\\373\\001\\006\\002\\003\\001\\371\\371\\375\\005\\001\\006\\372\\000\\007\\376\\004\\007\\006\\374\\371\\372\\000\\001\\004\\377\\004\\374\\377\\005\\376\\376\\375\\006\\000\\377\\377\\372\\376\\007\\001\\377\\000\\000\\375\\002\\374\\002\\375\\006\\007\\373\\000\\375\\004\\000\\002\\006\\006\\006\\001\\004\\005\\374\\374\\376\\005\\000\\373\\000\\372\\006\\375\\004\\004\\006\\003\\004\\006\\376\\377\\004\\375\\373\\003\\373\\375\\376\\003\\373\\000\\006\\005\\001\\375\\004\\000\\002\\001\\001\\377\\005\\000\\376\\005\\005\\004\\006\\000\\005\\007\\005\\371\\375\\371\\001\\372\\005\\375\\000\\003\\376\\372\\377\\004\\005\\372\\371\\372\\001\\004\\376\\374\\004\\373\\004\\377\\372\\000\\002\\375\\002\\003\\372\\003\\006\\006\\375\\004\\375\\000\\006\\375\\004\\005\\374\\006\\007\\375\\005\\377\\376\\006\\000\\004\\375\\006\\000\\375\\373\\001\\376\\000\\373\\000\\005\\001\\375\\006\\376\\004\\005\\003\\001\\373\\000\\006\\001\\003\\004\\375\\374\\375\\371\\005\\000\\003\\006\\371\\375\\007\\003\\000\\001\\373\\373\\004\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\372\\371\\376\\001\\007\\005\\001\\372\\000\\375\\003\\001\\373\\000\\007\\377\\003\\374\\003\\000\\001\\002\\002\\005\\372\\374\\006\\002\\006\\005\\004\\001\\375\\006\\001\\373\\374\\371\\004\\377\\372\\001\\006\\377\\002\\002\\372\\371\\007\\003\\376\\002\\377\\373\\000\\003\\001\\377\\006\\377\\373\\002\\372\\371\\003\\376\\002\\377\\006\\372\\377\\005\\373\\005\\004\\000\\002\\000\\000\\003\\376\\373\\001\\006\\002\\003\\374\\003\\377\\376\\377\\003\\375\\377\\373\\000\\374\\371\\000\\004\\377\\377\\374\\001\\373\\004\\376\\374\\005\\372\\004\\374\\006\\007\\005\\372\\376\\377\\372\\003\\373\\006\\002\\004\\007\\376\\375\\004\\375\\004\\374\\002\\375\\005\\377\\007\\374\\376\\376\\006\\004\\002\\006\\002\\004\\376\\374\\006\\006\\375\\376\\371\\005\\377\\003\\006\\371\\007\\377\\003\\374\\002\\000\\372\\373\\003\\004\\003\\001\\002\\002\\000\\004\\003\\376\\006\\002\\006\\006\\001\\005\\374\\374\\377\\000\\002\\005\\006\\375\\372\\376\\002\\373\\375\\000\\377\\376\\372\\005\\375\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\005\\372\\002\\004\\002\\005\\003\\000\\001\\374\\000\\004\\001\\005\\007\\002\\376\\375\\377\\373\\376\\005\\377\\001\\003\\006\\372\\007\\377\\377\\377\\373\\007\\374\\372\\377\\006\\376\\001\\005\\000\\373\\005\\375\\000\\004\\372\\375\\372\\001\\377\\002\\374\\375\\372\\376\\004\\003\\376\\006\\372\\001\\001\\374\\005\\003\\000\\000\\006\\001\\375\\006\\006\\377\\376\\006\\004\\002\\374\\373\\371\\007\\002\\374\\000\\006\\004\\003\\375\\371\\374\\373\\007\\372\\377\\374\\376\\375\\002\\002\\000\\377\\373\\375\\006\\376\\004\\374\\377\\006\\004\\005\\376\\372\\374\\006\\002\\003\\002\\007\\373\\004\\002\\003\\371\\375\\375\\377\\006\\376\\007\\375\\377\\001\\002\\001\\371\\377\\372\\374\\373\\005\\004\\375\\002\\374\\001\\001\\000\\004\\003\\001\\001\\374\\375\\001\\001\\376\\000\\374\\006\\001\\006\\374\\006\\371\\001\\375\\000\\375\\371\\002\\000\\376\\376\\006\\004\\005\\377\\375\\376\\002\\371\\374\\373\\374\\376\\003\\005\\006\\005\\002\\003\\377\\001\\004\\003\\373\\371\\002\\374\\004\\006\\375\\377\\002\\374\\002\\371\\377\\002\\375\\000\\005\\374\\004\\377\\372\\006\\006\\372\\005\\004\\375\\002\\376\\003\\002\\377\\374\\001\\004\\377\\374\\003\\005\\372\\000\\372\\005\\375\\006\\373\\006\\005\\005\\375\\006\\001\\001\\002\\377\\000\\004\\000\\005\\375\\371\\372\\376\\004\\375\\003\\002\\376\\002\\002\\002\\004\\375\\005\\003\\377\\003\\007\\373\\000\\001\\376\\373\\371\\003\\372\\376\\376\\002\\376\\373\\002\\371\\371\\005\\376\\373\\002\\003\\007\\007\\006\\374\\004\\003\\004\\001\\001\\002\\002\\004\\375\\000\\374\\373\\373\\007\\005\\375\\004\\372\\003\\003\\372\\005\\372\\004\\371\\375\\374\\003\\005\\373\\005\\377\\376\\007\\007\\007\\001\\006\\001\\002\\000\\007\\377\\373\\004\\000\\373\\372\\001\\376\\005\\002\\372\\374\\372\\006\\371\\001\\001\\375\\003\\377\\001\\003\\005\\377\\003\\371\\002\\005\\373\\374\\005\\372\\377\\000\\376\\375\\372\\371\\001\\006\\374\\000\\373\\005\\376\\377\\004\\000\\376\\374\\371\\002\\376\\001\\373\\373\\375\\375\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\002\\377\\371\\371\\006\\006\\377\\373\\373\\006\\000\\004\\372\\002\\007\\000\\003\\006\\004\\375\\374\\000\\007\\003\\002\\006\\373\\375\\006\\006\\001\\007\\373\\377\\007\\004\\377\\372\\004\\376\\005\\002\\005\\004\\000\\372\\372\\373\\372\\377\\003\\374\\373\\005\\371\\001\\373\\377\\007\\371\\000\\003\\007\\374\\375\\376\\375\\373\\373\\001\\377\\007\\001\\374\\373\\000\\004\\377\\006\\003\\375\\000\\374\\374\\375\\007\\373\\005\\001\\000\\376\\375\\376\\006\\373\\375\\003\\007\\377\\001\\001\\004\\006\\005\\000\\001\\005\\376\\371\\001\\373\\377\\005\\006\\004\\375\\371\\373\\376\\373\\375\\000\\373\\374\\377\\372\\373\\374\\372\\375\\006\\374\\374\\374\\000\\375\\377\\006\\005\\006\\373\\000\\004\\005\\376\\000\\004\\377\\373\\000\\376\\000\\004\\000\\371\\373\\006\\006\\006\\377\\377\\006\\372\\001\\004\\005\\373\\002\\377\\373\\003\\374\\376\\004\\004\\000\\376\\005\\002\\006\\006\\377\\372\\373\\375\\372\\373\\375\\003\\374\\003\\373\\376\\003\\000\\005\\372\\005\\371\\374\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\374\\004\\006\\377\\006\\005\\004\\373\\001\\005\\005\\377\\376\\373\\005\\374\\006\\001\\001\\371\\002\\000\\373\\371\\375\\374\\007\\373\\372\\372\\003\\375\\006\\006\\374\\000\\376\\374\\375\\375\\002\\372\\373\\377\\372\\377\\005\\375\\006\\377\\001\\001\\002\\006\\005\\373\\373\\001\\004\\001\\005\\006\\003\\006\\374\\377\\373\\005\\374\\001\\004\\005\\003\\376\\004\\000\\002\\000\\377\\375\\007\\373\\372\\002\\006\\371\\376\\000\\006\\002\\001\\003\\005\\006\\374\\005\\374\\377\\004\\002\\374\\376\\003\\375\\373\\006\\000\\006\\006\\373\\003\\003\\000\\005\\375\\005\\000\\372\\373\\371\\004\\003\\007\\375\\006\\374\\374\\002\\372\\376\\374\\000\\376\\377\\373\\373\\000\\001\\372\\003\\002\\006\\004\\374\\005\\007\\002\\002\\007\\377\\374\\000\\373\\372\\004\\002\\372\\006\\006\\001\\004\\003\\005\\007\\000\\002\\375\\005\\377\\005\\371\\000\\003\\374\\003\\004\\377\\003\\001\\375\\002\\002\\007\\007\\003\\002\\003\\000\\007\\372\\002\\002\\377\\375\\377\\377\\005\\374\\376\\000\\006\\375\\003\\007\\374\\001\\005\\005\\374\\372\\005\\004\\007\\007\\004\\006\\006\\376\\004\\000\\377\\374\\377\\002\\005\\000\\374\\000\\005\\374\\005\\373\\373\\375\\376\\373\\001\\377\\003\\005\\374\\002\\001\\376\\373\\372\\006\\003\\373\\000\\001\\004\\372\\004\\004\\003\\372\\005\\003\\373\\374\\006\\003\\376\\372\\375\\374\\371\\006\\000\\000\\373\\003\\000\\375\\377\\002\\002\\002\\374\\377\\006\\000\\376\\371\\376\\002\\376\\006\\371\\000\\373\\371\\377\\000\\006\\000\\000\\000\\006\\375\\006\\003\\001\\004\\007\\002\\007\\372\\006\\372\\006\\006\\002\\001\\006\\003\\005\\005\\003\\376\\377\\000\\374\\006\\000\\004\\006\\000\\377\\375\\003\\002\\005\\005\\000\\377\\003\\003\\006\\002\\007\\377\\000\\000\\372\\003\\002\\005\\373\\376\\004\\005\\003\\375\\007\\005\\373\\377\\374\\002\\001\\001\\373\\005\\374\\375\\376\\373\\007\\006\\375\\003\\002\\374\\006\\377\\001\\000\\377\\375\\002\\371\\001\\377\\001\\374\\376\\002\\005\\372\\002\\374\\371\\374\\000\\374\\375\\376\\003\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.0.1/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_164\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_343\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_175\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_344\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"[\\321\\002=\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\006\\004\\375\\377\\372\\375\\374\\374\\001\\375\\374\\005\\006\\003\\006\\377\\376\\004\\002\\371\\375\\000\\376\\373\\003\\372\\007\\001\\375\\372\\005\\005\\004\\004\\374\\006\\001\\373\\375\\374\\376\\376\\372\\001\\376\\373\\376\\371\\001\\375\\001\\006\\003\\001\\375\\374\\374\\003\\001\\000\\371\\004\\003\\005\\003\\373\\004\\005\\377\\006\\001\\004\\005\\372\\373\\005\\003\\002\\004\\375\\374\\007\\001\\003\\001\\375\\375\\372\\373\\003\\372\\373\\003\\000\\005\\002\\002\\374\\006\\374\\000\\001\\375\\001\\375\\375\\004\\373\\371\\002\\000\\004\\376\\000\\000\\375\\374\\005\\002\\377\\373\\371\\376\\375\\005\\373\\000\\371\\002\\375\\003\\374\\000\\373\\377\\001\\003\\376\\000\\005\\373\\002\\004\\373\\006\\001\\007\\376\\375\\374\\000\\002\\372\\374\\377\\003\\372\\006\\374\\371\\372\\372\\005\\000\\376\\004\\003\\003\\005\\376\\371\\004\\374\\374\\374\\374\\002\\000\\372\\374\\376\\377\\000\\002\\375\\372\\376\\007\\000\\373\\006\\005\\376\\006\\375\\372\\003\\004\\375\\007\\376\\376\\377\\002\\000\\372\\004\\372\\000\\374\\000\\000\\004\\372\\000\\373\\003\\373\\001\\005\\373\\375\\002\\001\\375\\003\\005\\375\\372\\374\\003\\001\\376\\373\\003\\003\\001\\005\\374\\377\\007\\376\\375\\371\\372\\375\\375\\377\\002\\000\\005\\374\\376\\376\\001\\007\\376\\372\\377\\006\\374\\004\\374\\003\\004\\004\\005\\376\\001\\372\\000\\006\\376\\006\\000\\007\\004\\006\\000\\005\\374\\376\\004\\376\\372\\376\\374\\001\\004\\002\\375\\001\\003\\373\\377\\007\\003\\007\\007\\000\\000\\374\\006\\376\\000\\372\\000\\002\\001\\372\\006\\373\\002\\373\\375\\000\\376\\003\\002\\000\\371\\004\\373\\377\\373\\371\\005\\374\\372\\374\\371\\372\\000\\377\\371\\376\\001\\003\\374\\377\\000\\003\\001\\377\\375\\001\\374\\000\\375\\373\\371\\001\\004\\005\\374\\005\\001\\374\\005\\374\\003\\374\\002\\004\\005\\376\\004\\003\\377\\006\\003\\372\\371\\001\\006\\000\\005\\002\\000\\373\\377\\001\\372\\375\\006\\000\\375\\000\\000\\374\\374\\376\\372\\001\\002\\375\\005\\375\\377\\371\\373\\377\\000\\372\\372\\000\\374\\002\\374\\005\\373\\372\\375\\005\\376\\372\\003\\000\\000\\006\\004\\007\\374\\375\\003\\377\\004\\376\\005\\376\\000\\004\\375\\375\\002\\373\\377\\377\\372\\373\\372\\373\\376\\002\\372\\372\\006\\002\\004\\376\\003\\372\\376\\002\\374\\003\\376\\372\\375\\005\\004\\373\\377\\375\\371\\375\\002\\375\\000\\376\\002\\003\\003\\375\\371\\006\\373\\006\\002\\002\\001\\000\\002\\372\\004\\003\\373\\375\\376\\000\\374\\376\\000\\372\\001\\005\\005\\005\\372\\006\\001\\374\\000\\371\\000\\377\\006\\003\\006\\375\\001\\001\\372\\003\\376\\003\\372\\377\\002\\004\\000\\377\\375\\005\\373\\000\\376\\002\\005\\373\\377\\000\\000\\377\\002\\001\\002\\376\\001\\001\\003\\373\\375\\374\\376\\004\\007\\374\\002\\373\\377\\006\\003\\003\\006\\376\\376\\372\\372\\376\\372\\375\\007\\007\\000\\000\\005\\375\\375\\375\\372\\003\\005\\372\\000\\003\\376\\374\\375\\006\\001\\005\\004\\002\\006\\377\\004\\000\\001\\006\\002\\375\\004\\376\\000\\376\\006\\006\\376\\373\\375\\372\\006\\002\\376\\004\\373\\376\\002\\006\\006\\001\\375\\373\\003\\374\\005\\001\\000\\002\\007\\374\\006\\002\\377\\377\\374\\376\\375\\002\\376\\002\\373\\375\\371\\375\\373\\001\\006\\000\\001\\376\\006\\002\\372\\376\\373\\375\\003\\006\\372\\374\\377\\376\\373\\373\\005\\374\\373\\377\\000\\007\\000\\005\\005\\376\\002\\372\\373\\006\\375\\007\\373\\374\\004\\002\\376\\372\\373\\000\\003\\372\\006\\000\\003\\374\\000\\000\\001\\377\\001\\374\\376\\000\\005\\006\\377\\376\\003\\002\\373\\375\\372\\374\\377\\003\\374\\372\\371\\003\\373\\002\\004\\372\\001\\000\\004\\002\\001\\372\\374\\377\\002\\004\\005\\372\\001\\375\\000\\006\\000\\002\\373\\371\\377\\376\\374\\002\\004\\003\\376\\006\\375\\376\\006\\006\\375\\376\\372\\006\\007\\000\\000\\375\\376\\001\\002\\003\\374\\372\\005\\377\\006\\373\\001\\376\\374\\377\\376\\371\\375\\004\\007\\005\\371\\000\\007\\002\\373\\377\\000\\000\\006\\372\\006\\000\\375\\001\\003\\001\\003\\372\\003\\003\\003\\375\\006\\371\\002\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\377\\373\\377\\377\\003\\375\\374\\006\\002\\000\\000\\007\\377\\377\\371\\374\\000\\374\\003\\003\\001\\374\\004\\005\\001\\003\\375\\005\\003\\003\\375\\376\\376\\373\\375\\003\\375\\006\\376\\372\\374\\375\\373\\007\\377\\004\\001\\000\\001\\002\\001\\377\\006\\376\\005\\371\\373\\377\\003\\371\\006\\002\\374\\001\\373\\375\\375\\372\\003\\003\\005\\373\\006\\376\\004\\004\\006\\007\\004\\007\\375\\373\\004\\377\\000\\001\\006\\376\\002\\007\\006\\372\\373\\375\\001\\007\\371\\007\\371\\003\\374\\374\\372\\000\\376\\007\\001\\002\\001\\000\\372\\001\\371\\372\\375\\002\\006\\001\\377\\000\\376\\374\\001\\004\\003\\007\\000\\006\\005\\006\\371\\007\\000\\371\\004\\372\\003\\006\\371\\372\\377\\377\\376\\377\\373\\374\\004\\377\\003\\375\\004\\377\\005\\373\\373\\373\\004\\372\\002\\004\\003\\373\\003\\006\\002\\377\\376\\372\\001\\375\\003\\005\\003\\001\\372\\374\\375\\377\\372\\006\\005\\371\\373\\006\\377\\373\\372\\005\\377\\376\\376\\374\\001\\005\\006\\005\\375\\376\\377\\000\\007\\006\\000\\372\\373\\377\\004\\377\\375\\375\\000\\006\\004\\006\\006\\376\\005\\375\\003\\001\\006\\371\\373\\377\\373\\376\\006\\002\\373\\375\\000\\377\\373\\375\\377\\003\\004\\001\\004\\374\\374\\000\\377\\374\\373\\006\\377\\005\\004\\373\\377\\372\\000\\375\\375\\005\\375\\001\\007\\002\\004\\374\\006\\002\\003\\376\\004\\372\\000\\002\\004\\000\\374\\004\\002\\372\\371\\373\\374\\377\\375\\003\\002\\376\\371\\006\\373\\007\\004\\003\\006\\003\\004\\375\\005\\002\\377\\373\\377\\377\\372\\002\\376\\005\\374\\371\\001\\005\\002\\003\\007\\003\\372\\373\\375\\003\\371\\374\\000\\377\\001\\375\\004\\372\\000\\005\\372\\375\\003\\005\\003\\375\\000\\000\\375\\371\\000\\006\\371\\004\\000\\005\\374\\375\\004\\000\\377\\375\\006\\001\\002\\003\\375\\004\\002\\376\\373\\003\\002\\374\\373\\000\\003\\373\\372\\002\\374\\372\\374\\003\\003\\375\\002\\372\\000\\003\\002\\000\\375\\376\\003\\000\\371\\372\\005\\000\\374\\000\\005\\374\\000\\004\\005\\007\\371\\376\\003\\374\\376\\377\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\376\\375\\004\\374\\374\\004\\002\\005\\374\\000\\372\\006\\000\\003\\374\\005\\006\\373\\004\\372\\007\\374\\006\\373\\004\\000\\375\\377\\377\\374\\005\\003\\375\\002\\376\\374\\002\\002\\003\\000\\005\\006\\006\\005\\005\\000\\372\\001\\001\\004\\377\\005\\001\\004\\003\\003\\375\\006\\375\\005\\375\\001\\371\\007\\371\\005\\372\\005\\004\\007\\000\\375\\001\\005\\377\\006\\372\\003\\003\\001\\005\\376\\007\\373\\376\\002\\377\\373\\376\\005\\377\\377\\374\\004\\376\\004\\007\\007\\006\\003\\371\\007\\005\\005\\001\\375\\377\\004\\373\\003\\004\\007\\376\\375\\004\\007\\373\\372\\006\\000\\000\\377\\375\\375\\377\\000\\373\\007\\376\\376\\006\\375\\000\\372\\000\\377\\004\\375\\000\\003\\007\\001\\004\\005\\003\\376\\002\\005\\373\\377\\374\\374\\001\\375\\377\\376\\004\\372\\005\\002\\004\\006\\377\\373\\375\\376\\000\\373\\000\\372\\005\\377\\005\\003\\374\\003\\004\\005\\005\\375\\377\\003\\375\\001\\006\\373\\371\\006\\377\\002\\376\\001\\003\\000\\006\\374\\371\\376\\375\\000\\002\\373\\373\\000\\004\\377\\373\\373\\007\\374\\000\\374\\373\\003\\004\\001\\373\\007\\003\\001\\001\\374\\371\\377\\376\\377\\372\\375\\000\\004\\005\\002\\371\\375\\371\\002\\007\\006\\001\\004\\377\\371\\006\\372\\003\\374\\004\\000\\371\\000\\006\\006\\374\\001\\006\\373\\372\\004\\000\\372\\005\\372\\005\\375\\006\\005\\375\\004\\007\\002\\006\\005\\000\\000\\375\\372\\007\\376\\377\\006\\373\\002\\000\\375\\002\\005\\006\\375\\003\\003\\372\\004\\372\\002\\001\\373\\002\\004\\006\\005\\003\\001\\005\\373\\000\\001\\007\\375\\003\\003\\374\\005\\003\\004\\004\\000\\006\\375\\001\\001\\003\\005\\371\\003\\001\\001\\376\\004\\003\\001\\373\\006\\003\\375\\377\\372\\000\\004\\372\\374\\003\\377\\374\\376\\374\\000\\374\\377\\375\\375\\002\\373\\371\\004\\003\\004\\375\\374\\002\\005\\376\\003\\372\\001\\005\\002\\376\\004\\007\\373\\006\\377\\004\\373\\375\\007\\373\\377\\373\\371\\375\\005\\000\\372\\374\\374\\007\\006\\373\\373\\006\\377\\377\\007\\377\\003\\000\\375\\003\\372\\003\\006\\000\\004\\376\\000\\372\\001\\373\\006\\373\\000\\372\\004\\005\\005\\000\\000\\373\\002\\005\\004\\003\\006\\000\\003\\373\\007\\377\\376\\003\\375\\006\\372\\002\\002\\002\\001\\377\\004\\003\\374\\003\\002\\006\\376\\372\\007\\001\\004\\371\\377\\373\\002\\005\\002\\376\\002\\376\\006\\004\\003\\007\\374\\007\\373\\002\\373\\375\\000\\374\\373\\006\\376\\374\\000\\005\\376\\006\\375\\002\\375\\007\\372\\006\\372\\372\\000\\002\\376\\000\\006\\377\\004\\006\\371\\371\\377\\007\\373\\372\\007\\376\\371\\005\\371\\000\\376\\375\\373\\001\\377\\006\\377\\001\\377\\006\\371\\006\\375\\376\\002\\003\\003\\371\\001\\007\\374\\002\\004\\002\\374\\001\\375\\372\\005\\007\\004\\006\\374\\377\\000\\373\\374\\371\\376\\005\\373\\002\\001\\377\\001\\004\\373\\377\\001\\003\\376\\374\\003\\372\\373\\375\\002\\375\\005\\372\\377\\003\\373\\377\\375\\374\\376\\001\\001\\374\\373\\001\\001\\374\\001\\006\\373\\005\\374\\007\\003\\374\\002\\375\\006\\377\\000\\372\\006\\374\\000\\005\\000\\377\\377\\003\\004\\003\\002\\004\\373\\007\\006\\006\\376\\375\\004\\376\\007\\007\\371\\375\\375\\005\\377\\006\\377\\007\\006\\006\\005\\373\\001\\007\\000\\375\\005\\005\\006\\000\\005\\004\\003\\001\\000\\003\\002\\000\\375\\372\\002\\375\\001\\006\\375\\004\\373\\372\\005\\003\\003\\377\\004\\002\\375\\372\\377\\000\\374\\007\\002\\377\\376\\003\\372\\001\\005\\376\\000\\372\\002\\006\\000\\376\\372\\377\\006\\371\\001\\004\\377\\375\\375\\006\\001\\007\\004\\376\\006\\371\\373\\373\\000\\006\\375\\004\\377\\377\\374\\003\\374\\007\\376\\006\\004\\373\\000\\003\\376\\006\\002\\002\\371\\005\\372\\001\\000\\000\\004\\003\\006\\001\\003\\377\\005\\377\\374\\372\\376\\004\\375\\005\\001\\376\\372\\002\\006\\006\\371\\002\\372\\375\\007\\377\\002\\002\\002\\000\\006\\005\\377\\004\\000\\005\\371\\003\\373\\004\\003\\002\\006\\371\\004\\375\\374\\006\\376\\375\\002\\001\\373\\375\\373\\005\\004\\003\\002\\000\\004\\371\\003\\376\\004\\003\\001\\004\\372\\006\\377\\003\\372\\000\\001\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\005\\004\\376\\377\\006\\003\\376\\003\\374\\001\\001\\005\\002\\376\\000\\001\\002\\006\\375\\004\\376\\002\\005\\375\\000\\000\\376\\000\\002\\003\\005\\004\\005\\006\\377\\004\\375\\371\\374\\001\\001\\373\\001\\377\\374\\000\\376\\002\\000\\373\\000\\002\\006\\373\\373\\374\\004\\000\\001\\007\\374\\001\\372\\002\\376\\372\\001\\006\\372\\002\\006\\374\\377\\377\\005\\007\\374\\006\\375\\371\\006\\377\\006\\375\\377\\005\\007\\004\\006\\372\\372\\000\\000\\001\\371\\007\\001\\001\\376\\002\\006\\002\\004\\371\\372\\004\\373\\377\\005\\007\\001\\000\\372\\374\\377\\372\\374\\375\\376\\376\\376\\001\\005\\373\\003\\371\\007\\374\\006\\001\\005\\374\\373\\005\\372\\000\\374\\372\\000\\375\\007\\377\\374\\377\\375\\373\\006\\001\\374\\003\\374\\376\\375\\375\\376\\372\\374\\000\\376\\373\\373\\001\\376\\371\\001\\375\\372\\377\\006\\372\\005\\005\\375\\002\\002\\373\\006\\006\\373\\376\\371\\005\\000\\004\\372\\376\\001\\372\\006\\002\\371\\371\\007\\000\\376\\376\\000\\371\\375\\002\\377\\377\\373\\003\\376\\375\\005\\375\\003\\000\\376\\377\\372\\000\\373\\007\\003\\007\\377\\373\\002\\000\\003\\007\\004\\006\\003\\006\\001\\376\\373\\371\\375\\374\\006\\005\\372\\002\\372\\374\\002\\373\\001\\377\\004\\371\\005\\376\\374\\372\\002\\005\\004\\375\\001\\005\\373\\004\\372\\374\\002\\000\\003\\375\\377\\375\\002\\005\\005\\000\\374\\376\\374\\002\\376\\006\\002\\374\\375\\377\\003\\003\\007\\374\\004\\372\\372\\000\\005\\372\\003\\002\\375\\005\\372\\002\\377\\002\\004\\002\\005\\000\\372\\001\\375\\375\\376\\375\\003\\006\\004\\002\\000\\375\\374\\376\\374\\005\\376\\372\\001\\374\\372\\005\\003\\002\\002\\372\\001\\371\\376\\372\\377\\372\\371\\005\\001\\004\\377\\374\\374\\003\\006\\372\\376\\374\\377\\003\\377\\006\\002\\372\\003\\006\\007\\371\\374\\377\\374\\000\\377\\005\\376\\002\\001\\002\\373\\372\\002\\377\\376\\375\\001\\003\\005\\005\\000\\376\\006\\005\\000\\003\\372\\372\\373\\377\\377\\373\\375\\005\\372\\004\\373\\000\\004\\375\\377\\004\\375\\372\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\001\\372\\003\\377\\374\\372\\006\\377\\376\\371\\376\\002\\374\\377\\376\\004\\375\\002\\374\\007\\371\\007\\001\\006\\002\\006\\002\\377\\373\\005\\001\\006\\002\\001\\373\\003\\000\\001\\376\\373\\001\\001\\377\\377\\007\\375\\003\\001\\006\\001\\374\\004\\375\\004\\005\\006\\377\\001\\005\\001\\002\\002\\377\\003\\003\\006\\377\\004\\005\\003\\372\\377\\377\\374\\376\\001\\006\\373\\376\\372\\005\\001\\000\\371\\375\\001\\002\\005\\375\\373\\373\\377\\007\\003\\372\\373\\001\\375\\372\\372\\003\\007\\005\\002\\002\\001\\004\\375\\377\\006\\376\\374\\000\\375\\377\\376\\376\\006\\002\\377\\001\\006\\376\\377\\000\\373\\005\\374\\004\\372\\375\\004\\002\\001\\006\\377\\000\\005\\375\\002\\374\\006\\377\\373\\004\\003\\007\\004\\372\\001\\002\\375\\374\\007\\374\\000\\000\\375\\376\\000\\374\\372\\001\\373\\003\\001\\377\\002\\376\\375\\371\\374\\372\\374\\005\\000\\000\\376\\003\\376\\376\\000\\372\\372\\004\\373\\006\\375\\374\\372\\377\\006\\001\\004\\007\\372\\004\\001\\005\\377\\376\\007\\372\\006\\003\\002\\376\\001\\000\\002\\377\\376\\002\\005\\000\\003\\004\\004\\375\\375\\007\\375\\004\\005\\001\\007\\002\\003\\006\\001\\377\\004\\006\\000\\006\\001\\006\\373\\375\\003\\374\\376\\373\\373\\374\\003\\002\\005\\006\\007\\001\\374\\001\\371\\001\\375\\004\\003\\373\\002\\001\\000\\374\\371\\000\\001\\006\\372\\376\\375\\005\\006\\002\\377\\004\\377\\376\\003\\006\\376\\377\\376\\001\\002\\371\\374\\000\\006\\373\\000\\003\\000\\375\\372\\375\\372\\377\\371\\372\\005\\376\\373\\000\\007\\375\\000\\376\\002\\007\\373\\372\\377\\001\\006\\374\\003\\374\\004\\000\\372\\007\\373\\374\\377\\001\\003\\003\\005\\001\\372\\003\\375\\372\\374\\007\\006\\002\\001\\371\\377\\005\\003\\375\\373\\375\\002\\375\\005\\372\\005\\372\\371\\372\\001\\006\\003\\002\\006\\373\\374\\376\\006\\371\\000\\376\\373\\007\\376\\377\\377\\377\\374\\000\\001\\001\\377\\374\\374\\005\\374\\006\\373\\004\\375\\376\\001\\000\\373\\006\\001\\000\\372\\377\\374\\002\\004\\377\\374\\002\\376\\377\\375\\004\\007\\005\\374\\377\\007\\001\\374\\004\\376\\007\\000\\000\\376\\000\\372\\000\\372\\003\\371\\005\\371\\002\\001\\372\\005\\377\\003\\371\\376\\005\\007\\372\\002\\377\\007\\374\\002\\377\\000\\001\\371\\373\\377\\376\\376\\000\\372\\373\\005\\376\\005\\005\\375\\000\\006\\371\\373\\373\\004\\375\\374\\005\\377\\003\\000\\001\\006\\002\\002\\376\\007\\001\\375\\374\\373\\374\\002\\005\\374\\000\\002\\007\\000\\001\\376\\007\\005\\003\\005\\005\\005\\372\\006\\003\\000\\001\\376\\377\\004\\374\\006\\002\\007\\001\\005\\374\\005\\373\\002\\374\\003\\004\\374\\007\\002\\002\\004\\376\\004\\376\\002\\377\\001\\375\\007\\006\\003\\373\\373\\003\\004\\005\\006\\372\\376\\003\\376\\371\\003\\372\\376\\006\\374\\377\\372\\007\\001\\002\\001\\373\\002\\374\\371\\376\\000\\371\\374\\003\\372\\004\\006\\375\\373\\002\\003\\373\\002\\000\\000\\375\\003\\003\\004\\371\\372\\005\\375\\376\\003\\374\\375\\002\\377\\372\\000\\373\\000\\374\\375\\372\\006\\006\\005\\006\\001\\006\\003\\000\\005\\003\\002\\004\\006\\374\\375\\002\\007\\002\\372\\000\\006\\006\\373\\006\\371\\373\\005\\006\\005\\002\\000\\375\\001\\003\\371\\374\\376\\374\\376\\373\\373\\004\\002\\006\\006\\372\\373\\002\\005\\371\\373\\005\\004\\001\\004\\377\\003\\001\\374\\375\\003\\005\\005\\376\\000\\001\\002\\005\\375\\002\\373\\000\\372\\001\\000\\372\\374\\371\\373\\375\\375\\374\\002\\376\\006\\375\\007\\002\\376\\001\\007\\001\\002\\006\\000\\004\\374\\004\\003\\000\\006\\376\\377\\373\\371\\374\\377\\006\\375\\373\\376\\374\\007\\005\\006\\376\\003\\004\\004\\373\\371\\002\\371\\376\\006\\376\\002\\004\\376\\007\\006\\373\\373\\001\\006\\373\\377\\377\\006\\003\\375\\372\\375\\372\\002\\374\\006\\006\\005\\006\\000\\004\\002\\007\\373\\002\\006\\005\\372\\375\\000\\376\\372\\000\\001\\373\\000\\376\\377\\005\\003\\374\\006\\004\\372\\374\\376\\377\\373\\000\\374\\002\\004\\006\\005\\372\\004\\371\\377\\371\\000\\372\\006\\005\\004\\376\\371\\004\\000\\003\\000\\374\\002\\001\\001\\005\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\374\\000\\377\\007\\004\\372\\001\\004\\377\\003\\003\\001\\372\\377\\003\\374\\001\\372\\375\\002\\002\\000\\376\\005\\374\\005\\374\\372\\376\\373\\376\\375\\005\\003\\006\\000\\376\\001\\005\\005\\004\\000\\005\\001\\371\\005\\000\\001\\377\\007\\005\\373\\371\\004\\006\\003\\373\\371\\376\\002\\373\\001\\005\\006\\001\\002\\002\\375\\372\\004\\001\\002\\002\\003\\374\\374\\004\\377\\003\\376\\372\\005\\375\\000\\374\\005\\003\\004\\371\\377\\372\\000\\377\\005\\005\\006\\373\\004\\371\\005\\002\\006\\374\\373\\376\\375\\005\\001\\005\\000\\374\\004\\371\\004\\377\\372\\002\\003\\377\\373\\373\\002\\005\\377\\002\\002\\373\\004\\376\\002\\375\\006\\005\\003\\377\\000\\003\\375\\006\\376\\003\\003\\373\\001\\006\\373\\001\\373\\377\\000\\004\\376\\377\\375\\376\\002\\377\\377\\374\\004\\376\\002\\375\\001\\005\\373\\377\\007\\376\\001\\001\\376\\001\\371\\376\\372\\374\\004\\004\\001\\376\\376\\371\\376\\006\\003\\001\\005\\003\\375\\005\\376\\003\\372\\003\\373\\372\\000\\377\\377\\374\\372\\377\\007\\004\\004\\374\\374\\000\\377\\003\\006\\005\\006\\374\\375\\372\\007\\000\\374\\373\\003\\372\\004\\005\\371\\373\\000\\374\\004\\375\\000\\373\\004\\006\\000\\004\\002\\373\\372\\372\\002\\005\\003\\373\\371\\001\\374\\007\\375\\372\\000\\001\\372\\377\\007\\371\\005\\003\\002\\007\\372\\005\\004\\371\\373\\375\\007\\001\\372\\377\\372\\003\\373\\374\\374\\001\\004\\003\\003\\000\\375\\003\\377\\377\\006\\376\\373\\005\\003\\375\\004\\371\\377\\005\\000\\374\\374\\372\\000\\002\\005\\376\\002\\004\\373\\003\\006\\374\\004\\004\\377\\371\\003\\000\\374\\006\\371\\002\\005\\376\\375\\000\\007\\005\\374\\374\\001\\004\\000\\375\\005\\004\\005\\374\\376\\003\\007\\372\\377\\375\\377\\001\\005\\003\\006\\003\\004\\377\\005\\004\\374\\005\\005\\373\\001\\002\\005\\002\\377\\007\\006\\005\\375\\374\\007\\372\\001\\371\\002\\001\\374\\372\\377\\006\\001\\376\\375\\375\\004\\000\\002\\001\\372\\005\\002\\374\\377\\377\\000\\371\\003\\003\\000\\007\\373\\006\\005\\373\\375\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\000\\372\\374\\006\\375\\000\\375\\004\\375\\001\\007\\005\\006\\373\\004\\001\\003\\001\\373\\374\\372\\373\\004\\000\\373\\001\\377\\001\\002\\002\\002\\004\\373\\003\\376\\002\\376\\002\\372\\373\\371\\004\\375\\372\\373\\003\\005\\002\\373\\002\\005\\373\\001\\005\\001\\006\\000\\374\\377\\375\\000\\006\\375\\001\\001\\004\\002\\371\\005\\001\\004\\004\\002\\001\\007\\372\\374\\002\\004\\005\\373\\371\\006\\376\\003\\376\\371\\000\\373\\003\\003\\375\\376\\375\\000\\001\\373\\001\\375\\001\\373\\005\\006\\000\\373\\372\\002\\375\\371\\001\\376\\004\\007\\001\\006\\005\\005\\003\\000\\002\\377\\373\\373\\377\\371\\005\\373\\375\\372\\004\\376\\006\\374\\005\\006\\002\\372\\377\\000\\002\\005\\372\\373\\372\\373\\001\\001\\004\\004\\005\\006\\007\\005\\003\\003\\376\\371\\372\\372\\003\\377\\377\\006\\373\\000\\004\\007\\002\\002\\000\\001\\004\\372\\002\\377\\003\\376\\372\\000\\372\\371\\002\\373\\375\\373\\001\\374\\375\\003\\375\\377\\376\\006\\005\\003\\002\\376\\005\\375\\004\\005\\377\\376\\003\\371\\003\\005\\005\\372\\004\\002\\006\\003\\005\\373\\003\\374\\375\\373\\005\\372\\372\\002\\374\\377\\003\\376\\004\\375\\005\\374\\000\\001\\377\\375\\003\\007\\005\\005\\377\\001\\373\\000\\372\\001\\377\\001\\371\\374\\000\\006\\372\\005\\375\\006\\371\\002\\002\\006\\002\\006\\003\\006\\001\\371\\375\\004\\004\\374\\002\\371\\373\\001\\376\\373\\373\\375\\377\\002\\001\\006\\005\\003\\376\\005\\002\\003\\372\\000\\376\\002\\004\\004\\375\\377\\004\\006\\000\\375\\007\\372\\005\\376\\006\\377\\006\\004\\000\\007\\374\\377\\375\\374\\000\\005\\001\\002\\004\\007\\004\\372\\376\\000\\003\\377\\000\\372\\006\\002\\376\\005\\005\\000\\000\\005\\376\\003\\003\\006\\000\\374\\003\\003\\003\\374\\375\\006\\373\\002\\002\\374\\005\\005\\003\\006\\375\\006\\372\\001\\000\\373\\376\\376\\006\\375\\004\\372\\005\\376\\003\\002\\005\\377\\374\\003\\373\\006\\371\\373\\373\\377\\376\\373\\374\\375\\377\\000\\375\\373\\373\\373\\001\\372\\002\\373\\372\\003\\377\\001\\376\\007\\002\\001\\003\\372\\374\\003\\001\\377\\376\\377\\005\\375\\373\\371\\377\\007\\002\\375\\005\\000\\374\\371\\372\\374\\004\\001\\007\\375\\006\\007\\374\\372\\371\\002\\376\\373\\004\\006\\372\\373\\371\\374\\374\\004\\372\\003\\002\\372\\374\\005\\005\\002\\006\\003\\004\\005\\006\\007\\004\\001\\372\\372\\003\\006\\007\\372\\001\\373\\377\\007\\373\\377\\000\\004\\004\\377\\006\\375\\371\\006\\000\\004\\377\\002\\374\\003\\376\\006\\006\\374\\003\\002\\376\\004\\005\\373\\372\\373\\372\\004\\001\\006\\377\\374\\000\\372\\373\\005\\002\\377\\000\\376\\003\\004\\372\\377\\001\\001\\000\\375\\005\\372\\377\\375\\003\\376\\002\\373\\375\\004\\006\\374\\001\\003\\001\\001\\377\\003\\002\\374\\004\\371\\001\\372\\002\\374\\002\\006\\375\\372\\374\\003\\376\\000\\377\\377\\373\\000\\000\\003\\371\\001\\373\\000\\006\\374\\377\\005\\007\\000\\377\\003\\373\\377\\004\\377\\374\\373\\375\\377\\000\\005\\372\\373\\006\\001\\001\\005\\004\\003\\375\\371\\373\\006\\002\\372\\001\\007\\377\\004\\004\\373\\002\\377\\003\\007\\376\\006\\004\\003\\375\\005\\005\\005\\377\\371\\375\\372\\372\\371\\000\\371\\376\\376\\006\\002\\002\\006\\002\\371\\005\\004\\372\\377\\376\\006\\000\\004\\002\\376\\377\\006\\001\\375\\377\\004\\000\\005\\376\\371\\373\\371\\005\\006\\000\\371\\374\\376\\375\\003\\006\\007\\374\\377\\001\\373\\000\\006\\376\\007\\005\\374\\376\\000\\373\\007\\372\\006\\004\\374\\374\\003\\000\\003\\000\\375\\371\\002\\377\\005\\004\\002\\005\\001\\002\\002\\374\\000\\376\\004\\005\\006\\374\\375\\000\\376\\000\\003\\003\\372\\004\\372\\002\\006\\002\\374\\001\\001\\373\\001\\377\\005\\006\\003\\374\\005\\375\\374\\006\\000\\001\\003\\374\\001\\006\\006\\002\\001\\001\\376\\377\\371\\371\\371\\374\\006\\002\\374\\000\\374\\371\\371\\374\\003\\002\\003\\000\\007\\005\\374\\373\\005\\376\\373\\376\\377\\374\\374\\002\\374\\001\\005\\005\\372\\006\\000\\002\\006\\004\\376\\007\\371\\000\\005\\002\\003\\376\\007\\377\\002\\007\\376\\373\\000\\373\\373\\005\\001\\374\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\003\\006\\377\\002\\004\\001\\375\\003\\003\\006\\372\\005\\375\\376\\376\\371\\377\\375\\372\\376\\000\\004\\373\\004\\006\\371\\006\\372\\000\\374\\002\\006\\374\\001\\376\\376\\376\\006\\004\\377\\374\\376\\373\\000\\375\\004\\004\\377\\006\\372\\376\\003\\372\\003\\373\\377\\001\\373\\372\\002\\001\\376\\377\\372\\375\\375\\005\\004\\002\\373\\003\\000\\003\\003\\372\\007\\372\\372\\005\\004\\374\\004\\374\\000\\372\\374\\000\\001\\376\\373\\006\\373\\373\\376\\003\\373\\004\\374\\375\\002\\371\\374\\374\\377\\376\\375\\375\\006\\372\\372\\002\\005\\005\\004\\373\\003\\376\\005\\000\\377\\377\\005\\374\\000\\003\\004\\006\\005\\371\\376\\005\\372\\000\\374\\377\\372\\004\\004\\374\\003\\000\\004\\377\\006\\377\\001\\003\\001\\002\\000\\371\\000\\374\\004\\003\\005\\375\\373\\004\\373\\001\\376\\004\\003\\004\\373\\373\\376\\000\\005\\005\\002\\006\\377\\371\\373\\003\\004\\372\\001\\001\\007\\375\\007\\372\\004\\001\\374\\376\\371\\375\\376\\372\\004\\003\\006\\007\\001\\373\\377\\003\\374\\000\\371\\372\\372\\373\\003\\377\\375\\004\\002\\006\\007\\373\\374\\372\\000\\002\\003\\002\\372\\004\\005\\377\\002\\002\\373\\377\\372\\003\\373\\005\\372\\371\\375\\377\\007\\001\\006\\373\\372\\375\\377\\373\\005\\376\\000\\376\\371\\005\\006\\374\\372\\007\\374\\375\\374\\377\\373\\005\\375\\003\\374\\007\\377\\005\\002\\372\\375\\377\\005\\005\\374\\007\\000\\006\\375\\372\\002\\003\\374\\007\\001\\000\\000\\000\\005\\003\\377\\003\\000\\004\\376\\006\\005\\376\\003\\377\\377\\371\\372\\375\\373\\005\\003\\002\\372\\374\\003\\000\\001\\001\\372\\377\\000\\373\\005\\376\\377\\372\\373\\377\\375\\371\\006\\003\\002\\372\\377\\000\\003\\004\\371\\003\\375\\000\\375\\371\\001\\373\\372\\374\\374\\006\\003\\006\\006\\373\\371\\006\\000\\006\\007\\001\\000\\000\\000\\374\\374\\002\\377\\003\\377\\372\\001\\377\\005\\003\\374\\377\\000\\000\\002\\377\\373\\004\\377\\000\\373\\376\\004\\001\\006\\000\\375\\375\\001\\373\\376\\374\\003\\006\\374\\001\\000\\377\\004\\374\\003\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.1.0/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_234\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_348\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_245\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_349\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"I\\327\\002=\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\003\\372\\000\\005\\002\\006\\000\\007\\375\\372\\374\\371\\001\\005\\007\\373\\002\\375\\372\\000\\373\\007\\376\\374\\375\\376\\007\\002\\373\\372\\007\\373\\002\\377\\376\\001\\375\\374\\371\\007\\002\\372\\376\\372\\375\\373\\002\\002\\375\\001\\003\\006\\373\\372\\376\\006\\001\\371\\374\\005\\001\\003\\005\\376\\005\\000\\006\\005\\373\\004\\371\\377\\371\\376\\372\\004\\374\\001\\372\\374\\377\\002\\371\\375\\001\\374\\001\\003\\000\\373\\373\\373\\003\\006\\376\\376\\376\\376\\372\\372\\376\\373\\006\\005\\376\\001\\376\\375\\002\\004\\371\\005\\373\\007\\375\\000\\001\\377\\006\\004\\002\\372\\006\\006\\372\\006\\374\\373\\375\\377\\374\\377\\004\\007\\001\\000\\372\\003\\371\\003\\374\\371\\371\\004\\006\\006\\007\\376\\005\\001\\372\\002\\006\\003\\004\\377\\376\\004\\371\\001\\000\\004\\005\\375\\007\\002\\001\\000\\003\\006\\005\\005\\006\\376\\371\\002\\377\\376\\006\\005\\006\\373\\001\\001\\375\\007\\005\\376\\006\\377\\374\\377\\376\\374\\373\\003\\373\\001\\004\\005\\375\\374\\371\\004\\374\\372\\002\\377\\002\\373\\000\\377\\005\\005\\003\\003\\372\\377\\001\\006\\005\\001\\377\\377\\375\\005\\374\\000\\000\\377\\006\\372\\007\\002\\003\\377\\374\\373\\375\\003\\377\\375\\376\\007\\373\\373\\006\\004\\006\\000\\371\\371\\373\\374\\005\\375\\376\\372\\001\\002\\377\\000\\373\\376\\377\\005\\372\\001\\006\\003\\001\\006\\372\\374\\376\\375\\006\\003\\002\\374\\375\\003\\373\\376\\377\\376\\372\\376\\373\\006\\002\\002\\377\\003\\005\\003\\004\\006\\373\\372\\376\\006\\000\\003\\002\\374\\003\\377\\003\\002\\372\\006\\004\\373\\372\\003\\375\\006\\006\\376\\377\\376\\000\\374\\376\\002\\007\\001\\372\\374\\000\\003\\373\\005\\005\\373\\004\\002\\002\\003\\375\\006\\006\\375\\371\\004\\004\\000\\004\\373\\374\\003\\002\\005\\003\\000\\003\\376\\002\\004\\375\\004\\007\\001\\377\\007\\001\\006\\002\\007\\002\\374\\375\\376\\006\\005\\376\\373\\000\\006\\377\\002\\005\\373\\375\\376\\006\\003\\005\\377\\372\\376\\376\\006\\004\\003\\374\\373\\005\\375\\007\\372\\375\\000\\000\\002\\007\\372\\371\\377\\375\\374\\376\\004\\376\\004\\005\\001\\001\\001\\373\\371\\006\\376\\003\\376\\001\\004\\372\\372\\376\\003\\374\\375\\377\\007\\007\\004\\004\\375\\373\\371\\005\\374\\001\\003\\372\\374\\001\\376\\374\\373\\373\\372\\377\\000\\372\\373\\000\\372\\372\\373\\007\\377\\004\\371\\004\\003\\371\\371\\006\\003\\372\\002\\005\\375\\377\\374\\002\\000\\004\\377\\001\\000\\372\\374\\007\\002\\004\\002\\005\\004\\000\\003\\005\\375\\374\\001\\002\\373\\374\\373\\007\\001\\001\\373\\001\\006\\377\\373\\006\\004\\374\\006\\005\\003\\376\\007\\000\\002\\005\\377\\003\\003\\377\\376\\005\\002\\001\\002\\003\\373\\371\\002\\371\\373\\006\\003\\006\\004\\376\\003\\004\\002\\375\\002\\376\\375\\000\\001\\376\\376\\375\\007\\375\\003\\372\\003\\373\\375\\376\\376\\371\\371\\373\\006\\372\\006\\001\\003\\002\\375\\376\\373\\377\\374\\376\\007\\004\\376\\006\\374\\371\\000\\372\\372\\377\\001\\000\\375\\000\\001\\001\\002\\006\\007\\007\\005\\002\\003\\375\\003\\375\\377\\006\\001\\002\\000\\374\\377\\002\\373\\000\\377\\376\\377\\375\\376\\371\\003\\003\\003\\371\\376\\373\\005\\000\\377\\372\\375\\000\\376\\000\\371\\372\\374\\005\\005\\001\\007\\376\\005\\003\\372\\371\\005\\373\\374\\373\\377\\006\\002\\375\\003\\371\\374\\001\\004\\000\\001\\000\\004\\377\\377\\006\\375\\371\\000\\374\\006\\007\\376\\004\\374\\372\\002\\372\\001\\377\\003\\002\\372\\376\\375\\373\\376\\001\\003\\372\\006\\005\\372\\003\\377\\005\\003\\373\\004\\376\\372\\374\\000\\376\\375\\003\\374\\375\\373\\004\\372\\003\\006\\007\\376\\001\\000\\004\\003\\002\\377\\004\\374\\375\\377\\375\\373\\001\\003\\001\\000\\000\\005\\001\\004\\007\\372\\377\\001\\000\\005\\001\\007\\371\\004\\377\\371\\002\\375\\373\\001\\005\\007\\374\\377\\377\\373\\002\\376\\007\\005\\374\\001\\001\\002\\002\\002\\001\\004\\003\\007\\374\\001\\372\\375\\376\\376\\006\\373\\005\\373\\005\\374\\376\\004\\005\\371\\373\\002\\371\\373\\005\\002\\003\\374\\003\\005\\004\\375\\002\\377\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\374\\007\\374\\005\\377\\375\\371\\006\\372\\000\\007\\374\\371\\371\\373\\001\\002\\007\\007\\003\\003\\371\\375\\377\\001\\000\\375\\005\\373\\004\\002\\374\\372\\373\\006\\372\\372\\006\\006\\001\\000\\372\\371\\376\\007\\005\\376\\003\\373\\002\\373\\372\\373\\005\\004\\373\\376\\377\\372\\373\\002\\373\\372\\004\\377\\007\\007\\006\\373\\003\\000\\003\\373\\004\\001\\004\\373\\371\\004\\377\\003\\373\\006\\376\\004\\000\\002\\000\\003\\375\\376\\005\\377\\003\\375\\005\\375\\375\\374\\006\\377\\372\\001\\375\\372\\004\\002\\000\\002\\004\\005\\006\\007\\375\\376\\001\\372\\001\\000\\375\\001\\003\\005\\005\\374\\002\\372\\371\\374\\002\\006\\375\\376\\000\\000\\373\\374\\373\\371\\003\\373\\371\\374\\003\\374\\001\\002\\005\\007\\374\\375\\003\\004\\000\\372\\372\\374\\000\\375\\005\\375\\005\\376\\372\\371\\006\\005\\374\\003\\376\\377\\003\\005\\004\\377\\377\\004\\376\\004\\005\\373\\001\\373\\004\\372\\374\\375\\006\\004\\002\\006\\001\\375\\372\\376\\376\\373\\377\\373\\373\\000\\377\\005\\006\\371\\373\\372\\371\\004\\377\\006\\376\\373\\374\\007\\004\\000\\374\\375\\000\\372\\003\\000\\003\\003\\374\\001\\000\\001\\001\\373\\000\\007\\375\\375\\002\\376\\003\\007\\377\\000\\002\\376\\374\\005\\372\\002\\374\\376\\006\\005\\007\\376\\000\\374\\003\\002\\002\\373\\003\\373\\377\\004\\372\\006\\001\\003\\004\\002\\373\\374\\006\\001\\006\\375\\004\\374\\005\\377\\377\\371\\373\\372\\007\\002\\373\\375\\002\\371\\000\\006\\005\\001\\007\\373\\373\\374\\000\\372\\374\\004\\006\\003\\377\\000\\376\\007\\006\\374\\372\\371\\376\\002\\376\\373\\372\\003\\000\\005\\372\\002\\002\\376\\377\\001\\374\\372\\375\\002\\375\\004\\002\\002\\375\\001\\004\\372\\374\\375\\002\\007\\376\\374\\003\\373\\007\\372\\377\\004\\376\\005\\000\\375\\376\\004\\377\\376\\002\\006\\007\\004\\372\\007\\006\\376\\371\\377\\003\\374\\006\\004\\005\\374\\372\\372\\372\\377\\007\\002\\003\\001\\373\\006\\377\\373\\001\\002\\373\\002\\002\\000\\372\\373\\007\\001\\005\\374\\374\\005\\001\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\377\\001\\376\\005\\373\\002\\377\\000\\375\\372\\376\\372\\002\\376\\376\\006\\374\\374\\376\\374\\377\\377\\006\\000\\000\\003\\375\\374\\372\\006\\006\\372\\006\\005\\003\\376\\004\\373\\375\\000\\373\\007\\005\\004\\372\\373\\372\\372\\372\\374\\373\\372\\000\\001\\002\\377\\377\\000\\001\\007\\002\\372\\003\\375\\003\\377\\376\\000\\373\\374\\003\\006\\375\\002\\003\\373\\372\\004\\377\\001\\001\\003\\375\\000\\375\\005\\005\\374\\001\\005\\002\\003\\007\\006\\371\\004\\001\\377\\006\\377\\377\\373\\004\\371\\000\\003\\376\\005\\372\\001\\375\\376\\004\\371\\373\\000\\002\\006\\002\\373\\372\\004\\372\\006\\003\\373\\001\\005\\000\\376\\374\\003\\373\\001\\006\\373\\003\\003\\004\\005\\002\\005\\373\\006\\372\\000\\372\\376\\375\\004\\004\\374\\375\\005\\003\\376\\376\\375\\005\\375\\000\\004\\376\\376\\375\\007\\375\\001\\000\\006\\007\\001\\375\\373\\376\\373\\377\\002\\374\\372\\002\\005\\374\\373\\375\\372\\372\\376\\006\\376\\373\\006\\375\\375\\006\\006\\374\\007\\377\\375\\374\\005\\001\\377\\377\\376\\004\\005\\005\\006\\002\\374\\006\\374\\001\\005\\374\\372\\374\\371\\005\\001\\007\\002\\006\\374\\007\\373\\000\\372\\005\\001\\001\\374\\004\\373\\377\\376\\377\\374\\002\\005\\002\\002\\003\\005\\000\\007\\002\\002\\377\\004\\006\\006\\372\\003\\372\\372\\003\\004\\000\\375\\372\\005\\374\\375\\374\\006\\001\\373\\002\\003\\376\\376\\373\\001\\000\\004\\000\\005\\003\\004\\375\\007\\373\\002\\006\\377\\004\\005\\374\\372\\003\\007\\375\\372\\374\\375\\007\\371\\376\\006\\001\\003\\374\\000\\003\\374\\376\\372\\374\\372\\377\\375\\371\\375\\007\\375\\002\\001\\376\\000\\374\\000\\376\\006\\375\\373\\002\\375\\373\\002\\004\\372\\377\\376\\007\\002\\373\\005\\374\\001\\374\\003\\375\\007\\372\\005\\001\\000\\372\\377\\372\\001\\375\\005\\003\\001\\375\\004\\001\\000\\003\\372\\372\\005\\375\\374\\004\\003\\377\\377\\373\\372\\377\\375\\372\\376\\004\\373\\376\\377\\375\\373\\372\\373\\000\\376\\372\\374\\000\\002\\004\\005\\002\\374\\373\\004\\376\\374\\376\\000\\004\\005\\000\\373\\002\\373\\001\\373\\006\\377\\004\\000\\372\\007\\374\\371\\001\\374\\002\\376\\001\\376\\374\\375\\000\\372\\000\\377\\375\\371\\003\\377\\003\\375\\004\\003\\006\\375\\005\\001\\376\\377\\001\\001\\372\\000\\376\\376\\002\\375\\377\\371\\000\\003\\376\\007\\003\\006\\005\\003\\373\\002\\004\\000\\005\\376\\001\\374\\377\\372\\375\\007\\377\\375\\001\\375\\001\\371\\377\\372\\004\\376\\376\\005\\006\\372\\005\\374\\000\\005\\000\\002\\376\\002\\377\\375\\002\\374\\005\\000\\003\\374\\372\\003\\000\\375\\374\\001\\003\\004\\004\\004\\007\\004\\371\\376\\003\\373\\371\\000\\376\\001\\376\\001\\375\\373\\002\\002\\000\\004\\372\\374\\003\\002\\377\\373\\001\\377\\373\\377\\377\\006\\375\\375\\374\\374\\000\\001\\377\\377\\005\\002\\001\\374\\001\\376\\377\\374\\005\\005\\001\\371\\003\\002\\005\\377\\002\\002\\374\\004\\003\\001\\371\\372\\002\\003\\372\\373\\000\\002\\374\\371\\005\\004\\372\\005\\377\\371\\371\\003\\006\\007\\007\\004\\005\\002\\377\\005\\002\\001\\002\\376\\003\\000\\002\\374\\373\\004\\001\\001\\005\\000\\004\\004\\000\\007\\377\\006\\374\\004\\001\\375\\004\\376\\371\\007\\003\\377\\003\\006\\376\\006\\376\\002\\002\\004\\375\\006\\377\\002\\004\\371\\372\\372\\374\\006\\377\\003\\003\\371\\005\\372\\001\\003\\372\\006\\005\\373\\000\\374\\000\\372\\002\\375\\376\\005\\372\\006\\375\\007\\002\\003\\002\\003\\377\\375\\377\\376\\002\\004\\374\\374\\374\\373\\376\\373\\375\\371\\007\\000\\373\\007\\002\\375\\373\\005\\375\\372\\372\\003\\375\\000\\372\\372\\002\\002\\002\\004\\002\\374\\375\\374\\374\\005\\006\\000\\001\\373\\372\\005\\372\\006\\000\\372\\373\\373\\376\\003\\006\\002\\004\\001\\007\\374\\373\\003\\006\\375\\372\\003\\002\\005\\005\\007\\372\\001\\375\\372\\003\\007\\374\\377\\006\\004\\377\\377\\004\\005\\374\\373\\371\\004\\001\\003\\001\\003\\372\\374\\371\\000\\376\\005\\002\\000\\377\\375\\003\\000\\002\\372\\373\\006\\371\\000\\001\\371\\003\\004\\373\\374\\003\\001\\376\\007\\373\\006\\373\\002\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\374\\000\\007\\372\\374\\001\\006\\373\\006\\004\\004\\377\\004\\372\\371\\373\\003\\371\\004\\373\\000\\004\\001\\004\\000\\372\\377\\374\\375\\373\\002\\003\\374\\006\\003\\377\\003\\007\\375\\004\\001\\374\\376\\372\\000\\377\\374\\001\\002\\004\\373\\000\\374\\376\\004\\376\\001\\003\\377\\372\\002\\374\\374\\001\\375\\005\\377\\007\\371\\006\\003\\004\\374\\003\\000\\005\\373\\376\\376\\372\\374\\006\\003\\375\\003\\371\\002\\002\\000\\372\\372\\377\\003\\372\\004\\005\\371\\376\\001\\007\\375\\376\\003\\005\\376\\003\\376\\003\\003\\002\\372\\374\\376\\377\\002\\005\\004\\375\\375\\376\\006\\006\\376\\007\\372\\374\\002\\000\\373\\005\\004\\373\\376\\376\\375\\372\\006\\002\\374\\377\\376\\377\\006\\377\\377\\375\\372\\003\\001\\375\\003\\007\\005\\373\\001\\375\\005\\004\\006\\377\\377\\376\\376\\005\\002\\375\\003\\000\\001\\000\\375\\004\\003\\376\\001\\371\\004\\377\\371\\002\\000\\004\\375\\001\\376\\002\\006\\000\\000\\006\\377\\375\\005\\007\\000\\376\\374\\004\\005\\003\\005\\006\\001\\377\\000\\371\\004\\002\\002\\004\\372\\376\\003\\374\\000\\374\\377\\005\\373\\000\\002\\001\\000\\372\\377\\373\\375\\005\\373\\373\\006\\004\\000\\006\\374\\374\\007\\000\\376\\001\\006\\005\\377\\003\\006\\372\\004\\003\\374\\376\\000\\001\\002\\005\\377\\004\\375\\003\\377\\374\\372\\375\\003\\372\\372\\007\\000\\004\\373\\006\\002\\374\\007\\377\\373\\005\\006\\007\\003\\002\\004\\372\\377\\375\\374\\376\\375\\376\\001\\375\\005\\376\\000\\005\\003\\374\\377\\373\\373\\002\\003\\375\\376\\004\\005\\372\\000\\006\\000\\372\\374\\005\\004\\372\\002\\376\\002\\377\\002\\002\\372\\005\\004\\004\\004\\000\\377\\371\\003\\007\\003\\371\\005\\377\\003\\007\\004\\002\\000\\372\\006\\004\\374\\006\\006\\002\\003\\372\\005\\371\\001\\006\\007\\001\\006\\001\\007\\007\\001\\375\\376\\373\\372\\005\\373\\005\\005\\005\\375\\372\\372\\000\\377\\375\\000\\003\\371\\373\\377\\000\\377\\005\\002\\375\\374\\001\\005\\000\\003\\006\\006\\374\\005\\005\\376\\373\\376\\002\\373\\003\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\375\\005\\006\\006\\371\\371\\376\\001\\006\\003\\000\\007\\376\\003\\375\\006\\373\\374\\006\\375\\002\\375\\002\\004\\375\\001\\000\\002\\376\\375\\374\\006\\007\\006\\002\\004\\006\\376\\003\\004\\005\\376\\373\\375\\375\\004\\000\\006\\002\\002\\375\\003\\375\\004\\377\\002\\372\\004\\377\\004\\377\\002\\002\\005\\000\\373\\007\\001\\375\\006\\000\\373\\373\\007\\000\\372\\377\\001\\003\\004\\373\\372\\372\\007\\374\\377\\376\\376\\006\\374\\373\\005\\003\\006\\006\\374\\003\\005\\377\\004\\372\\007\\003\\002\\371\\377\\377\\004\\000\\371\\004\\001\\000\\000\\373\\373\\374\\377\\005\\373\\005\\007\\377\\007\\375\\373\\377\\001\\377\\377\\372\\371\\373\\007\\005\\002\\000\\372\\005\\374\\007\\376\\001\\373\\005\\374\\374\\375\\374\\373\\376\\002\\374\\005\\375\\006\\375\\374\\001\\005\\003\\374\\376\\006\\001\\004\\372\\376\\374\\371\\377\\000\\003\\372\\372\\374\\005\\007\\005\\377\\001\\375\\005\\001\\007\\374\\373\\372\\001\\375\\003\\002\\003\\377\\000\\004\\006\\376\\007\\002\\372\\003\\377\\376\\376\\375\\006\\002\\373\\375\\377\\005\\372\\005\\376\\003\\375\\374\\371\\372\\003\\003\\371\\376\\375\\376\\376\\372\\376\\004\\372\\372\\005\\003\\374\\377\\001\\375\\372\\006\\371\\375\\004\\376\\000\\373\\004\\374\\373\\371\\375\\372\\377\\374\\003\\001\\002\\000\\001\\006\\377\\001\\006\\376\\372\\375\\002\\377\\372\\003\\001\\005\\377\\002\\376\\376\\005\\377\\006\\373\\377\\000\\372\\372\\376\\001\\005\\004\\377\\002\\001\\372\\001\\002\\006\\004\\371\\002\\000\\374\\001\\374\\373\\001\\004\\005\\001\\374\\000\\373\\005\\375\\003\\375\\003\\374\\006\\004\\005\\376\\376\\001\\001\\001\\000\\004\\001\\374\\003\\377\\002\\002\\001\\003\\375\\005\\001\\007\\373\\375\\374\\375\\006\\003\\374\\372\\001\\007\\003\\375\\001\\373\\373\\006\\373\\005\\001\\375\\007\\375\\373\\377\\004\\005\\376\\377\\375\\004\\003\\007\\003\\377\\371\\000\\003\\002\\001\\372\\006\\004\\004\\000\\377\\001\\006\\003\\375\\377\\373\\000\\374\\007\\004\\004\\004\\005\\377\\003\\372\\001\\373\\002\\373\\376\\373\\000\\376\\001\\007\\373\\004\\007\\004\\004\\004\\375\\371\\007\\373\\374\\003\\006\\371\\006\\373\\372\\375\\377\\000\\004\\003\\003\\005\\375\\372\\375\\004\\377\\373\\001\\372\\373\\373\\006\\001\\371\\374\\002\\376\\001\\001\\004\\005\\005\\004\\375\\002\\007\\001\\005\\375\\005\\377\\374\\002\\003\\372\\372\\005\\001\\373\\005\\003\\376\\001\\376\\005\\372\\007\\003\\005\\375\\375\\002\\371\\004\\375\\005\\004\\003\\372\\003\\003\\001\\003\\001\\000\\005\\005\\374\\004\\375\\006\\371\\376\\373\\371\\374\\001\\372\\000\\003\\371\\373\\376\\006\\007\\001\\375\\372\\375\\005\\377\\373\\373\\374\\003\\374\\004\\376\\377\\005\\002\\003\\377\\373\\003\\374\\000\\003\\002\\004\\002\\000\\006\\002\\002\\006\\000\\372\\003\\001\\000\\001\\004\\006\\371\\376\\373\\005\\373\\002\\005\\005\\000\\002\\004\\006\\375\\377\\006\\372\\000\\005\\004\\000\\003\\375\\374\\001\\373\\004\\004\\371\\003\\004\\375\\373\\375\\000\\003\\374\\003\\375\\377\\006\\376\\375\\374\\373\\371\\373\\003\\373\\005\\373\\003\\003\\001\\002\\004\\000\\005\\004\\377\\002\\007\\005\\003\\372\\006\\007\\004\\004\\374\\373\\373\\007\\003\\377\\006\\003\\003\\007\\005\\000\\371\\377\\003\\005\\371\\002\\006\\003\\377\\377\\000\\002\\005\\005\\376\\003\\373\\375\\377\\374\\005\\376\\001\\375\\374\\003\\374\\002\\005\\374\\002\\371\\377\\376\\004\\375\\374\\377\\002\\007\\377\\002\\373\\006\\003\\006\\001\\372\\372\\002\\003\\376\\372\\005\\377\\002\\376\\004\\000\\006\\002\\003\\374\\372\\003\\373\\000\\001\\372\\006\\005\\001\\001\\374\\373\\373\\004\\001\\374\\002\\005\\001\\001\\372\\373\\001\\375\\376\\000\\007\\006\\374\\002\\377\\372\\002\\371\\000\\003\\372\\373\\002\\006\\002\\373\\374\\376\\375\\006\\372\\001\\007\\375\\005\\004\\372\\002\\007\\003\\005\\375\\371\\006\\373\\374\\003\\375\\372\\375\\371\\375\\004\\001\\006\\005\\007\\376\\375\\373\\371\\372\\375\\374\\000\\004\\006\\371\\001\\377\\003\\372\\003\\372\\006\\005\\377\\004\\001\\007\\377\\373\\375\\001\\005\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\002\\006\\003\\004\\002\\374\\371\\377\\002\\001\\372\\002\\001\\374\\377\\372\\375\\377\\004\\000\\005\\004\\000\\377\\007\\375\\377\\372\\001\\006\\375\\002\\003\\002\\001\\375\\002\\000\\004\\377\\005\\002\\374\\377\\375\\004\\001\\000\\006\\003\\005\\004\\003\\002\\376\\375\\000\\001\\371\\007\\003\\373\\373\\004\\375\\376\\374\\003\\373\\373\\005\\374\\003\\003\\373\\000\\377\\371\\377\\002\\003\\004\\007\\002\\377\\372\\001\\373\\005\\372\\005\\004\\374\\372\\006\\372\\376\\007\\375\\001\\375\\373\\006\\375\\375\\000\\004\\005\\377\\006\\005\\373\\377\\000\\376\\007\\005\\004\\374\\374\\373\\001\\373\\372\\002\\001\\374\\002\\376\\002\\004\\006\\002\\373\\000\\004\\375\\377\\000\\377\\003\\376\\372\\001\\375\\006\\371\\375\\003\\373\\000\\374\\007\\000\\004\\374\\375\\375\\375\\373\\004\\373\\374\\377\\375\\375\\006\\007\\001\\374\\004\\372\\000\\003\\376\\371\\372\\372\\000\\376\\003\\000\\000\\002\\002\\005\\005\\376\\000\\002\\373\\000\\003\\003\\373\\374\\372\\006\\376\\374\\375\\376\\371\\000\\374\\004\\006\\371\\375\\371\\372\\375\\002\\371\\005\\372\\006\\373\\374\\006\\376\\001\\001\\371\\374\\003\\006\\376\\372\\005\\374\\004\\003\\006\\003\\375\\004\\372\\371\\372\\004\\377\\001\\000\\372\\005\\006\\371\\374\\372\\374\\376\\375\\376\\004\\373\\374\\004\\000\\376\\372\\372\\377\\002\\002\\003\\373\\005\\374\\002\\374\\376\\372\\377\\374\\371\\000\\004\\002\\374\\004\\004\\000\\005\\002\\006\\372\\376\\002\\004\\005\\375\\000\\001\\004\\003\\375\\003\\002\\004\\004\\004\\376\\002\\005\\374\\005\\376\\004\\373\\376\\001\\007\\374\\377\\377\\001\\376\\374\\373\\006\\373\\003\\374\\001\\001\\005\\000\\006\\002\\004\\006\\372\\003\\375\\376\\374\\004\\003\\000\\375\\374\\004\\000\\374\\003\\376\\007\\003\\371\\006\\372\\374\\006\\374\\375\\372\\377\\005\\000\\375\\373\\005\\003\\001\\376\\374\\006\\000\\000\\003\\004\\001\\371\\002\\373\\003\\372\\001\\373\\003\\004\\377\\004\\005\\372\\372\\005\\004\\002\\000\\005\\377\\000\\377\\003\\376\\373\\377\\372\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\005\\373\\007\\003\\000\\374\\005\\375\\003\\005\\006\\005\\001\\007\\002\\004\\375\\000\\372\\001\\374\\006\\375\\374\\375\\002\\372\\377\\373\\004\\376\\372\\000\\373\\376\\005\\005\\005\\006\\371\\001\\373\\007\\374\\377\\374\\377\\376\\003\\376\\001\\371\\004\\005\\373\\000\\374\\003\\374\\375\\005\\005\\002\\006\\375\\372\\374\\005\\372\\376\\376\\376\\006\\373\\006\\001\\005\\371\\372\\001\\373\\373\\372\\002\\001\\375\\003\\372\\006\\004\\003\\373\\000\\372\\003\\002\\001\\004\\002\\000\\375\\003\\377\\001\\006\\377\\005\\372\\375\\375\\007\\000\\000\\373\\003\\375\\003\\006\\372\\375\\372\\373\\375\\000\\371\\372\\375\\002\\373\\004\\002\\001\\371\\374\\377\\004\\377\\002\\372\\376\\376\\373\\376\\375\\377\\371\\003\\373\\003\\005\\376\\002\\377\\003\\372\\006\\005\\376\\374\\004\\377\\005\\374\\372\\374\\374\\002\\000\\005\\002\\377\\373\\000\\002\\004\\000\\376\\002\\000\\001\\002\\377\\006\\377\\373\\005\\372\\377\\006\\001\\001\\004\\004\\373\\005\\001\\000\\007\\002\\002\\004\\003\\003\\003\\377\\373\\377\\006\\372\\371\\377\\377\\005\\376\\001\\001\\005\\374\\005\\372\\373\\372\\005\\376\\000\\374\\371\\371\\374\\005\\375\\000\\006\\373\\000\\006\\377\\001\\373\\006\\375\\004\\000\\002\\375\\377\\377\\377\\004\\002\\003\\374\\001\\003\\375\\004\\372\\006\\376\\002\\372\\002\\000\\006\\376\\003\\000\\002\\371\\002\\001\\375\\375\\372\\006\\002\\004\\372\\375\\377\\002\\372\\003\\374\\005\\005\\003\\002\\001\\373\\374\\002\\000\\377\\375\\006\\002\\001\\003\\375\\004\\374\\375\\374\\374\\371\\375\\001\\373\\004\\375\\006\\003\\372\\375\\000\\000\\375\\006\\003\\375\\372\\006\\005\\372\\375\\371\\001\\376\\007\\004\\372\\376\\004\\003\\004\\006\\374\\000\\373\\007\\375\\375\\000\\002\\374\\371\\001\\373\\005\\004\\371\\375\\004\\003\\375\\376\\007\\372\\372\\000\\001\\375\\000\\373\\373\\004\\001\\006\\005\\373\\005\\373\\002\\002\\377\\377\\374\\006\\373\\374\\376\\006\\002\\000\\377\\377\\007\\001\\377\\003\\005\\371\\006\\002\\001\\372\\001\\377\\377\\371\\377\\005\\006\\374\\003\\002\\000\\000\\373\\376\\007\\000\\376\\006\\371\\377\\372\\372\\003\\375\\373\\004\\372\\373\\004\\001\\372\\005\\000\\377\\373\\376\\003\\003\\002\\001\\000\\002\\373\\003\\371\\375\\376\\372\\001\\371\\000\\377\\375\\004\\374\\004\\000\\000\\376\\004\\003\\005\\002\\003\\006\\374\\373\\005\\377\\004\\374\\372\\375\\007\\006\\002\\000\\374\\005\\374\\377\\006\\005\\377\\371\\373\\001\\000\\375\\377\\001\\372\\373\\377\\002\\377\\005\\003\\375\\000\\377\\003\\006\\001\\374\\000\\373\\373\\372\\376\\002\\375\\004\\002\\374\\374\\005\\000\\002\\374\\377\\372\\373\\006\\373\\372\\374\\004\\003\\371\\001\\000\\377\\006\\004\\003\\000\\376\\374\\377\\006\\002\\377\\004\\003\\001\\377\\005\\003\\000\\377\\003\\006\\374\\376\\000\\373\\372\\373\\374\\004\\003\\372\\005\\003\\377\\371\\374\\372\\371\\000\\000\\000\\373\\007\\371\\000\\374\\371\\004\\005\\001\\377\\007\\003\\006\\374\\377\\005\\373\\003\\001\\001\\004\\377\\002\\375\\376\\005\\371\\376\\374\\001\\001\\376\\001\\374\\004\\374\\371\\003\\372\\006\\375\\372\\006\\003\\006\\002\\005\\003\\376\\376\\006\\377\\001\\372\\007\\002\\004\\374\\003\\376\\374\\006\\376\\004\\006\\374\\000\\374\\375\\002\\006\\004\\001\\005\\374\\003\\372\\004\\001\\375\\007\\006\\377\\002\\004\\376\\005\\001\\373\\003\\006\\373\\372\\003\\004\\005\\001\\000\\377\\005\\377\\374\\001\\375\\007\\000\\375\\373\\374\\005\\375\\006\\002\\375\\003\\375\\004\\372\\007\\372\\004\\000\\003\\375\\002\\002\\373\\374\\005\\001\\377\\375\\373\\376\\004\\374\\375\\372\\006\\002\\005\\000\\374\\006\\005\\001\\377\\003\\374\\005\\376\\005\\006\\376\\002\\006\\375\\001\\376\\000\\004\\003\\373\\000\\004\\003\\377\\006\\375\\004\\001\\003\\002\\001\\373\\004\\007\\003\\373\\000\\372\\001\\374\\376\\007\\001\\372\\002\\371\\002\\377\\003\\371\\002\\376\\377\\373\\002\\005\\004\\004\\371\\002\\375\\004\\003\\005\\007\\004\\002\\371\\372\\001\\371\\001\\372\\375\\002\\373\\002\\374\\376\\000\\374\\004\\006\\003\\003\\374\\371\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\000\\374\\000\\374\\372\\372\\007\\372\\375\\004\\001\\007\\375\\375\\373\\002\\002\\006\\373\\003\\374\\006\\003\\376\\377\\377\\002\\377\\000\\374\\002\\377\\003\\002\\377\\375\\377\\005\\374\\005\\004\\005\\004\\376\\374\\000\\005\\007\\004\\376\\377\\375\\004\\001\\002\\003\\375\\373\\372\\004\\006\\374\\001\\376\\005\\377\\374\\375\\377\\007\\374\\006\\002\\372\\002\\002\\002\\002\\371\\372\\001\\002\\005\\004\\003\\375\\001\\003\\000\\001\\373\\376\\001\\374\\003\\000\\001\\001\\004\\002\\373\\000\\003\\005\\007\\003\\006\\372\\001\\001\\004\\377\\001\\004\\007\\002\\003\\377\\005\\006\\376\\004\\373\\372\\375\\006\\002\\004\\376\\000\\002\\375\\006\\002\\002\\376\\005\\007\\001\\004\\373\\001\\004\\376\\005\\002\\375\\377\\004\\001\\002\\006\\003\\375\\005\\375\\000\\006\\004\\376\\003\\376\\374\\374\\376\\007\\377\\004\\005\\000\\005\\375\\376\\374\\006\\372\\372\\007\\373\\005\\372\\375\\372\\007\\372\\001\\372\\373\\006\\006\\375\\373\\374\\375\\003\\376\\372\\371\\372\\377\\377\\005\\003\\003\\003\\000\\004\\377\\373\\007\\374\\376\\372\\376\\374\\374\\002\\372\\007\\000\\002\\000\\000\\000\\006\\000\\007\\004\\372\\375\\007\\371\\376\\000\\371\\373\\005\\003\\373\\006\\007\\002\\374\\371\\377\\377\\003\\005\\007\\003\\375\\375\\377\\004\\000\\376\\003\\004\\377\\374\\372\\374\\373\\005\\373\\004\\004\\373\\004\\001\\007\\371\\006\\007\\002\\001\\000\\376\\376\\005\\005\\003\\002\\000\\377\\006\\377\\004\\376\\005\\002\\375\\006\\375\\376\\004\\376\\006\\373\\003\\374\\375\\005\\376\\373\\003\\376\\374\\377\\005\\375\\372\\374\\375\\371\\375\\003\\373\\006\\373\\000\\004\\003\\004\\006\\001\\375\\006\\374\\002\\006\\002\\000\\000\\372\\376\\001\\373\\006\\376\\371\\004\\377\\373\\377\\004\\372\\001\\000\\373\\372\\004\\004\\005\\002\\006\\373\\372\\375\\007\\377\\006\\005\\005\\001\\004\\375\\007\\007\\376\\000\\375\\376\\006\\004\\004\\375\\005\\005\\004\\374\\005\\377\\374\\372\\000\\007\\005\\005\\372\\373\\376\\373\\374\\374\\004\\007\\005\\372\\004\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.1.1/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_303\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_353\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_314\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_354\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " input {\n", + " name: \"inp.1\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 5\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 10\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_337\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_342\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_347\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_352\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"332\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 5\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 40\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"333\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 4\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"334\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 4\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + "}\n", + "opset_import {\n", + " domain: \"\"\n", + " version: 14\n", + "}" + ] + }, + "execution_count": 28, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_onnx_qcdq\n", + "\n", + "quant_lstm_weight_only_bidirectional_2_layers = QuantLSTM(\n", + " input_size=10, hidden_size=20, bidirectional=True, num_layers=2, weight_bit_width=4, shared_intra_layer_weight_quant=True,\n", + " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", + "export_path = 'quant_lstm_weight_only_bidirectional_2_layers_shared_q.onnx'\n", + "exported_model = export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)" + ] + }, + { + "cell_type": "code", + "execution_count": 29, + "metadata": { + "tags": [ + "skip-execution" + ] + }, + "outputs": [ { "name": "stdout", "output_type": "stream", @@ -1207,24 +3419,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 24, + "execution_count": 29, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_onnx_qcdq\n", - "\n", - "quant_lstm_weight_only_bidirectional_2_layers = QuantLSTM(\n", - " input_size=10, hidden_size=20, bidirectional=True, num_layers=2, weight_bit_width=4, shared_intra_layer_weight_quant=True,\n", - " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", - "export_path = 'quant_lstm_weight_only_bidirectional_2_layers_shared_q.onnx'\n", - "export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n", "show_netron(export_path, 8086)" ] }, @@ -1238,17 +3441,2072 @@ }, { "cell_type": "code", - "execution_count": 25, + "execution_count": 30, "metadata": {}, "outputs": [ { "name": "stderr", "output_type": "stream", "text": [ - "c:\\users\\alessand\\documents\\brevitas\\src\\brevitas\\nn\\mixin\\base.py:112: UserWarning: Keyword arguments are being passed but they not being used.\n", + "/home/giuseppe/Documents/git/brevitas/src/brevitas/nn/mixin/base.py:77: UserWarning: Keyword arguments are being passed but they not being used.\n", " warn('Keyword arguments are being passed but they not being used.')\n" ] }, + { + "data": { + "text/plain": [ + "ir_version: 7\n", + "producer_name: \"pytorch\"\n", + "producer_version: \"1.13.1\"\n", + "graph {\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Concat_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.0.0/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.0/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.0/export_handler/Shape_output_0\"\n", + " name: \"/layers.0.0/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Shape_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.0.0/export_handler/Gather_output_0\"\n", + " name: \"/layers.0.0/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_87\"\n", + " output: \"onnx::Concat_88\"\n", + " name: \"Unsqueeze_42\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_320\"\n", + " input: \"onnx::Concat_88\"\n", + " input: \"/layers.0.0/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.0.0/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.0.0/export_handler/Expand_output_0\"\n", + " name: \"/layers.0.0/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.0/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.0.0/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_98\"\n", + " output: \"onnx::Concat_99\"\n", + " name: \"Unsqueeze_51\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_321\"\n", + " input: \"onnx::Concat_99\"\n", + " input: \"/layers.0.0/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.0.0/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.0.0/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.0.0/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.0.0/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " input: \"/layers.0.0/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.0.0/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_319\"\n", + " input: \"/layers.0.0/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/export_handler/Expand_output_0\"\n", + " input: \"/layers.0.0/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.0.0/export_handler/LSTM_output_0\"\n", + " output: \"/layers.0.0/export_handler/LSTM_output_1\"\n", + " output: \"/layers.0.0/export_handler/LSTM_output_2\"\n", + " name: \"/layers.0.0/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"forward\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_82\"\n", + " output: \"/layers.0.0/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.0.0/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.0.0/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.0.0/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.0.0/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.0.0/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.0.0/Constant_output_0\"\n", + " output: \"/layers.0.0/Unsqueeze_output_0\"\n", + " name: \"/layers.0.0/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.0.0/Constant_1_output_0\"\n", + " output: \"/layers.0.0/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.0/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Concat_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.1/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.0.1/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.0.1/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.1/export_handler/Shape_output_0\"\n", + " name: \"/layers.0.1/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Shape_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.0.1/export_handler/Gather_output_0\"\n", + " name: \"/layers.0.1/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_151\"\n", + " output: \"onnx::Concat_152\"\n", + " name: \"Unsqueeze_95\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_325\"\n", + " input: \"onnx::Concat_152\"\n", + " input: \"/layers.0.1/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.0.1/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.0.1/export_handler/Expand_output_0\"\n", + " name: \"/layers.0.1/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " output: \"/layers.0.1/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.0.1/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.0.1/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_162\"\n", + " output: \"onnx::Concat_163\"\n", + " name: \"Unsqueeze_104\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_326\"\n", + " input: \"onnx::Concat_163\"\n", + " input: \"/layers.0.1/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.0.1/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.0.1/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.0.1/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.0.1/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"inp.1\"\n", + " input: \"/layers.0.1/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.0.1/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_324\"\n", + " input: \"/layers.0.1/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.1/export_handler/Expand_output_0\"\n", + " input: \"/layers.0.1/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.0.1/export_handler/LSTM_output_0\"\n", + " output: \"/layers.0.1/export_handler/LSTM_output_1\"\n", + " output: \"/layers.0.1/export_handler/LSTM_output_2\"\n", + " name: \"/layers.0.1/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"reverse\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_82\"\n", + " output: \"/layers.0.1/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.0.1/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.0.1/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.0.1/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.0.1/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.0.1/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.0.1/Constant_output_0\"\n", + " output: \"/layers.0.1/Unsqueeze_output_0\"\n", + " name: \"/layers.0.1/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.1/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.0.1/Constant_1_output_0\"\n", + " output: \"/layers.0.1/Unsqueeze_1_output_0\"\n", + " name: \"/layers.0.1/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/Squeeze_output_0\"\n", + " input: \"/layers.0.1/export_handler/Squeeze_output_0\"\n", + " output: \"/Concat_output_0\"\n", + " name: \"/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: -1\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Concat_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_output_0\"\n", + " output: \"/layers.1.0/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.1.0/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.0/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.0/export_handler/Shape_output_0\"\n", + " name: \"/layers.1.0/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Shape_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.1.0/export_handler/Gather_output_0\"\n", + " name: \"/layers.1.0/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_221\"\n", + " output: \"onnx::Concat_222\"\n", + " name: \"Unsqueeze_154\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_330\"\n", + " input: \"onnx::Concat_222\"\n", + " input: \"/layers.1.0/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.1.0/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.1.0/export_handler/Expand_output_0\"\n", + " name: \"/layers.1.0/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.0/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.1.0/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.1.0/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_232\"\n", + " output: \"onnx::Concat_233\"\n", + " name: \"Unsqueeze_163\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_331\"\n", + " input: \"onnx::Concat_233\"\n", + " input: \"/layers.1.0/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.1.0/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.1.0/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.1.0/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.1.0/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " input: \"/layers.1.0/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.1.0/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_329\"\n", + " input: \"/layers.1.0/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.1.0/export_handler/Expand_output_0\"\n", + " input: \"/layers.1.0/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.1.0/export_handler/LSTM_output_0\"\n", + " output: \"/layers.1.0/export_handler/LSTM_output_1\"\n", + " output: \"/layers.1.0/export_handler/LSTM_output_2\"\n", + " name: \"/layers.1.0/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"forward\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_82\"\n", + " output: \"/layers.1.0/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.1.0/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.1.0/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.1.0/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.1.0/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.1.0/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.1.0/Constant_output_0\"\n", + " output: \"/layers.1.0/Unsqueeze_output_0\"\n", + " name: \"/layers.1.0/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.1.0/Constant_1_output_0\"\n", + " output: \"/layers.1.0/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.0/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/input_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Clip\"\n", + " op_type: \"Clip\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Clip_output_0\"\n", + " input: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear\"\n", + " op_type: \"DequantizeLinear\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/input_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/DequantizeLinear_output_0\"\n", + " input: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/DequantizeLinear_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Concat_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_output_0\"\n", + " output: \"/layers.1.1/export_handler/Unsqueeze_output_0\"\n", + " name: \"/layers.1.1/export_handler/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Concat_1_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_1_output_0\"\n", + " output: \"/layers.1.1/export_handler/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.1/export_handler/Shape_output_0\"\n", + " name: \"/layers.1.1/export_handler/Shape\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Shape_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_3_output_0\"\n", + " output: \"/layers.1.1/export_handler/Gather_output_0\"\n", + " name: \"/layers.1.1/export_handler/Gather\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Gather_output_0\"\n", + " input: \"onnx::Unsqueeze_285\"\n", + " output: \"onnx::Concat_286\"\n", + " name: \"Unsqueeze_207\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_335\"\n", + " input: \"onnx::Concat_286\"\n", + " input: \"/layers.1.1/export_handler/Constant_4_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_2_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.1.1/export_handler/Concat_2_output_0\"\n", + " output: \"/layers.1.1/export_handler/Expand_output_0\"\n", + " name: \"/layers.1.1/export_handler/Expand\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " output: \"/layers.1.1/export_handler/Shape_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Shape_1\"\n", + " op_type: \"Shape\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Shape_1_output_0\"\n", + " input: \"/layers.1.1/export_handler/Constant_5_output_0\"\n", + " output: \"/layers.1.1/export_handler/Gather_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Gather_1\"\n", + " op_type: \"Gather\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Gather_1_output_0\"\n", + " input: \"onnx::Unsqueeze_296\"\n", + " output: \"onnx::Concat_297\"\n", + " name: \"Unsqueeze_216\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"onnx::Concat_336\"\n", + " input: \"onnx::Concat_297\"\n", + " input: \"/layers.1.1/export_handler/Constant_6_output_0\"\n", + " output: \"/layers.1.1/export_handler/Concat_3_output_0\"\n", + " name: \"/layers.1.1/export_handler/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"onnx::Expand_81\"\n", + " input: \"/layers.1.1/export_handler/Concat_3_output_0\"\n", + " output: \"/layers.1.1/export_handler/Expand_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Expand_1\"\n", + " op_type: \"Expand\"\n", + " }\n", + " node {\n", + " input: \"/Concat_output_0\"\n", + " input: \"/layers.1.1/export_handler/Unsqueeze_output_0\"\n", + " input: \"/layers.1.1/export_handler/Unsqueeze_1_output_0\"\n", + " input: \"onnx::LSTM_334\"\n", + " input: \"/layers.1.1/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.1.1/export_handler/Expand_output_0\"\n", + " input: \"/layers.1.1/export_handler/Expand_1_output_0\"\n", + " output: \"/layers.1.1/export_handler/LSTM_output_0\"\n", + " output: \"/layers.1.1/export_handler/LSTM_output_1\"\n", + " output: \"/layers.1.1/export_handler/LSTM_output_2\"\n", + " name: \"/layers.1.1/export_handler/LSTM\"\n", + " op_type: \"LSTM\"\n", + " attribute {\n", + " name: \"direction\"\n", + " s: \"reverse\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_size\"\n", + " i: 20\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_forget\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"layout\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/LSTM_output_0\"\n", + " input: \"onnx::Squeeze_82\"\n", + " output: \"/layers.1.1/export_handler/Squeeze_output_0\"\n", + " name: \"/layers.1.1/export_handler/Squeeze\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/LSTM_output_1\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.1.1/export_handler/Squeeze_1_output_0\"\n", + " name: \"/layers.1.1/export_handler/Squeeze_1\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/LSTM_output_2\"\n", + " input: \"onnx::Squeeze_83\"\n", + " output: \"/layers.1.1/export_handler/Squeeze_2_output_0\"\n", + " name: \"/layers.1.1/export_handler/Squeeze_2\"\n", + " op_type: \"Squeeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Squeeze_1_output_0\"\n", + " input: \"/layers.1.1/Constant_output_0\"\n", + " output: \"/layers.1.1/Unsqueeze_output_0\"\n", + " name: \"/layers.1.1/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.1/export_handler/Squeeze_2_output_0\"\n", + " input: \"/layers.1.1/Constant_1_output_0\"\n", + " output: \"/layers.1.1/Unsqueeze_1_output_0\"\n", + " name: \"/layers.1.1/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.1.0/export_handler/Squeeze_output_0\"\n", + " input: \"/layers.1.1/export_handler/Squeeze_output_0\"\n", + " output: \"314\"\n", + " name: \"/Concat_1\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: -1\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/Unsqueeze_output_0\"\n", + " input: \"/layers.0.1/Unsqueeze_output_0\"\n", + " input: \"/layers.1.0/Unsqueeze_output_0\"\n", + " input: \"/layers.1.1/Unsqueeze_output_0\"\n", + " output: \"315\"\n", + " name: \"/Concat_2\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/Unsqueeze_1_output_0\"\n", + " input: \"/layers.0.1/Unsqueeze_1_output_0\"\n", + " input: \"/layers.1.0/Unsqueeze_1_output_0\"\n", + " input: \"/layers.1.1/Unsqueeze_1_output_0\"\n", + " output: \"316\"\n", + " name: \"/Concat_3\"\n", + " op_type: \"Concat\"\n", + " attribute {\n", + " name: \"axis\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " }\n", + " name: \"torch_jit\"\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_319\"\n", + " raw_data: \"\\364d\\343\\274A\\273l\\273\\321jH>\\035-Y>\\266v`\\276Lp9>\\316OJ\\276\\017\\220\\001\\276\\243\\014\\033=H>\\216=\\360\\267R=\\246\\246*=G\\357\\005\\275\\214\\200\\013\\276\\341\\350\\303=+\\210;>\\013\\014X\\276\\366\\310\\002>\\357\\350\\301;\\211\\256\\305\\275\\221`\\027>\\272\\001(>\\tK\\221\\275\\245\\306\\'\\275\\247\\206\\006>O T\\275V#i\\273s,Y\\276xT\\003>\\251\\337r\\273O\\306#\\276\\330\\351Z\\276\\363\\205!\\276g\\372\\014>B<\\352=\\362\\334\\255\\275\\031z\\003>\\2405\\251\\275\\201\\204\\016\\276Xs\\224=\\234\\010\\307\\275\\242\\206\\255\\275\\001\\342\\002\\276\\373:\\014=\\342\\345J\\276K\\3524\\276\\214HR>l1;\\276)\\301N>\\355\\\"\\277=<\\027Y<\\320\\305\\020\\276L\\332,>)\\243\\217\\275\\304\\023\\\\\\276\\301T\\331=%5\\003\\276\\023\\007I\\275\\0175_\\276\\202\\002\\313\\275\\203\\204&<\\361\\216\\310\\275\\020\\336\\352=\\030j\\311=\\243\\226\\264\\275\\315}\\265=\\033%\\356<9\\323\\363\\204,\\242\\274\\360\\357G>\\351f\\372=9\\021\\034\\275\\020\\3748>\\245\\272\\204=X\\311\\373;\\201r\\010\\276\\2537`>rT\\350<\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_324\"\n", + " raw_data: \"\\235\\302\\340=\\346\\264\\007>\\221)\\033\\275\\251)\\202\\275\\033\\023\\\">\\315Q\\026>\\363xZ=G\\023\\205\\275\\021\\035\\230=\\317\\203]\\276~#\\225\\275\\177\\336<\\276PS\\234\\275\\\"H\\262\\275\\033\\374!\\274:=O\\275\\205\\304\\001\\276\\365\\230\\256\\275\\224B7>\\207\\361F\\276\\323\\000\\r\\276\\'^,\\276\\265\\270R\\276f\\005\\301=`\\311\\367\\275\\0166\\324\\274\\220k\\273=-\\'\\004>\\370\\013\\033\\2763\\371P>c\\351\\210\\275:c!>\\0025\\034\\276\\274\\020\\204\\275\\r0S>\\262|\\n\\276\\241\\221\\376=\\007\\247\\377\\271Z\\274\\263<\\177\\013\\016\\276\\267x5>\\321DO\\276B\\343\\376=\\253\\025\\367\\275\\313\\325\\373\\275\\243X\\377=\\234\\260\\300<`\\014R>\\266\\033\\\"\\276\\257l\\017\\273\\001\\276\\314=\\225p\\266\\274\\002\\247\\270\\275\\024\\273b>\\303F\\000\\276\\245\\360\\270\\275!+\\364\\275m\\256\\200<\\204\\211\\030>U\\232\\241=~t\\341\\274\\021\\002\\257\\275\\200\\252\\212\\275h\\026\\203<>\\246`\\275j}.\\276\\017\\374\\'9w\\260\\220=\\340\\325\\256=\\022=\\344<\\257\\227G\\276yE\\013\\2761\\035\\010>\\303\\312;>\\305\\221;;\\203E\\020>Mc\\312\\275\\221[\\354=D\\3155\\276B\\033\\001>\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_329\"\n", + " raw_data: \"}\\361a>\\227\\225->\\250m\\'\\276M\\306\\032\\276\\342\\212_>\\310M\\264\\275n\\367\\003\\276\\223fO\\276_*\\\\>\\n5\\310\\275\\241\\033O\\275\\363\\212;\\274\\377\\253\\260{\\003\\365\\275f\\215\\275=\\211\\341;\\276qw;\\276\\267\\214\\007>\\206\\261\\322=\\233\\2778\\276V\\337W>p\\032r\\2757\\347;>#\\264\\331\\275\\214\\\"\\365=\\350\\332T\\275Y,\\223\\275\\241\\000\\276\\275A\\312e=\\301\\356U=v\\322\\027>\\334B\\025>e\\334\\336=\\265\\347D\\276\\226\\0279\\276M\\376\\032>\\274:\\314\\275V\\325\\310\\275\\216\\000L\\276\\273w8\\276\\265\\243(>5\\212\\\">\\327\\306\\230\\273\\356\\204\\003>\\215\\341\\356<\\336+\\230\\275\\264\\334&\\276M\\242A\\2766\\000\\250=A\\\\O\\272!g\\272=\\255G\\334=\\227\\240\\'\\276\\265\\203\\010>7\\374 \\275\\026\\376\\257\\272\\264M/\\276\\321vc>\\370,4>\\214\\370\\n>^9=>\\235\\n\\005>\\253^3\\2768\\010\\271\\275\\326\\333\\026>\\037\\nf\\275\\242\\241U>K\\313\\322\\275\\344\\224\\325<\\322\\236\\300\\275\\343\\361\\277=\\203K=>\\0357Z\\276\\333\\217\\350\\275>\\333\\265\\275i0\\250\\275A\\003\\217\\274\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 160\n", + " data_type: 1\n", + " name: \"onnx::LSTM_334\"\n", + " raw_data: \"Aq6\\276m\\006\\237=\\235\\302\\005\\275\\333\\333\\007=\\306p\\332\\275.\\302B>[\\356\\020\\276\\007[Q>b\\036+\\276\\006j\\244\\275\\246\\225\\211\\273{-+\\275=\\350\\000\\276A\\017C>\\273\\2402>\\264\\234\\200=\\000z->\\355n\\365\\275\\247;\\005>K\\321\\344=\\203\\326\\243=\\215H\\023\\276\\241#\\350=z[%>Q\\221\\006\\2769\\216\\245\\275\\254\\203X>\\350o\\024\\275\\365(\\245=\\343o\\260=\\205?\\003>>~\\n\\276\\276\\361C>>\\206V>\\335|0>\\2472\\376\\275P\\333M<\\241#\\357\\274\\037\\345\\026>:\\304L=\\207\\233\\343=\\250\\242\\000=\\372>\\367<\\214\\250\\311:4\\360\\264\\275\\244\\304\\273\\274\\305\\3615\\275\\035\\020B>\\034\\031\\235\\275\\256\\2654\\276E\\367\\n\\276<\\246\\314\\274\\032\\343W>\\213}8>\\202\\n\\237=\\267\\244\\300\\275Ey\\\">C\\267K>&vB>\\t\\255 \\276\\257\\223\\205\\275 \\246\\365\\275\\221\\270+\\276\\255\\300\\017=[\\275\\036>\\334\\214\\203\\275I\\315?> \\024\\030\\276\\357?c\\276|\\027\\301\\275\\2549\\000\\275\\\\h\\262\\275@E\\270=\\263z@\\276\\210\\373\\002\\2762\\231\\325\\274\\r.\\002>\\301\\272O>\\\\\\315\\027>\\225hY>\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"T\\300\\002=\"\n", + " }\n", + " initializer {\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\376\\003\\374\\004\\004\\004\\372\\375\\377\\002\\003\\371\\004\\373\\372\\002\\376\\000\\377\\374\\005\\377\\372\\374\\374\\375\\006\\375\\376\\374\\376\\007\\376\\007\\005\\007\\001\\376\\376\\001\\004\\004\\377\\004\\001\\001\\377\\000\\374\\372\\004\\004\\375\\375\\376\\000\\005\\376\\002\\005\\004\\000\\374\\376\\377\\001\\003\\000\\000\\006\\373\\002\\372\\007\\373\\372\\003\\001\\373\\007\\003\\003\\001\\007\\376\\004\\372\\004\\003\\374\\377\\377\\372\\372\\005\\375\\374\\006\\003\\003\\002\\000\\377\\005\\377\\000\\002\\373\\005\\376\\002\\000\\001\\373\\004\\003\\006\\001\\004\\377\\375\\001\\004\\006\\375\\376\\373\\377\\375\\007\\375\\376\\005\\002\\372\\007\\375\\001\\003\\002\\004\\006\\372\\372\\001\\377\\002\\007\\004\\377\\001\\000\\002\\376\\003\\004\\005\\372\\374\\374\\004\\375\\003\\377\\001\\005\\377\\377\\376\\377\\374\\005\\004\\377\\376\\004\\376\\006\\004\\001\\003\\372\\003\\001\\375\\375\\374\\001\\003\\377\\374\\372\\001\\006\\007\\006\\377\\001\\373\\374\"\n", + " }\n", + " initializer {\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\371\"\n", + " }\n", + " initializer {\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\007\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\377\\000\\004\\004\\002\\003\\006\\375\\377\\371\\377\\001\\003\\002\\004\\002\\007\\001\\377\\003\\000\\376\\003\\000\\372\\375\\001\\006\\372\\372\\004\\376\\375\\375\\372\\000\\375\\005\\373\\003\\375\\375\\007\\000\\373\\000\\375\\002\\006\\374\\374\\002\\007\\376\\000\\374\\001\\002\\377\\004\\377\\006\\375\\375\\006\\374\\003\\372\\373\\373\\374\\374\\371\\376\\371\\376\\000\\000\\376\\004\\005\\007\\000\\377\\002\\002\\004\\004\\375\\003\\005\\005\\377\\375\\374\\002\\374\\002\\374\\377\\373\\003\\003\\007\\003\\376\\375\\376\\002\\000\\001\\373\\005\\007\\005\\005\\373\\374\\001\\371\\001\\377\\005\\374\\003\\371\\376\\000\\372\\374\\005\\371\\001\\373\\375\\372\\376\\371\\373\\372\\372\\005\\372\\000\\004\\375\\003\\377\\003\\005\\377\\376\\376\\373\\377\\006\\373\\375\\002\\001\\005\\374\\374\\374\\001\\373\\371\\007\\003\\003\\002\\005\\002\\376\\006\\376\\376\\002\\373\\005\\372\\002\\372\\376\\373\\003\\373\\000\\374\\004\\004\\003\\004\\000\\004\\002\\001\\004\\375\\377\\000\\004\\005\\007\\377\\376\\001\\002\\004\\006\\376\\374\\004\\374\\005\\004\\372\\000\\376\\006\\002\\001\\374\\001\\373\\372\\005\\376\\004\\372\\006\\374\\003\\004\\377\\006\\372\\005\\005\\004\\005\\000\\003\\005\\005\\373\\372\\006\\003\\373\\002\\373\\375\\377\\377\\004\\376\\006\\001\\372\\374\\005\\002\\377\\003\\007\\372\\373\\005\\373\\005\\006\\000\\371\\372\\375\\001\\004\\375\\372\\000\\376\\002\\376\\002\\003\\372\\376\\000\\004\\003\\000\\004\\376\\374\\377\\000\\374\\005\\000\\005\\004\\004\\373\\373\\371\\376\\004\\004\\005\\376\\001\\000\\000\\002\\372\\007\\372\\377\\373\\002\\006\\377\\003\\006\\001\\375\\375\\377\\376\\377\\372\\003\\373\\000\\377\\000\\001\\372\\373\\006\\377\\373\\007\\001\\376\\004\\375\\371\\377\\004\\002\\371\\004\\004\\006\\006\\371\\005\\375\\002\\373\\004\\374\\372\\000\\001\\374\\376\\001\\007\\001\\001\\374\\373\\002\\000\\003\\003\\000\\004\\004\\005\\377\\000\\376\\377\\006\\377\\001\\373\\374\\003\\375\\373\\373\\004\\376\\007\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\373\\375\\374\\006\\002\\002\\000\\003\\004\\001\\005\\376\\001\\376\\372\\377\\001\\001\\005\\003\\005\\377\\006\\377\\000\\003\\003\\002\\002\\002\\374\\374\\374\\375\\004\\003\\377\\005\\371\\001\\003\\001\\377\\000\\375\\371\\007\\000\\004\\003\\376\\005\\376\\005\\006\\372\\373\\000\\000\\006\\005\\003\\000\\005\\000\\002\\374\\006\\375\\005\\003\\000\\375\\374\\377\\004\\371\\373\\004\\376\\377\\002\\377\\376\\007\\376\\000\\373\\374\\374\\375\\000\\003\\005\\373\\002\\002\\003\\004\\376\\377\\373\\006\\004\\001\\005\\005\\006\\000\\004\\006\\372\\001\\372\\377\\374\\375\\002\\005\\005\\004\\007\\000\\003\\005\\373\\371\\375\\002\\375\\373\\006\\375\\003\\374\\003\\006\\375\\374\\375\\377\\006\\377\\006\\006\\003\\376\\000\\376\\001\\006\\371\\004\\005\\377\\007\\375\\005\\375\\374\\005\\000\\372\\371\\000\\001\\376\\376\\005\\001\\377\\376\\001\\375\\371\\377\\005\\003\\376\\004\\372\\372\\002\\376\\377\\373\\376\\000\\005\\000\\004\\006\\000\\004\\001\\374\\375\\006\\004\\371\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\376\\003\\372\\002\\372\\000\\000\\373\\004\\375\\002\\375\\007\\374\\006\\000\\001\\004\\000\\375\\006\\376\\004\\001\\373\\006\\007\\003\\000\\372\\375\\005\\373\\000\\372\\000\\375\\372\\372\\375\\372\\003\\373\\001\\373\\000\\373\\003\\005\\372\\005\\001\\006\\004\\372\\374\\377\\373\\373\\005\\000\\376\\004\\006\\001\\004\\002\\373\\005\\000\\004\\377\\377\\374\\374\\373\\372\\006\\372\\003\\005\\003\\005\\006\\377\\000\\002\\377\\374\\372\\375\\001\\005\\375\\005\\002\\001\\375\\374\\375\\374\\002\\000\\377\\001\\373\\373\\375\\001\\373\\374\\007\\000\\376\\003\\004\\003\\371\\376\\376\\375\\006\\373\\372\\372\\376\\373\\371\\375\\377\\001\\000\\007\\003\\006\\000\\375\\374\\372\\006\\000\\377\\372\\000\\005\\372\\005\\373\\000\\375\\373\\375\\005\\377\\006\\006\\377\\374\\002\\006\\003\\371\\007\\003\\007\\004\\004\\376\\374\\377\\374\\372\\372\\006\\006\\005\\001\\004\\000\\003\\375\\002\\006\\371\\376\\006\\376\\376\\004\\006\\376\\003\\002\\004\\007\\377\\375\\005\\377\\376\\005\\376\\377\\005\\000\\374\\374\\004\\005\\006\\374\\004\\003\\003\\375\\377\\006\\373\\372\\372\\372\\376\\006\\001\\377\\377\\377\\373\\374\\001\\000\\002\\374\\372\\001\\372\\375\\005\\372\\372\\004\\376\\371\\372\\372\\374\\005\\375\\372\\002\\000\\003\\373\\006\\375\\000\\000\\006\\002\\375\\376\\002\\003\\374\\003\\002\\006\\002\\373\\376\\372\\005\\002\\374\\005\\003\\005\\003\\375\\376\\003\\376\\000\\374\\007\\002\\001\\001\\006\\000\\000\\006\\002\\005\\377\\375\\004\\371\\377\\002\\001\\371\\373\\006\\003\\004\\376\\001\\373\\002\\001\\375\\007\\007\\006\\000\\373\\376\\377\\376\\374\\372\\002\\373\\005\\375\\376\\375\\375\\003\\005\\377\\005\\001\\001\\374\\377\\001\\371\\005\\005\\373\\373\\002\\000\\375\\376\\001\\374\\007\\000\\003\\375\\373\\377\\005\\000\\377\\375\\377\\373\\377\\376\\007\\374\\372\\001\\001\\000\\004\\003\\004\\004\\375\\003\\005\\374\\372\\001\\000\\374\\003\\004\\376\\006\\005\\001\\372\\000\\371\\003\\003\\003\\004\\377\\376\\005\\371\\375\\002\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\374\\004\\376\\004\\005\\000\\007\\005\\373\\004\\374\\006\\000\\372\\004\\000\\006\\001\\006\\003\\373\\002\\375\\004\\372\\375\\374\\372\\007\\005\\005\\000\\371\\007\\006\\377\\006\\003\\374\\377\\003\\373\\000\\003\\374\\375\\372\\004\\373\\374\\372\\376\\003\\006\\372\\376\\007\\004\\000\\376\\001\\004\\006\\374\\004\\377\\001\\003\\373\\003\\005\\001\\374\\376\\002\\002\\374\\006\\005\\002\\002\\000\\004\\373\\374\\373\\375\\007\\003\\000\\001\\005\\003\\005\\004\\374\\001\\001\\005\\006\\374\\006\\005\\372\\373\\003\\372\\371\\374\\001\\375\\374\\001\\377\\373\\372\\377\\373\\375\\373\\372\\377\\374\\007\\004\\005\\000\\002\\006\\007\\003\\375\\000\\002\\007\\005\\377\\375\\374\\006\\375\\375\\371\\000\\373\\005\\002\\002\\374\\003\\007\\372\\005\\007\\006\\005\\007\\006\\373\\374\\373\\375\\004\\376\\375\\005\\006\\003\\000\\376\\001\\002\\005\\007\\002\\003\\000\\006\\001\\374\\005\\005\\375\\373\\003\\377\\377\\005\\007\\003\\373\\372\\000\\376\\001\\002\\004\\000\\001\\002\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\005\\371\\376\\004\\002\\375\\376\\375\\375\\005\\377\\005\\372\\002\\006\\376\\002\\374\\005\\374\\373\\374\\007\\002\\372\\000\\004\\001\\004\\372\\006\\005\\373\\006\\375\\003\\372\\003\\373\\373\\006\\371\\375\\007\\006\\001\\003\\375\\375\\003\\006\\372\\376\\006\\003\\005\\373\\376\\376\\007\\374\\002\\372\\376\\000\\007\\007\\005\\374\\372\\002\\005\\002\\372\\001\\371\\372\\004\\372\\374\\006\\006\\377\\000\\005\\375\\003\\000\\373\\372\\004\\000\\001\\006\\375\\006\\001\\002\\374\\004\\375\\001\\372\\377\\004\\375\\005\\377\\005\\377\\001\\374\\372\\002\\375\\377\\004\\374\\373\\374\\006\\375\\007\\000\\377\\371\\006\\376\\376\\373\\006\\374\\006\\004\\007\\374\\375\\004\\371\\004\\374\\000\\006\\004\\371\\002\\005\\001\\001\\375\\372\\004\\006\\373\\005\\003\\002\\004\\373\\372\\374\\005\\002\\001\\375\\004\\003\\002\\377\\374\\004\\374\\376\\000\\372\\005\\374\\003\\002\\372\\373\\001\\377\\371\\371\\004\\372\\006\\001\\001\\376\\003\\000\\372\\377\\007\\003\\006\\373\\002\\373\\007\\001\\001\\375\\004\\003\\006\\007\\374\\004\\373\\376\\007\\000\\004\\001\\006\\374\\373\\004\\006\\001\\005\\372\\004\\376\\005\\003\\376\\372\\002\\001\\007\\375\\372\\005\\001\\372\\004\\001\\006\\006\\003\\001\\376\\376\\001\\373\\001\\005\\376\\001\\001\\004\\371\\377\\000\\000\\002\\371\\006\\377\\001\\373\\006\\374\\374\\004\\002\\007\\375\\002\\001\\005\\373\\003\\000\\373\\376\\006\\372\\002\\000\\372\\000\\372\\006\\373\\374\\377\\001\\000\\004\\373\\377\\007\\000\\007\\003\\373\\005\\004\\373\\006\\004\\372\\006\\005\\003\\005\\000\\371\\374\\005\\000\\374\\372\\005\\375\\376\\374\\001\\004\\003\\002\\376\\003\\372\\003\\000\\003\\007\\373\\004\\004\\006\\374\\003\\374\\372\\377\\005\\004\\000\\001\\001\\000\\371\\373\\372\\005\\004\\005\\001\\005\\373\\007\\375\\372\\003\\006\\376\\372\\005\\003\\372\\376\\377\\372\\002\\004\\376\\002\\004\\000\\374\\372\\000\\004\\004\\005\\376\\002\\372\\006\\000\\376\\001\\000\\007\\003\\375\\002\\373\\001\\007\\371\\377\\005\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 3\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\004\\372\\375\\372\\000\\371\\006\\006\\001\\377\\377\\002\\007\\001\\373\\007\\003\\371\\002\\001\\375\\005\\377\\004\\006\\002\\377\\376\\007\\003\\374\\374\\002\\377\\372\\001\\005\\372\\000\\375\\373\\000\\372\\003\\372\\373\\007\\374\\377\\374\\001\\375\\376\\375\\377\\006\\005\\006\\006\\006\\007\\375\\377\\006\\001\\375\\376\\372\\004\\375\\001\\377\\006\\000\\005\\001\\375\\002\\377\\007\\000\\003\\003\\373\\377\\002\\000\\377\\004\\374\\004\\375\\004\\372\\004\\374\\371\\374\\005\\371\\005\\006\\376\\002\\000\\376\\004\\001\\002\\002\\003\\372\\377\\375\\377\\373\\001\\006\\374\\374\\374\\002\\372\\373\\372\\377\\376\\371\\376\\006\\375\\372\\007\\000\\374\\007\\007\\372\\001\\373\\004\\374\\372\\376\\375\\373\\375\\004\\377\\000\\375\\000\\375\\006\\004\\373\\006\\001\\001\\372\\377\\374\\006\\377\\004\\001\\000\\006\\373\\002\\007\\005\\005\\373\\001\\006\\007\\374\\001\\001\\004\\377\\004\\003\\001\\372\\004\\376\\002\\372\\376\\374\\372\\372\\374\\374\\375\\373\\004\\006\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\375\\007\\377\\372\\006\\006\\376\\001\\376\\003\\372\\372\\006\\375\\000\\002\\374\\000\\003\\005\\375\\376\\007\\005\\000\\372\\003\\372\\006\\000\\376\\006\\371\\005\\374\\376\\006\\372\\373\\375\\372\\377\\376\\376\\377\\006\\375\\003\\371\\003\\000\\001\\001\\001\\377\\000\\374\\004\\001\\004\\003\\003\\002\\373\\006\\375\\006\\372\\004\\006\\005\\004\\005\\002\\375\\373\\372\\000\\375\\000\\006\\376\\373\\372\\001\\003\\007\\000\\375\\006\\000\\001\\006\\006\\377\\006\\372\\375\\373\\004\\372\\374\\376\\005\\376\\006\\373\\001\\002\\372\\374\\375\\002\\002\\004\\371\\006\\001\\373\\002\\377\\377\\006\\006\\377\\373\\002\\002\\377\\006\\371\\375\\373\\001\\371\\373\\002\\374\\375\\377\\371\\373\\002\\372\\373\\372\\376\\375\\004\\376\\377\\376\\002\\372\\000\\375\\000\\372\\000\\007\\006\\377\\000\\376\\007\\000\\002\\004\\375\\377\\006\\374\\377\\007\\372\\004\\002\\001\\371\\371\\373\\376\\006\\004\\375\\002\\376\\376\\005\\003\\373\\001\\007\\374\\001\\003\\007\\000\\005\\377\\007\\001\\377\\004\\003\\006\\004\\000\\377\\004\\375\\374\\002\\004\\375\\006\\372\\376\\007\\377\\375\\372\\374\\002\\373\\374\\000\\001\\002\\375\\004\\372\\371\\002\\376\\003\\005\\372\\002\\004\\376\\003\\007\\004\\000\\000\\372\\376\\000\\004\\374\\004\\006\\004\\373\\374\\376\\001\\000\\006\\373\\004\\376\\375\\375\\006\\377\\003\\374\\375\\377\\000\\376\\006\\006\\373\\005\\004\\006\\004\\006\\372\\005\\374\\006\\001\\006\\003\\372\\375\\372\\003\\006\\376\\377\\002\\373\\002\\376\\003\\004\\373\\375\\003\\000\\373\\003\\002\\375\\373\\000\\000\\004\\000\\007\\374\\000\\006\\005\\377\\375\\376\\003\\377\\372\\372\\003\\373\\002\\005\\372\\001\\374\\002\\003\\376\\002\\372\\005\\006\\376\\377\\004\\377\\377\\376\\001\\003\\004\\004\\372\\005\\005\\003\\375\\376\\376\\372\\376\\006\\000\\005\\003\\006\\006\\001\\374\\375\\375\\377\\374\\377\\001\\000\\007\\004\\377\\005\\006\\000\\376\\006\\006\\373\\005\\006\\000\\374\\006\\000\\375\\003\\000\\374\\000\\002\\375\\003\\373\\006\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.0.0/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 1\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"onnx::Expand_81\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Squeeze_82\"\n", + " raw_data: \"\\002\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Squeeze_83\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_87\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_320\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_98\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_321\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\007\\000\\006\\372\\007\\375\\376\\000\\003\\003\\000\\006\\373\\376\\371\\000\\375\\376\\374\\373\\373\\371\\001\\002\\007\\372\\003\\373\\003\\004\\377\\002\\374\\003\\003\\003\\005\\375\\376\\006\\376\\376\\375\\374\\005\\005\\001\\006\\001\\004\\375\\007\\373\\004\\005\\007\\371\\376\\005\\007\\372\\374\\003\\374\\377\\004\\001\\375\\006\\006\\005\\373\\372\\377\\001\\375\\373\\372\\004\\375\\371\\376\\000\\001\\002\\374\\373\\371\\006\\372\\003\\001\\002\\373\\000\\377\\375\\005\\007\\374\\371\\374\\006\\006\\005\\004\\377\\002\\004\\004\\006\\000\\002\\372\\003\\376\\001\\001\\375\\006\\373\\373\\005\\004\\001\\373\\376\\001\\372\\000\\371\\005\\004\\001\\004\\005\\005\\001\\006\\005\\006\\001\\372\\375\\375\\000\\007\\373\\372\\003\\001\\377\\372\\006\\005\\005\\001\\000\\007\\002\\003\\374\\373\\005\\007\\375\\006\\372\\000\\000\\372\\375\\004\\374\\000\\003\\005\\006\\374\\005\\373\\375\\001\\005\\002\\003\\002\\373\\004\\004\\003\\377\\000\\005\\377\\371\\001\\373\\003\\374\\001\\375\\374\\377\\000\\372\\001\\004\\374\\377\\375\\372\\000\\003\\375\\375\\000\\371\\004\\376\\373\\374\\375\\376\\003\\376\\006\\003\\376\\377\\006\\002\\377\\001\\373\\375\\002\\001\\375\\372\\007\\375\\006\\001\\002\\376\\000\\375\\005\\376\\375\\371\\007\\001\\005\\002\\001\\002\\371\\377\\374\\006\\006\\005\\000\\373\\373\\372\\376\\377\\006\\372\\371\\002\\005\\372\\003\\002\\373\\006\\375\\373\\372\\000\\001\\374\\376\\006\\005\\005\\005\\373\\375\\376\\371\\002\\005\\371\\375\\372\\377\\004\\377\\002\\373\\003\\007\\005\\371\\375\\371\\375\\003\\377\\003\\006\\000\\372\\001\\374\\004\\005\\373\\373\\374\\007\\003\\000\\004\\005\\375\\371\\377\\375\\002\\377\\374\\003\\373\\000\\375\\002\\004\\004\\003\\373\\373\\002\\004\\373\\006\\005\\371\\376\\376\\372\\005\\003\\002\\006\\002\\375\\005\\374\\372\\005\\372\\001\\004\\006\\006\\004\\375\\372\\004\\377\\375\\375\\003\\001\\006\\374\\005\\003\\002\\004\\375\\004\\001\\000\\001\\374\\376\\375\\003\\000\\003\\006\\002\\007\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\001\\372\\375\\007\\003\\372\\004\\373\\001\\374\\372\\377\\376\\373\\374\\374\\373\\003\\005\\006\\371\\000\\004\\002\\002\\374\\372\\374\\374\\374\\376\\004\\004\\373\\002\\007\\373\\371\\006\\373\\372\\001\\007\\375\\374\\005\\004\\005\\006\\004\\374\\003\\001\\002\\373\\377\\371\\003\\373\\007\\003\\373\\006\\000\\376\\001\\002\\371\\376\\002\\005\\005\\373\\001\\003\\002\\371\\002\\001\\000\\007\\373\\005\\001\\373\\371\\377\\374\\371\\002\\373\\375\\006\\004\\372\\004\\001\\373\\006\\002\\002\\372\\001\\374\\375\\373\\374\\002\\000\\002\\374\\372\\372\\371\\002\\377\\003\\377\\374\\375\\374\\372\\372\\375\\377\\004\\375\\377\\002\\001\\374\\375\\000\\373\\002\\007\\000\\373\\372\\373\\004\\371\\005\\003\\005\\376\\004\\372\\374\\371\\377\\002\\372\\006\\376\\375\\005\\374\\005\\375\\005\\371\\002\\375\\003\\375\\377\\003\\002\\000\\371\\372\\372\\005\\005\\373\\001\\003\\003\\006\\003\\007\\006\\374\\377\\005\\375\\372\\005\\377\\372\\006\\002\\375\\002\\372\\004\\372\\004\\377\\004\\376\\373\\002\\377\\373\\007\\376\\007\\003\\002\\007\\006\\375\\375\\371\\376\\372\\001\\006\\003\\377\\003\\377\\007\\006\\003\\373\\372\\374\\376\\375\\377\\002\\002\\007\\001\\006\\376\\376\\001\\377\\000\\004\\003\\005\\377\\004\\004\\373\\002\\372\\004\\000\\000\\002\\375\\000\\005\\002\\004\\006\\002\\001\\000\\007\\005\\006\\376\\000\\375\\375\\004\\000\\374\\374\\376\\003\\004\\004\\373\\377\\003\\373\\377\\001\\002\\376\\376\\376\\001\\371\\006\\007\\004\\005\\372\\002\\377\\373\\001\\002\\000\\377\\372\\377\\372\\001\\375\\374\\003\\375\\377\\376\\003\\004\\004\\002\\376\\002\\004\\006\\372\\003\\373\\372\\004\\000\\000\\001\\000\\002\\372\\007\\001\\374\\003\\374\\007\\005\\377\\372\\005\\377\\375\\005\\373\\002\\376\\005\\007\\006\\005\\005\\374\\005\\006\\373\\376\\374\\004\\005\\007\\372\\375\\375\\374\\372\\372\\005\\376\\371\\372\\377\\002\\374\\372\\006\\374\\000\\372\\004\\372\\006\\002\\006\\371\\372\\005\\003\\004\\004\\000\\372\\006\\372\\002\\003\\000\\375\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\372\\000\\002\\006\\371\\004\\001\\001\\005\\005\\371\\000\\004\\000\\005\\001\\376\\372\\373\\007\\375\\002\\374\\375\\004\\372\\007\\005\\007\\373\\371\\001\\000\\001\\376\\001\\004\\004\\375\\004\\374\\007\\376\\374\\371\\001\\004\\376\\005\\375\\373\\375\\373\\374\\377\\372\\377\\006\\001\\005\\004\\375\\374\\375\\002\\377\\374\\007\\373\\002\\372\\006\\006\\000\\006\\376\\377\\371\\006\\375\\373\\375\\007\\371\\376\\372\\374\\005\\004\\004\\371\\001\\002\\003\\373\\007\\004\\377\\005\\005\\006\\002\\001\\001\\374\\007\\374\\376\\006\\003\\376\\005\\001\\376\\006\\000\\000\\005\\007\\375\\002\\004\\006\\002\\003\\376\\005\\374\\372\\003\\001\\004\\374\\001\\005\\375\\005\\007\\377\\375\\000\\376\\372\\004\\002\\004\\376\\377\\006\\004\\000\\002\\373\\374\\376\\001\\000\\005\\377\\006\\373\\004\\376\\376\\375\\006\\005\\375\\371\\006\\375\\000\\375\\003\\000\\001\\372\\001\\002\\373\\374\\004\\374\\375\\376\\375\\007\\006\\003\\374\\006\\003\\001\\000\\375\\005\\001\\373\\006\\003\\001\\006\\000\\002\\375\\007\\000\\372\\001\\001\\372\\377\\374\\375\\004\\006\\006\\002\\000\\375\\372\\006\\001\\006\\001\\374\\003\\006\\376\\004\\371\\003\\004\\003\\002\\376\\373\\000\\002\\377\\372\\376\\001\\007\\374\\377\\002\\006\\002\\375\\372\\371\\001\\002\\372\\001\\003\\005\\376\\002\\005\\001\\372\\373\\005\\003\\372\\007\\377\\005\\004\\376\\371\\377\\376\\003\\006\\373\\004\\371\\377\\003\\371\\374\\000\\371\\003\\000\\372\\373\\372\\004\\001\\004\\001\\006\\002\\374\\372\\373\\374\\377\\004\\001\\377\\002\\376\\371\\003\\006\\002\\006\\000\\004\\003\\377\\003\\004\\005\\005\\001\\373\\377\\002\\003\\004\\000\\372\\000\\002\\003\\004\\001\\006\\002\\375\\001\\372\\372\\001\\003\\002\\000\\377\\371\\377\\003\\002\\371\\005\\371\\000\\000\\001\\006\\372\\007\\003\\372\\002\\001\\000\\005\\374\\006\\374\\004\\377\\000\\006\\006\\006\\004\\376\\005\\003\\373\\373\\002\\006\\003\\374\\003\\372\\002\\373\\001\\376\\375\\005\\374\\377\\003\\374\\377\\376\\006\\377\\371\\001\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.0.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\376\\004\\003\\001\\006\\371\\000\\004\\002\\375\\000\\005\\375\\372\\003\\002\\000\\004\\374\\373\\005\\007\\375\\003\\374\\375\\375\\000\\376\\376\\003\\007\\005\\373\\002\\005\\375\\001\\375\\005\\003\\007\\374\\000\\000\\376\\003\\372\\001\\372\\005\\007\\373\\000\\375\\003\\002\\003\\006\\002\\375\\377\\372\\374\\376\\001\\001\\002\\371\\375\\375\\377\\004\\374\\372\\003\\377\\006\\372\\375\\003\\377\\375\\373\\373\\002\\377\\002\\372\\006\\376\\377\\376\\000\\376\\001\\005\\000\\373\\004\\007\\007\\002\\000\\373\\375\\374\\374\\001\\003\\000\\002\\371\\374\\377\\005\\374\\375\\006\\002\\004\\001\\002\\371\\007\\001\\376\\372\\375\\377\\377\\377\\372\\372\\003\\000\\001\\001\\002\\001\\374\\005\\003\\376\\003\\006\\006\\000\\000\\372\\374\\372\\005\\007\\376\\001\\376\\003\\372\\002\\005\\006\\001\\001\\374\\005\\003\\000\\373\\004\\374\\001\\003\\003\\371\\000\\377\\005\\007\\374\\001\\000\\374\\372\\371\\374\\373\\372\\377\\377\\000\\373\\003\\373\\002\\005\\007\\000\\005\\004\\372\\377\\001\\371\\006\\001\\376\\000\\373\\373\\005\\377\\005\\004\\001\\003\\376\\002\\376\\374\\005\\002\\373\\002\\374\\376\\371\\377\\377\\003\\003\\376\\371\\004\\001\\004\\372\\006\\373\\377\\376\\372\\000\\002\\374\\006\\003\\376\\004\\375\\373\\374\\004\\000\\377\\002\\006\\373\\001\\373\\376\\001\\001\\372\\001\\377\\005\\375\\372\\375\\004\\376\\377\\001\\000\\003\\003\\375\\003\\001\\006\\376\\376\\376\\376\\000\\371\\002\\001\\000\\005\\001\\006\\374\\003\\006\\377\\376\\374\\375\\007\\373\\004\\377\\375\\003\\373\\000\\006\\377\\007\\376\\371\\003\\006\\001\\004\\377\\003\\375\\001\\004\\004\\373\\375\\376\\003\\373\\373\\372\\372\\374\\001\\007\\001\\000\\373\\377\\376\\005\\002\\007\\006\\003\\373\\005\\375\\371\\372\\374\\003\\007\\376\\002\\377\\375\\376\\006\\377\\002\\375\\007\\375\\003\\002\\006\\003\\004\\372\\005\\374\\003\\372\\000\\374\\005\\005\\002\\002\\003\\376\\007\\002\\371\\373\\375\\006\\374\\374\\377\\375\\004\\375\\373\\006\\006\\003\\005\\006\\375\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.0.1/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_151\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_325\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_162\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_326\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.1/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\351\\323\\002=\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\007\\375\\372\\372\\007\\002\\005\\005\\004\\006\\373\\004\\373\\004\\005\\001\\373\\372\\375\\003\\374\\375\\376\\375\\001\\006\\000\\376\\002\\376\\372\\374\\373\\375\\003\\005\\377\\001\\377\\006\\377\\004\\000\\377\\005\\377\\375\\003\\006\\003\\001\\005\\373\\006\\375\\372\\375\\000\\007\\375\\371\\372\\376\\374\\371\\003\\374\\002\\003\\001\\002\\004\\373\\376\\007\\000\\377\\001\\377\\007\\006\\375\\372\\377\\002\\375\\000\\376\\007\\001\\371\\375\\377\\005\\004\\000\\004\\003\\373\\372\\000\\373\\007\\377\\373\\373\\372\\001\\372\\007\\004\\006\\005\\004\\375\\372\\001\\002\\005\\004\\000\\002\\375\\375\\372\\002\\371\\001\\006\\004\\006\\372\\006\\372\\007\\001\\004\\004\\372\\005\\000\\000\\376\\000\\004\\004\\003\\372\\372\\001\\372\\006\\372\\005\\374\\003\\372\\377\\374\\003\\371\\000\\371\\000\\373\\000\\372\\000\\004\\375\\000\\006\\002\\000\\376\\005\\002\\007\\372\\006\\371\\373\\005\\005\\005\\000\\006\\371\\377\\002\\376\\001\\377\\000\\373\\000\\377\\375\\372\\002\\377\\000\\375\\004\\001\\375\\373\\001\\373\\374\\376\\374\\374\\375\\373\\006\\007\\002\\003\\001\\005\\002\\006\\002\\003\\005\\372\\372\\000\\005\\003\\006\\005\\000\\377\\373\\377\\007\\376\\374\\001\\006\\371\\375\\005\\371\\007\\005\\376\\377\\004\\004\\377\\002\\000\\371\\001\\000\\375\\374\\004\\000\\003\\000\\371\\004\\372\\377\\373\\371\\000\\373\\001\\003\\001\\002\\002\\006\\371\\003\\373\\002\\005\\377\\372\\007\\376\\000\\002\\006\\375\\002\\377\\376\\372\\372\\374\\376\\000\\376\\377\\002\\000\\376\\371\\001\\003\\004\\003\\005\\374\\001\\374\\375\\005\\004\\376\\377\\003\\002\\000\\371\\376\\006\\372\\000\\006\\000\\374\\376\\376\\376\\371\\000\\374\\375\\003\\373\\006\\002\\002\\376\\004\\000\\377\\374\\373\\372\\372\\004\\372\\004\\003\\375\\377\\000\\372\\000\\373\\374\\007\\375\\372\\372\\372\\376\\372\\371\\000\\005\\374\\373\\000\\001\\373\\002\\005\\371\\001\\374\\374\\372\\000\\371\\377\\004\\001\\376\\376\\000\\376\\001\\002\\005\\000\\376\\003\\374\\377\\373\\377\\002\\002\\000\\002\\000\\375\\000\\004\\371\\374\\377\\376\\007\\371\\375\\377\\003\\006\\007\\006\\004\\006\\006\\374\\371\\000\\377\\000\\372\\373\\002\\374\\005\\376\\372\\373\\002\\003\\375\\373\\001\\004\\000\\373\\002\\003\\004\\373\\003\\003\\374\\374\\377\\007\\003\\000\\377\\371\\006\\000\\377\\006\\372\\004\\004\\000\\001\\002\\372\\000\\377\\377\\000\\375\\001\\372\\376\\001\\003\\377\\000\\374\\003\\377\\374\\371\\005\\003\\376\\000\\377\\003\\003\\375\\003\\374\\374\\000\\373\\001\\374\\000\\005\\374\\006\\374\\000\\377\\006\\377\\371\\375\\376\\372\\005\\005\\005\\372\\003\\001\\375\\003\\002\\000\\001\\001\\374\\375\\371\\002\\001\\001\\376\\375\\377\\372\\005\\376\\000\\000\\004\\000\\000\\372\\373\\005\\377\\374\\005\\005\\375\\374\\374\\003\\375\\375\\377\\375\\375\\375\\373\\006\\374\\004\\376\\001\\004\\376\\375\\376\\377\\000\\376\\000\\004\\001\\372\\375\\372\\373\\006\\002\\006\\001\\001\\007\\006\\371\\373\\001\\372\\375\\002\\375\\005\\377\\371\\002\\007\\006\\372\\376\\373\\005\\003\\377\\002\\007\\371\\005\\377\\000\\371\\002\\002\\004\\373\\376\\005\\003\\002\\004\\004\\372\\376\\006\\005\\374\\377\\001\\003\\001\\377\\375\\376\\377\\006\\373\\006\\001\\375\\374\\000\\000\\377\\000\\374\\004\\000\\374\\373\\004\\000\\002\\374\\374\\375\\007\\004\\371\\002\\377\\375\\372\\376\\001\\372\\003\\377\\001\\374\\003\\004\\000\\006\\005\\000\\001\\002\\003\\007\\374\\003\\002\\376\\375\\005\\006\\000\\006\\001\\006\\007\\374\\376\\001\\376\\001\\377\\375\\004\\375\\373\\002\\003\\007\\377\\000\\001\\375\\372\\007\\005\\372\\372\\005\\003\\374\\000\\005\\001\\001\\000\\004\\376\\377\\001\\004\\002\\000\\005\\376\\375\\375\\373\\374\\001\\377\\005\\004\\000\\377\\002\\002\\004\\002\\377\\005\\372\\005\\006\\375\\371\\376\\003\\005\\001\\375\\003\\005\\375\\007\\372\\005\\000\\005\\377\\374\\374\\373\\002\\004\\376\\004\\377\\005\\001\\005\\375\\000\\001\\376\\002\\006\\374\\005\\377\\007\\007\\005\\003\\371\\374\\007\\373\\376\\003\\003\\004\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\007\\375\\001\\376\\374\\004\\003\\002\\375\\004\\373\\006\\003\\376\\005\\375\\376\\003\\377\\374\\376\\001\\376\\377\\006\\375\\375\\007\\376\\374\\001\\006\\001\\371\\374\\372\\372\\377\\000\\000\\377\\001\\000\\005\\002\\374\\377\\005\\373\\375\\372\\376\\377\\006\\371\\373\\373\\377\\004\\377\\003\\003\\002\\376\\371\\003\\004\\372\\377\\376\\374\\006\\003\\375\\374\\377\\002\\000\\374\\375\\377\\001\\373\\374\\002\\003\\371\\006\\375\\374\\376\\001\\003\\373\\004\\000\\372\\003\\001\\372\\005\\000\\377\\376\\004\\377\\377\\374\\004\\373\\006\\374\\372\\007\\376\\004\\375\\002\\374\\002\\377\\375\\006\\376\\374\\003\\374\\005\\377\\375\\004\\004\\376\\376\\377\\002\\371\\006\\006\\005\\004\\376\\375\\006\\373\\002\\002\\373\\006\\372\\002\\375\\001\\374\\372\\004\\002\\006\\006\\001\\002\\374\\375\\372\\004\\377\\001\\001\\377\\002\\377\\375\\001\\005\\372\\375\\002\\373\\002\\375\\006\\000\\005\\376\\005\\377\\373\\003\\373\\005\\000\\000\\004\\000\\001\\005\\001\\374\\372\\003\\373\\375\\006\\375\\372\\006\\000\\376\\003\\000\\376\\376\\002\\376\\374\\006\\371\\372\\377\\376\\001\\002\\377\\006\\002\\006\\006\\003\\377\\001\\002\\373\\377\\001\\002\\376\\376\\375\\377\\375\\003\\372\\004\\373\\000\\005\\004\\373\\003\\000\\001\\002\\006\\377\\376\\002\\373\\002\\375\\005\\006\\373\\006\\372\\000\\001\\001\\001\\006\\005\\000\\373\\000\\376\\377\\006\\005\\372\\005\\005\\377\\004\\000\\376\\005\\005\\001\\002\\373\\377\\006\\001\\375\\007\\002\\004\\000\\376\\374\\374\\000\\004\\004\\376\\007\\005\\372\\371\\374\\002\\001\\372\\375\\004\\002\\000\\373\\001\\372\\000\\377\\001\\377\\006\\002\\372\\000\\376\\374\\002\\005\\374\\374\\376\\373\\375\\001\\373\\372\\376\\000\\375\\001\\005\\005\\373\\376\\000\\373\\006\\371\\372\\006\\006\\004\\000\\372\\377\\005\\377\\004\\004\\374\\371\\000\\006\\000\\002\\003\\001\\000\\371\\005\\375\\371\\372\\374\\372\\376\\004\\003\\375\\000\\005\\376\\373\\372\\006\\377\\377\\003\\004\\376\\002\\004\\001\\374\\000\\004\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\376\\003\\376\\372\\373\\000\\000\\002\\003\\002\\003\\006\\377\\372\\001\\372\\376\\376\\001\\376\\000\\000\\000\\375\\001\\006\\371\\007\\002\\371\\376\\372\\005\\006\\377\\002\\000\\374\\002\\372\\371\\372\\004\\003\\377\\005\\376\\375\\371\\005\\002\\000\\007\\006\\006\\001\\005\\001\\005\\000\\373\\006\\006\\002\\001\\375\\376\\006\\004\\004\\375\\003\\006\\001\\373\\000\\372\\005\\005\\372\\377\\372\\000\\375\\002\\001\\376\\376\\001\\006\\000\\374\\001\\001\\372\\373\\373\\006\\377\\004\\001\\002\\004\\005\\001\\007\\005\\004\\372\\001\\373\\374\\005\\005\\371\\005\\372\\003\\375\\373\\375\\003\\005\\000\\004\\371\\003\\374\\377\\006\\004\\373\\000\\005\\000\\002\\373\\002\\003\\375\\375\\007\\006\\372\\006\\374\\373\\004\\006\\005\\006\\003\\005\\372\\374\\005\\374\\005\\001\\003\\375\\373\\001\\376\\371\\002\\000\\001\\002\\000\\004\\375\\377\\375\\375\\375\\373\\376\\373\\005\\000\\373\\376\\372\\003\\375\\371\\005\\003\\372\\004\\007\\002\\003\\373\\376\\376\\373\\001\\371\\373\\005\\004\\004\\372\\000\\375\\372\\376\\003\\004\\000\\375\\377\\372\\000\\376\\004\\003\\002\\006\\004\\376\\005\\377\\002\\376\\006\\004\\373\\006\\001\\005\\004\\374\\377\\372\\375\\375\\374\\005\\000\\372\\376\\006\\004\\003\\006\\374\\004\\372\\001\\371\\004\\004\\004\\006\\371\\006\\001\\004\\372\\002\\372\\376\\001\\374\\006\\373\\371\\377\\004\\005\\003\\002\\377\\005\\001\\374\\005\\373\\001\\374\\377\\002\\374\\375\\376\\003\\375\\000\\376\\005\\375\\003\\002\\006\\006\\001\\375\\372\\003\\376\\004\\002\\375\\004\\003\\376\\373\\377\\375\\006\\003\\003\\373\\373\\372\\374\\372\\373\\004\\000\\001\\002\\373\\000\\377\\006\\003\\004\\001\\373\\377\\372\\376\\003\\006\\000\\006\\373\\005\\377\\377\\003\\373\\003\\003\\001\\377\\374\\005\\371\\373\\003\\000\\003\\376\\003\\001\\372\\374\\375\\001\\373\\372\\005\\000\\007\\372\\376\\372\\377\\373\\373\\003\\004\\004\\002\\377\\003\\377\\004\\000\\371\\373\\003\\377\\376\\006\\001\\006\\004\\372\\004\\376\\003\\377\\007\\374\\005\\003\\004\\373\\375\\376\\005\\004\\002\\006\\372\\004\\000\\375\\373\\373\\000\\006\\371\\001\\002\\375\\006\\003\\374\\372\\007\\002\\005\\373\\005\\007\\376\\002\\374\\376\\376\\377\\375\\373\\000\\374\\373\\000\\002\\006\\006\\376\\372\\372\\000\\001\\371\\372\\372\\001\\003\\005\\373\\377\\377\\371\\005\\005\\007\\372\\006\\372\\000\\004\\003\\373\\376\\007\\374\\372\\002\\375\\001\\006\\002\\003\\007\\004\\003\\377\\373\\000\\004\\377\\007\\003\\003\\004\\373\\006\\005\\376\\007\\371\\002\\001\\005\\006\\377\\000\\371\\004\\005\\373\\375\\373\\374\\000\\005\\374\\001\\000\\004\\373\\001\\006\\372\\003\\003\\376\\375\\376\\374\\373\\000\\376\\372\\004\\002\\005\\005\\377\\002\\002\\004\\007\\374\\377\\373\\376\\003\\375\\002\\001\\002\\004\\005\\372\\374\\373\\002\\002\\002\\001\\377\\006\\006\\007\\373\\374\\002\\000\\373\\002\\001\\376\\005\\372\\374\\000\\004\\001\\002\\006\\373\\004\\003\\376\\371\\002\\001\\000\\000\\000\\375\\373\\004\\005\\005\\377\\374\\002\\376\\377\\375\\377\\376\\377\\377\\372\\372\\001\\374\\377\\001\\005\\004\\374\\001\\002\\373\\372\\000\\376\\375\\375\\002\\000\\375\\000\\372\\001\\372\\006\\374\\001\\000\\003\\374\\375\\373\\002\\376\\007\\376\\005\\374\\376\\006\\372\\376\\000\\002\\376\\003\\000\\373\\375\\007\\373\\006\\001\\376\\377\\004\\005\\371\\373\\004\\001\\376\\006\\005\\373\\004\\002\\003\\375\\376\\000\\006\\373\\000\\003\\001\\373\\375\\376\\003\\372\\373\\002\\001\\002\\377\\377\\002\\004\\007\\002\\373\\372\\377\\003\\377\\374\\006\\006\\374\\000\\377\\006\\000\\376\\003\\005\\004\\377\\372\\377\\000\\007\\002\\373\\371\\373\\000\\376\\371\\374\\374\\377\\372\\376\\006\\000\\003\\006\\001\\000\\372\\005\\376\\002\\002\\005\\377\\374\\375\\000\\002\\377\\377\\377\\001\\377\\373\\006\\007\\006\\002\\377\\374\\001\\007\\000\\376\\375\\000\\004\\006\\006\\375\\003\\375\\371\\375\\376\\371\\000\\006\\374\\005\\376\\371\\373\\376\\005\\000\\002\\005\\002\\376\\002\\371\\371\\372\\376\\006\\377\\000\\376\\005\\374\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\003\\375\\373\\376\\005\\005\\004\\376\\001\\372\\376\\006\\371\\003\\006\\005\\376\\006\\005\\004\\377\\003\\372\\000\\375\\002\\007\\372\\375\\000\\003\\004\\002\\372\\373\\002\\374\\006\\372\\376\\374\\003\\376\\373\\001\\000\\375\\001\\373\\375\\007\\005\\377\\005\\004\\004\\376\\005\\374\\375\\007\\003\\375\\001\\004\\003\\002\\003\\376\\001\\001\\375\\001\\005\\372\\375\\000\\004\\005\\374\\004\\004\\377\\375\\007\\373\\006\\004\\375\\005\\375\\007\\000\\001\\000\\004\\376\\376\\372\\004\\372\\376\\006\\371\\002\\375\\377\\003\\005\\001\\376\\375\\371\\004\\373\\003\\000\\376\\002\\376\\376\\006\\374\\371\\377\\372\\373\\003\\004\\374\\006\\372\\006\\006\\377\\001\\005\\376\\005\\000\\374\\375\\007\\374\\375\\000\\005\\000\\006\\002\\372\\373\\002\\001\\002\\004\\004\\002\\373\\372\\005\\000\\006\\375\\003\\004\\006\\375\\372\\001\\004\\372\\003\\376\\006\\375\\006\\374\\003\\377\\007\\007\\001\\003\\376\\006\\005\\374\\002\\002\\002\\372\\005\\377\\003\\004\\003\\372\\005\\372\\375\\372\\003\\377\\371\\003\\002\\000\\006\\003\\003\\372\\371\\006\\373\\373\\374\\002\\006\\000\\005\\371\\376\\371\\375\\375\\375\\376\\377\\002\\001\\007\\000\\003\\006\\002\\000\\000\\000\\004\\003\\006\\001\\000\\373\\374\\374\\000\\005\\374\\376\\000\\374\\001\\001\\374\\001\\004\\372\\006\\000\\372\\376\\001\\376\\372\\005\\004\\007\\371\\004\\001\\003\\003\\005\\375\\001\\001\\373\\003\\002\\372\\003\\375\\372\\001\\005\\376\\005\\372\\001\\372\\373\\374\\007\\373\\002\\005\\372\\375\\373\\001\\374\\000\\373\\004\\376\\375\\004\\004\\376\\001\\374\\002\\006\\372\\000\\001\\373\\002\\005\\374\\007\\001\\377\\004\\006\\002\\002\\372\\004\\373\\005\\372\\006\\005\\006\\375\\006\\371\\377\\003\\003\\006\\372\\004\\376\\374\\373\\003\\373\\373\\373\\371\\006\\373\\002\\377\\372\\003\\001\\377\\006\\377\\377\\372\\002\\001\\005\\006\\374\\002\\376\\000\\000\\005\\373\\006\\003\\005\\005\\003\\373\\003\\004\\001\\006\\003\\000\\371\\002\\371\\001\\375\\001\\007\\000\\005\\373\\375\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\004\\006\\000\\374\\375\\003\\001\\377\\374\\377\\003\\002\\372\\375\\007\\377\\372\\001\\001\\376\\002\\377\\376\\000\\004\\376\\372\\003\\000\\004\\374\\373\\007\\376\\007\\377\\005\\003\\005\\374\\372\\001\\002\\376\\006\\372\\373\\007\\372\\374\\002\\002\\003\\004\\376\\005\\002\\002\\372\\376\\004\\374\\004\\001\\003\\375\\375\\006\\374\\377\\372\\006\\374\\006\\003\\377\\005\\377\\003\\377\\373\\377\\006\\001\\006\\001\\001\\374\\374\\375\\373\\372\\373\\007\\004\\377\\001\\004\\372\\006\\005\\372\\004\\376\\005\\003\\377\\375\\373\\005\\002\\371\\373\\001\\001\\372\\375\\372\\372\\003\\005\\377\\373\\001\\004\\374\\377\\002\\002\\004\\003\\006\\001\\372\\372\\372\\377\\001\\005\\004\\374\\372\\375\\001\\374\\377\\376\\373\\000\\004\\000\\002\\000\\376\\002\\373\\001\\377\\006\\371\\002\\001\\006\\373\\005\\006\\004\\002\\007\\001\\371\\005\\000\\003\\005\\001\\377\\377\\006\\002\\000\\004\\376\\006\\372\\373\\003\\372\\372\\005\\001\\002\\004\\376\\005\\376\\373\\003\\002\\000\\003\\005\\374\\374\\004\\377\\004\\006\\371\\377\\003\\007\\375\\004\\003\\376\\001\\371\\004\\373\\006\\006\\006\\376\\374\\007\\006\\373\\002\\001\\371\\377\\007\\005\\003\\377\\373\\004\\000\\005\\377\\375\\373\\375\\003\\004\\006\\377\\006\\377\\376\\006\\375\\000\\377\\376\\004\\001\\000\\374\\372\\376\\002\\001\\006\\374\\377\\006\\006\\372\\002\\373\\004\\371\\372\\375\\374\\001\\377\\001\\007\\007\\000\\001\\375\\004\\373\\006\\377\\375\\377\\003\\376\\376\\372\\376\\371\\002\\373\\006\\006\\005\\006\\001\\374\\001\\373\\374\\377\\001\\000\\003\\374\\004\\001\\372\\005\\002\\376\\000\\007\\001\\373\\006\\003\\375\\006\\004\\002\\005\\005\\001\\373\\005\\373\\001\\003\\374\\000\\002\\372\\377\\002\\007\\373\\374\\005\\372\\377\\007\\002\\000\\002\\374\\002\\002\\372\\374\\372\\372\\376\\002\\003\\006\\001\\003\\002\\372\\375\\005\\005\\000\\005\\373\\003\\377\\002\\005\\001\\002\\004\\004\\376\\375\\375\\006\\375\\377\\006\\002\\003\\376\\002\\372\\377\\001\\377\\007\\004\\005\\374\\001\\372\\003\\373\\373\\001\\374\\001\\376\\373\\377\\002\\376\\005\\376\\004\\005\\005\\002\\375\\374\\373\\000\\376\\377\\373\\371\\006\\003\\002\\000\\005\\003\\005\\006\\371\\005\\002\\005\\001\\376\\376\\005\\374\\003\\001\\001\\375\\002\\372\\005\\377\\005\\007\\003\\006\\000\\377\\003\\006\\375\\004\\005\\001\\006\\005\\005\\001\\374\\371\\000\\002\\007\\374\\004\\372\\376\\372\\006\\000\\376\\005\\000\\372\\377\\002\\373\\373\\000\\375\\003\\376\\374\\377\\000\\006\\373\\373\\372\\007\\005\\374\\004\\004\\373\\005\\005\\374\\372\\005\\376\\004\\376\\374\\007\\007\\004\\006\\375\\377\\375\\374\\375\\006\\002\\006\\002\\006\\376\\002\\372\\377\\001\\376\\377\\377\\002\\001\\371\\374\\374\\000\\375\\376\\005\\372\\371\\376\\006\\373\\001\\000\\371\\375\\001\\006\\004\\005\\005\\002\\375\\001\\375\\376\\003\\374\\006\\006\\377\\003\\376\\000\\373\\377\\375\\001\\004\\374\\374\\373\\373\\372\\376\\376\\005\\001\\373\\002\\374\\374\\004\\376\\377\\371\\005\\372\\000\\377\\001\\006\\006\\377\\375\\003\\373\\373\\373\\371\\001\\374\\374\\007\\373\\371\\007\\375\\374\\004\\004\\002\\004\\375\\001\\001\\003\\375\\371\\003\\373\\000\\377\\001\\001\\376\\374\\373\\000\\375\\001\\007\\373\\375\\373\\001\\375\\002\\005\\372\\374\\006\\374\\375\\004\\372\\002\\372\\001\\372\\002\\376\\374\\002\\007\\000\\376\\001\\002\\001\\377\\003\\003\\004\\374\\006\\377\\004\\373\\375\\002\\006\\374\\005\\005\\377\\001\\374\\375\\006\\004\\002\\000\\376\\005\\005\\376\\377\\005\\374\\002\\371\\006\\372\\002\\003\\376\\005\\373\\003\\006\\005\\004\\376\\002\\001\\374\\001\\375\\372\\006\\003\\005\\376\\003\\004\\002\\006\\376\\003\\376\\003\\000\\002\\002\\377\\373\\007\\374\\002\\377\\374\\377\\001\\376\\377\\006\\005\\006\\006\\377\\375\\001\\007\\377\\375\\374\\002\\000\\002\\007\\007\\371\\003\\000\\003\\004\\004\\004\\006\\005\\375\\376\\001\\374\\374\\377\\006\\005\\004\\376\\377\\000\\374\\372\\374\\002\\001\\002\\372\\006\\001\\373\\002\\003\\006\\377\\375\\006\\372\\001\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\003\\004\\377\\004\\373\\374\\372\\376\\003\\004\\006\\000\\373\\002\\371\\005\\001\\377\\376\\000\\001\\374\\003\\001\\374\\001\\371\\377\\000\\001\\005\\005\\001\\005\\373\\002\\003\\375\\001\\377\\002\\371\\006\\377\\375\\375\\376\\376\\005\\007\\005\\004\\002\\375\\377\\001\\375\\001\\003\\006\\372\\372\\000\\375\\003\\373\\372\\002\\374\\003\\007\\000\\372\\373\\002\\005\\373\\371\\000\\006\\372\\003\\000\\000\\005\\375\\000\\376\\375\\003\\001\\001\\002\\006\\376\\007\\372\\007\\000\\001\\373\\003\\375\\375\\373\\374\\373\\376\\374\\375\\003\\372\\374\\006\\001\\372\\005\\003\\375\\004\\006\\005\\000\\005\\376\\003\\004\\005\\006\\003\\006\\002\\376\\000\\002\\375\\005\\004\\004\\373\\374\\376\\004\\005\\003\\007\\002\\006\\377\\007\\373\\003\\007\\372\\006\\373\\376\\005\\005\\373\\376\\375\\377\\374\\002\\006\\376\\374\\000\\371\\373\\371\\377\\377\\007\\377\\001\\004\\375\\374\\003\\005\\002\\377\\006\\375\\374\\004\\004\\000\\000\\372\\005\\007\\376\\000\\002\\004\\376\\000\\003\\372\\375\\004\\002\\376\\001\\377\\005\\374\\004\\004\\377\\005\\004\\374\\004\\002\\375\\005\\375\\373\\003\\001\\376\\003\\375\\002\\002\\376\\002\\006\\005\\373\\371\\377\\006\\375\\375\\007\\376\\005\\371\\373\\373\\376\\372\\002\\003\\376\\377\\004\\004\\000\\000\\376\\375\\377\\006\\004\\001\\002\\374\\376\\004\\376\\374\\003\\373\\002\\003\\377\\001\\376\\000\\000\\003\\005\\000\\373\\003\\001\\371\\377\\006\\002\\374\\003\\374\\006\\000\\003\\372\\002\\005\\006\\375\\004\\003\\004\\000\\371\\375\\375\\377\\375\\002\\000\\372\\376\\376\\372\\372\\377\\377\\374\\003\\006\\000\\005\\005\\003\\005\\005\\374\\374\\373\\372\\372\\005\\372\\374\\003\\003\\372\\000\\007\\376\\373\\004\\006\\374\\374\\377\\007\\372\\376\\005\\002\\377\\006\\377\\373\\375\\377\\372\\376\\373\\002\\002\\371\\375\\373\\375\\374\\374\\371\\373\\004\\004\\003\\002\\373\\375\\375\\371\\003\\375\\372\\375\\372\\001\\371\\003\\003\\006\\377\\002\\372\\372\\002\\003\\003\\006\\373\\372\\374\\377\\006\\006\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 40\n", + " data_type: 3\n", + " name: \"/layers.1.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\003\\371\\377\\373\\000\\376\\000\\001\\005\\004\\002\\005\\004\\005\\376\\002\\376\\006\\375\\377\\005\\376\\376\\373\\376\\004\\374\\377\\005\\005\\373\\000\\373\\007\\006\\375\\005\\372\\000\\374\\005\\371\\007\\000\\375\\374\\377\\375\\374\\373\\373\\001\\002\\375\\372\\000\\377\\002\\005\\004\\004\\373\\376\\004\\006\\376\\000\\007\\372\\001\\006\\003\\007\\377\\374\\005\\001\\372\\373\\374\\004\\375\\004\\375\\003\\000\\006\\000\\002\\007\\004\\002\\004\\000\\374\\006\\003\\377\\000\\005\\373\\371\\372\\006\\373\\007\\001\\005\\377\\374\\377\\006\\374\\004\\374\\004\\007\\371\\377\\006\\004\\375\\000\\003\\375\\371\\004\\003\\006\\002\\001\\005\\001\\375\\377\\375\\004\\000\\002\\372\\376\\371\\372\\000\\373\\000\\005\\375\\003\\373\\004\\373\\004\\373\\376\\376\\372\\005\\002\\001\\002\\371\\372\\003\\001\\005\\004\\376\\006\\002\\371\\376\\004\\003\\004\\373\\373\\001\\003\\002\\376\\002\\006\\000\\377\\006\\372\\002\\003\\003\\002\\372\\007\\005\\005\\376\\000\\002\\004\\377\\375\\004\\376\\377\\006\\000\\003\\375\\000\\374\\374\\003\\004\\373\\006\\376\\373\\002\\377\\004\\003\\003\\374\\003\\001\\373\\377\\371\\373\\374\\006\\000\\002\\376\\005\\001\\003\\003\\000\\374\\005\\004\\007\\003\\374\\000\\376\\003\\004\\373\\371\\376\\373\\374\\005\\000\\005\\005\\373\\000\\375\\003\\375\\372\\001\\001\\002\\377\\373\\373\\004\\376\\371\\002\\373\\001\\002\\377\\375\\004\\000\\002\\373\\005\\374\\003\\002\\371\\006\\371\\001\\372\\007\\004\\375\\375\\376\\003\\372\\005\\376\\374\\002\\004\\005\\003\\375\\373\\001\\006\\003\\001\\374\\005\\003\\000\\002\\373\\373\\003\\374\\004\\007\\371\\377\\003\\374\\373\\374\\005\\376\\000\\003\\377\\373\\006\\001\\376\\004\\372\\371\\006\\000\\373\\372\\004\\374\\003\\006\\373\\000\\006\\375\\375\\372\\006\\004\\374\\375\\004\\004\\375\\004\\007\\004\\372\\004\\374\\377\\000\\376\\374\\003\\000\\000\\002\\001\\006\\004\\376\\000\\004\\006\\005\\003\\004\\373\\375\\377\\373\\373\\001\\375\\373\\374\\373\\002\\376\\372\\373\\004\\374\\377\\376\\377\\000\\006\\000\\371\\000\\002\\377\\000\\371\\007\\001\\375\\002\\375\\375\\005\\001\\006\\372\\377\\373\\002\\376\\001\\005\\374\\000\\376\\377\\004\\001\\000\\006\\000\\373\\005\\006\\371\\374\\375\\007\\373\\376\\004\\003\\375\\371\\371\\003\\005\\377\\002\\004\\374\\003\\006\\004\\004\\005\\005\\376\\007\\376\\377\\004\\373\\003\\372\\004\\003\\373\\005\\373\\005\\003\\002\\375\\373\\003\\006\\005\\004\\006\\000\\002\\375\\377\\375\\003\\004\\376\\003\\376\\372\\374\\372\\001\\377\\372\\374\\004\\373\\376\\375\\373\\007\\374\\002\\372\\375\\007\\003\\374\\371\\002\\004\\000\\007\\373\\000\\373\\002\\006\\374\\001\\375\\377\\005\\374\\005\\373\\005\\371\\003\\001\\006\\006\\375\\373\\377\\375\\006\\002\\372\\372\\373\\003\\000\\000\\007\\002\\373\\002\\006\\002\\374\\001\\004\\006\\373\\372\\002\\006\\005\\375\\005\\000\\002\\373\\374\\375\\004\\376\\377\\002\\376\\375\\375\\375\\376\\005\\377\\001\\006\\376\\002\\003\\002\\004\\007\\373\\371\\376\\374\\376\\001\\006\\377\\004\\375\\375\\375\\001\\002\\006\\374\\001\\001\\376\\377\\373\\373\\003\\004\\004\\007\\000\\005\\005\\375\\002\\006\\374\\375\\377\\005\\004\\372\\002\\001\\006\\005\\001\\004\\373\\001\\373\\002\\006\\372\\374\\002\\006\\004\\005\\000\\001\\373\\001\\372\\375\\007\\001\\371\\001\\375\\004\\002\\373\\371\\002\\374\\375\\002\\004\\006\\004\\372\\374\\000\\377\\002\\373\\372\\000\\007\\374\\001\\375\\001\\373\\372\\376\\005\\371\\006\\376\\374\\372\\006\\372\\001\\371\\375\\373\\003\\003\\006\\000\\002\\006\\006\\007\\002\\000\\373\\371\\374\\003\\007\\001\\005\\001\\006\\000\\377\\001\\006\\373\\003\\371\\371\\006\\376\\007\\004\\377\\375\\372\\003\\003\\377\\004\\376\\377\\002\\003\\377\\373\\007\\000\\007\\004\\374\\001\\000\\006\\375\\007\\006\\371\\003\\375\\374\\001\\376\\371\\003\\007\\006\\003\\372\\376\\002\\373\\001\\007\\002\\003\\373\\375\\004\\003\\377\\376\\003\\376\\372\\373\\003\\376\\007\\376\\003\\373\\003\\001\\377\\003\\374\\000\\006\\372\\375\\376\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\374\\374\\002\\371\\377\\005\\375\\372\\376\\374\\003\\005\\375\\376\\003\\376\\375\\377\\005\\372\\005\\375\\372\\007\\001\\006\\007\\001\\372\\374\\004\\002\\000\\006\\373\\001\\005\\376\\374\\376\\375\\007\\007\\005\\003\\000\\374\\006\\377\\002\\002\\003\\006\\006\\375\\373\\374\\375\\004\\372\\004\\001\\373\\002\\372\\377\\372\\375\\002\\005\\006\\000\\373\\004\\002\\006\\377\\001\\375\\376\\006\\006\\372\\000\\373\\372\\377\\003\\374\\005\\006\\001\\373\\005\\002\\006\\375\\376\\373\\377\\007\\007\\000\\002\\005\\373\\003\\007\\374\\377\\371\\373\\005\\004\\374\\006\\000\\001\\377\\005\\377\\005\\372\\377\\005\\002\\003\\005\\000\\001\\373\\003\\376\\004\\000\\006\\005\\372\\003\\374\\373\\006\\002\\373\\374\\007\\374\\004\\006\\006\\377\\003\\376\\377\\001\\002\\001\\001\\000\\000\\374\\004\\377\\005\\376\\005\\372\\372\\376\\374\\000\\372\\002\\374\\373\\376\\004\\000\\003\\373\\372\\375\\375\\373\\372\\371\\005\\007\\375\\000\\005\\006\\005\\002\\376\\006\\006\\005\\375\\376\\377\\002\\372\\373\\002\\376\\373\\005\\372\\375\\007\\000\\377\\377\\375\\005\\373\\377\\000\\376\\001\\377\\373\\372\\376\\005\\373\\376\\006\\371\\002\\375\\002\\001\\374\\006\\372\\000\\371\\374\\006\\373\\002\\375\\006\\377\\005\\001\\376\\000\\002\\004\\372\\377\\006\\371\\377\\004\\007\\001\\000\\377\\000\\003\\377\\375\\003\\372\\003\\006\\005\\000\\372\\005\\371\\004\\004\\373\\372\\373\\001\\377\\372\\376\\374\\372\\373\\376\\372\\375\\000\\374\\001\\373\\005\\005\\006\\002\\374\\373\\005\\372\\000\\004\\377\\002\\000\\376\\001\\007\\376\\376\\371\\375\\006\\005\\374\\372\\377\\372\\001\\374\\371\\376\\372\\377\\373\\376\\375\\372\\004\\000\\000\\002\\375\\000\\376\\002\\006\\375\\372\\002\\377\\005\\376\\372\\372\\372\\376\\003\\002\\377\\006\\374\\005\\003\\001\\371\\003\\001\\373\\377\\000\\375\\372\\377\\376\\373\\372\\001\\000\\006\\003\\376\\006\\375\\375\\002\\376\\000\\375\\005\\374\\000\\002\\376\\373\\002\\374\\005\\004\\004\\003\\376\\373\\374\\000\\377\\002\\372\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.1.0/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_221\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_330\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_232\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_331\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.0/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\372\\002\\373\\372\\001\\005\\373\\006\\372\\372\\006\\003\\002\\004\\004\\006\\377\\373\\374\\001\\004\\372\\375\\006\\375\\003\\000\\005\\007\\007\\002\\371\\001\\000\\001\\375\\005\\006\\372\\376\\001\\376\\006\\377\\374\\372\\002\\373\\000\\376\\376\\001\\006\\002\\373\\005\\372\\375\\005\\376\\371\\001\\374\\005\\372\\005\\004\\006\\005\\001\\376\\375\\004\\371\\004\\000\\377\\374\\376\\372\\377\\000\\373\\376\\003\\373\\375\\377\\005\\371\\006\\372\\005\\375\\006\\375\\374\\000\\007\\003\\007\\001\\375\\003\\006\\372\\000\\000\\000\\003\\000\\375\\375\\002\\004\\371\\372\\002\\006\\002\\005\\376\\001\\373\\000\\006\\000\\004\\377\\003\\004\\003\\007\\375\\371\\004\\003\\003\\373\\372\\000\\000\\374\\377\\377\\375\\004\\374\\376\\007\\006\\372\\003\\374\\375\\006\\372\\374\\375\\377\\005\\377\\007\\006\\374\\375\\373\\004\\007\\003\\004\\375\\006\\003\\373\\373\\377\\376\\377\\001\\372\\003\\373\\007\\377\\372\\372\\372\\002\\377\\374\\375\\377\\372\\004\\372\\002\\005\\001\\002\\005\\374\\000\\376\\000\\006\\371\\377\\375\\004\\374\\005\\374\\000\\374\\002\\377\\373\\375\\003\\376\\005\\375\\004\\003\\373\\375\\001\\375\\375\\372\\371\\003\\374\\000\\002\\007\\006\\004\\003\\000\\000\\007\\374\\375\\001\\377\\004\\003\\373\\372\\006\\005\\375\\372\\376\\004\\377\\000\\005\\006\\005\\004\\000\\372\\374\\003\\001\\003\\006\\375\\371\\005\\372\\005\\377\\373\\000\\001\\006\\001\\004\\376\\376\\007\\375\\002\\001\\000\\374\\002\\006\\374\\004\\377\\374\\000\\373\\372\\000\\005\\000\\373\\375\\002\\006\\003\\001\\373\\001\\372\\003\\372\\001\\006\\373\\003\\372\\374\\003\\376\\372\\006\\372\\376\\006\\376\\376\\003\\373\\007\\007\\002\\007\\002\\376\\007\\000\\005\\373\\007\\001\\373\\372\\006\\001\\004\\000\\006\\376\\376\\376\\371\\372\\373\\007\\004\\005\\002\\003\\003\\006\\005\\000\\000\\002\\005\\006\\005\\001\\004\\373\\005\\006\\002\\375\\373\\007\\000\\006\\005\\001\\372\\002\\376\\002\\374\\007\\000\\007\\373\\000\\001\\376\\002\\003\\371\\374\\001\\375\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\377\\003\\002\\006\\002\\001\\000\\376\\373\\375\\005\\005\\371\\002\\373\\003\\004\\005\\004\\373\\005\\375\\374\\004\\007\\003\\375\\001\\006\\006\\004\\376\\377\\007\\005\\003\\374\\006\\006\\372\\003\\372\\001\\373\\373\\375\\373\\005\\374\\001\\373\\373\\372\\001\\000\\005\\003\\003\\006\\373\\371\\375\\372\\001\\375\\375\\373\\375\\004\\000\\003\\000\\006\\001\\001\\374\\377\\375\\005\\376\\001\\000\\003\\005\\376\\372\\002\\001\\372\\375\\002\\372\\002\\374\\005\\004\\372\\006\\003\\372\\003\\002\\000\\005\\006\\374\\004\\004\\375\\374\\002\\375\\001\\006\\377\\371\\372\\373\\003\\373\\375\\004\\375\\375\\377\\371\\005\\005\\376\\377\\371\\006\\377\\373\\003\\373\\372\\001\\005\\375\\376\\007\\374\\002\\004\\005\\372\\374\\005\\376\\374\\005\\004\\002\\376\\371\\375\\371\\002\\003\\004\\007\\000\\002\\005\\000\\002\\377\\371\\005\\001\\000\\376\\005\\375\\003\\377\\004\\000\\003\\005\\006\\375\\376\\375\\377\\005\\372\\376\\375\\005\\006\\374\\002\\373\\002\\374\\374\\377\\377\\377\\373\\376\\375\\371\\001\\006\\006\\371\\000\\376\\001\\377\\374\\004\\374\\005\\000\\373\\000\\004\\372\\377\\375\\376\\006\\376\\005\\372\\371\\007\\006\\371\\001\\377\\374\\006\\377\\002\\377\\372\\372\\004\\004\\007\\000\\375\\004\\374\\372\\003\\001\\000\\000\\002\\002\\374\\375\\006\\372\\372\\374\\372\\001\\006\\002\\376\\004\\006\\375\\376\\006\\372\\003\\374\\001\\373\\003\\376\\375\\375\\372\\377\\005\\374\\004\\377\\001\\375\\376\\006\\005\\372\\007\\007\\002\\001\\375\\001\\004\\004\\003\\377\\000\\376\\372\\004\\000\\377\\373\\373\\002\\002\\371\\377\\373\\002\\005\\372\\375\\004\\374\\377\\374\\372\\377\\374\\373\\006\\000\\371\\375\\000\\004\\372\\373\\004\\001\\000\\002\\374\\376\\004\\374\\003\\000\\000\\001\\005\\003\\005\\376\\004\\373\\006\\000\\006\\006\\001\\374\\371\\006\\374\\376\\006\\003\\371\\376\\000\\001\\002\\374\\003\\005\\003\\005\\376\\000\\005\\000\\377\\376\\007\\006\\001\\002\\376\\371\\376\\373\\002\\373\\373\\003\\006\\371\\375\\372\\375\\376\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\372\\003\\372\\006\\005\\007\\007\\002\\372\\005\\373\\374\\374\\002\\001\\000\\375\\007\\001\\007\\376\\007\\004\\002\\003\\376\\006\\006\\375\\376\\005\\371\\372\\000\\005\\377\\006\\371\\003\\005\\377\\004\\003\\372\\376\\371\\005\\002\\372\\006\\374\\374\\373\\372\\007\\376\\375\\000\\005\\006\\374\\001\\002\\375\\374\\374\\006\\001\\006\\374\\007\\006\\004\\374\\372\\375\\006\\004\\374\\000\\007\\003\\006\\000\\003\\007\\376\\003\\374\\005\\003\\375\\005\\373\\006\\375\\003\\001\\376\\372\\377\\003\\004\\001\\374\\374\\004\\002\\374\\003\\000\\002\\373\\373\\003\\377\\371\\002\\005\\372\\372\\374\\371\\372\\003\\375\\007\\004\\373\\372\\374\\004\\002\\003\\002\\002\\372\\007\\002\\002\\005\\005\\373\\007\\375\\004\\372\\377\\007\\006\\000\\004\\374\\377\\007\\375\\376\\003\\374\\372\\373\\377\\003\\374\\371\\006\\376\\005\\001\\003\\002\\377\\000\\373\\006\\377\\375\\375\\005\\003\\007\\003\\371\\003\\001\\006\\376\\373\\377\\001\\002\\375\\005\\001\\006\\376\\007\\004\\373\\003\\003\\373\\376\\005\\003\\371\\003\\002\\004\\004\\000\\003\\375\\376\\375\\006\\004\\375\\001\\374\\375\\004\\006\\006\\374\\375\\005\\005\\371\\007\\373\\006\\002\\372\\374\\006\\003\\371\\373\\000\\376\\003\\001\\005\\000\\006\\376\\376\\375\\007\\006\\377\\372\\376\\006\\004\\377\\374\\375\\003\\374\\375\\006\\372\\374\\005\\372\\002\\374\\000\\000\\373\\002\\001\\374\\000\\004\\006\\372\\003\\001\\374\\371\\007\\001\\377\\003\\006\\006\\002\\005\\374\\000\\005\\003\\372\\007\\006\\006\\377\\376\\376\\004\\374\\000\\002\\377\\374\\000\\006\\006\\377\\374\\374\\004\\377\\000\\375\\001\\372\\000\\375\\374\\375\\373\\000\\002\\376\\376\\002\\377\\376\\004\\376\\004\\372\\374\\377\\000\\001\\003\\004\\004\\005\\001\\005\\000\\375\\007\\005\\371\\003\\374\\007\\376\\003\\001\\002\\377\\004\\374\\377\\375\\004\\004\\004\\375\\371\\373\\372\\005\\005\\004\\000\\375\\377\\000\\000\\006\\004\\373\\373\\003\\001\\373\\377\\001\\000\\004\\001\\002\\374\\371\\004\\374\\000\\002\\001\\374\\376\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 3\n", + " name: \"/layers.1.1/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\004\\002\\004\\376\\374\\373\\375\\376\\004\\005\\372\\377\\003\\003\\371\\005\\373\\373\\007\\372\\004\\000\\000\\376\\375\\003\\371\\002\\374\\006\\377\\004\\006\\003\\000\\372\\377\\000\\372\\001\\004\\373\\003\\004\\002\\371\\004\\374\\004\\374\\002\\376\\000\\374\\377\\006\\376\\004\\377\\375\\375\\002\\376\\000\\003\\007\\375\\003\\004\\377\\003\\375\\000\\003\\006\\372\\006\\001\\373\\376\\371\\375\\003\\000\\002\\006\\000\\377\\002\\001\\006\\002\\001\\001\\004\\004\\377\\003\\373\\375\\006\\373\\001\\372\\001\\375\\371\\005\\002\\372\\007\\372\\000\\003\\376\\375\\374\\374\\002\\004\\377\\376\\375\\002\\006\\006\\002\\375\\375\\006\\006\\003\\004\\373\\006\\001\\005\\003\\372\\377\\004\\006\\003\\372\\374\\376\\007\\003\\376\\003\\003\\001\\374\\376\\377\\376\\372\\004\\374\\375\\377\\000\\003\\004\\375\\000\\374\\002\\372\\002\\375\\376\\003\\005\\005\\375\\004\\372\\000\\005\\376\\001\\374\\374\\005\\005\\005\\373\\372\\004\\376\\374\\372\\006\\001\\006\\372\\006\\006\\007\\006\\372\\003\\004\\374\\000\\001\\372\\376\\005\\004\\001\\003\\375\\376\\002\\372\\371\\003\\371\\006\\005\\377\\375\\374\\376\\003\\003\\004\\377\\377\\374\\372\\377\\002\\377\\003\\373\\001\\005\\000\\003\\376\\006\\376\\004\\001\\376\\001\\372\\373\\006\\375\\005\\001\\002\\004\\004\\376\\373\\377\\003\\000\\376\\376\\376\\001\\001\\372\\371\\374\\003\\374\\004\\371\\005\\005\\373\\377\\006\\372\\372\\376\\004\\001\\005\\007\\003\\002\\376\\003\\005\\373\\001\\376\\372\\002\\002\\004\\003\\002\\375\\003\\001\\000\\372\\372\\377\\371\\000\\375\\371\\377\\007\\374\\372\\001\\003\\374\\007\\005\\001\\372\\000\\000\\376\\006\\375\\374\\003\\003\\005\\374\\005\\006\\005\\002\\373\\001\\007\\000\\006\\000\\377\\003\\003\\002\\376\\002\\373\\372\\001\\004\\006\\375\\376\\373\\002\\376\\001\\374\\372\\373\\375\\374\\374\\376\\372\\377\\006\\373\\000\\000\\372\\375\\005\\372\\376\\373\\002\\375\\002\\003\\002\\376\\007\\001\\376\\374\\003\\005\\003\\002\\374\\007\\376\\376\\376\\376\\376\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 6\n", + " name: \"/layers.1.1/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\005\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_3_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_285\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_4_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_335\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_5_output_0\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Unsqueeze_296\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/export_handler/Constant_6_output_0\"\n", + " raw_data: \"\\024\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"onnx::Concat_336\"\n", + " raw_data: \"\\001\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.1.1/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " input {\n", + " name: \"inp.1\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 5\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 10\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_319\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_324\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_329\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"onnx::LSTM_334\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 160\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"314\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 5\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 40\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"315\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 4\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"316\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 4\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + "}\n", + "opset_import {\n", + " domain: \"\"\n", + " version: 14\n", + "}" + ] + }, + "execution_count": 30, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_onnx_qcdq\n", + "\n", + "quant_lstm_weight_only_bidirectional_2_layers = QuantLSTM(\n", + " input_size=10, hidden_size=20, bidirectional=True, num_layers=2, weight_bit_width=4, \n", + " shared_input_hidden_weights=True, shared_intra_layer_weight_quant=True,\n", + " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", + "export_path = 'quant_lstm_weight_only_bidirectional_2_layers_shared_q_ih.onnx'\n", + "export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)" + ] + }, + { + "cell_type": "code", + "execution_count": 31, + "metadata": { + "tags": [ + "skip-execution" + ] + }, + "outputs": [ { "name": "stdout", "output_type": "stream", @@ -1271,25 +5529,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 25, + "execution_count": 31, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_onnx_qcdq\n", - "\n", - "quant_lstm_weight_only_bidirectional_2_layers = QuantLSTM(\n", - " input_size=10, hidden_size=20, bidirectional=True, num_layers=2, weight_bit_width=4, \n", - " shared_input_hidden_weights=True, shared_intra_layer_weight_quant=True,\n", - " io_quant=None, bias_quant=None, gate_acc_quant=None, sigmoid_quant=None, tanh_quant=None, cell_state_quant=None)\n", - "export_path = 'quant_lstm_weight_only_bidirectional_2_layers_shared_q_ih.onnx'\n", - "export_onnx_qcdq(quant_lstm_weight_only_bidirectional_2_layers, (torch.randn(5, 1, 10)), opset_version=14, export_path=export_path)\n", "show_netron(export_path, 8087)" ] }, @@ -1305,8 +5553,1153 @@ }, { "cell_type": "code", - "execution_count": 26, + "execution_count": 32, "metadata": {}, + "outputs": [ + { + "data": { + "text/plain": [ + "ir_version: 7\n", + "producer_name: \"pytorch\"\n", + "producer_version: \"1.13.1\"\n", + "graph {\n", + " node {\n", + " input: \"inp.1\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/output_quant/export_handler/Quant_output_0\"\n", + " name: \"/layers.0.0/output_quant/export_handler/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler/Quant_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Quant_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"layers.0.0.input_gate_params.bias\"\n", + " input: \"onnx.brevitas::Quant_22\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/bias_quant/export_handler/Quant_output_0\"\n", + " name: \"/layers.0.0/bias_quant/export_handler/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Quant_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Quant_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"layers.0.0.cell_gate_params.bias\"\n", + " input: \"onnx.brevitas::Quant_30\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/bias_quant/export_handler_1/Quant_output_0\"\n", + " name: \"/layers.0.0/bias_quant/export_handler_1/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Quant_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Quant_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"layers.0.0.output_gate_params.bias\"\n", + " input: \"onnx.brevitas::Quant_37\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/bias_quant/export_handler_2/Quant_output_0\"\n", + " name: \"/layers.0.0/bias_quant/export_handler_2/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Quant_output_0\"\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Quant_output_0\"\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"layers.0.0.forget_gate_params.bias\"\n", + " input: \"onnx.brevitas::Quant_44\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler/Constant_output_0\"\n", + " output: \"/layers.0.0/bias_quant/export_handler_3/Quant_output_0\"\n", + " name: \"/layers.0.0/bias_quant/export_handler_3/Quant\"\n", + " op_type: \"Quant\"\n", + " attribute {\n", + " name: \"narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/output_quant/export_handler/Quant_output_0\"\n", + " input: \"onnx.brevitas::QuantLSTMCell_46\"\n", + " input: \"onnx.brevitas::QuantLSTMCell_46\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler/Quant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Quant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Quant_output_0\"\n", + " input: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Quant_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Quant_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Quant_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Quant_output_0\"\n", + " input: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Quant_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler/Quant_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler_3/Quant_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler_1/Quant_output_0\"\n", + " input: \"/layers.0.0/bias_quant/export_handler_2/Quant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " input: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " output: \"48\"\n", + " output: \"/layers.0.0/export_handler/QuantLSTMCell_output_1\"\n", + " output: \"/layers.0.0/export_handler/QuantLSTMCell_output_2\"\n", + " name: \"/layers.0.0/export_handler/QuantLSTMCell\"\n", + " op_type: \"QuantLSTMCell\"\n", + " attribute {\n", + " name: \"batch_first\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cell_acc_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cell_acc_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"cell_acc_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cell_state_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cell_state_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"cell_state_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cell_tanh_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cell_tanh_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"cell_tanh_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"cifg\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"forget_acc_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"forget_acc_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"forget_acc_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"forget_sigmoid_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"forget_sigmoid_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"forget_sigmoid_signed\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"hidden_state_tanh_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"hidden_state_tanh_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"hidden_state_tanh_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_acc_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_acc_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"input_acc_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_sigmoid_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"input_sigmoid_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"input_sigmoid_signed\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"output_acc_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"output_acc_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"output_acc_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"output_narrow\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"output_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"output_sigmoid_narrow_range\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"output_sigmoid_rounding_mode\"\n", + " s: \"ROUND\"\n", + " type: STRING\n", + " }\n", + " attribute {\n", + " name: \"output_sigmoid_signed\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"output_signed\"\n", + " i: 1\n", + " type: INT\n", + " }\n", + " attribute {\n", + " name: \"reverse_input\"\n", + " i: 0\n", + " type: INT\n", + " }\n", + " domain: \"onnx.brevitas\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/QuantLSTMCell_output_1\"\n", + " input: \"/layers.0.0/Constant_output_0\"\n", + " output: \"52\"\n", + " name: \"/layers.0.0/Unsqueeze\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " node {\n", + " input: \"/layers.0.0/export_handler/QuantLSTMCell_output_2\"\n", + " input: \"/layers.0.0/Constant_1_output_0\"\n", + " output: \"54\"\n", + " name: \"/layers.0.0/Unsqueeze_1\"\n", + " op_type: \"Unsqueeze\"\n", + " }\n", + " name: \"torch_jit\"\n", + " initializer {\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"layers.0.0.input_gate_params.bias\"\n", + " raw_data: \"\\010\\277\\213=\\006\\273H=\\0020_:\\267i9\\276\\034\\003h\\274SU\\013\\276z\\374)>\\376\\037\\027>\\204K \\276\\353U\\333=P\\034\\256\\275_\\241l=\\352\\353\\200\\274\\037a`>|d\\364=I\\313e\\275\\255\\245\\017=eE\\263\\2758\\266U>\\023%\\017>\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"layers.0.0.forget_gate_params.bias\"\n", + " raw_data: \"\\226\\322Q\\276\\315M \\276\\377\\214\\374\\274\\n\\316l\\274\\243\\244\\322\\275\\237Aa\\276\\272q8>\\247\\336s\\275]L\\327=\\262\\\\\\274=\\360\\224\\307=\\300\\246\\207<=\\363\\217=\\315\\353\\304=UP\\300\\275\\341\\344\\300\\27343\\344=t[\\373\\275\\301\\025y=\\'\\205\\006\\275\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"layers.0.0.cell_gate_params.bias\"\n", + " raw_data: \"\\031\\215G\\274p\\373Y\\276\\275\\241\\032\\276O\\361X\\276\\376\\037\\271=H\\374.>\\374\\003?=\\2037\\346\\275\\014\\304b\\276\\322\\310F>\\376\\'S\\275\\007{K>q\\r\\033>\\237\\237\\035>~\\335\\016\\276fu\\243=I\\261U>\\224\\\\\\214=\\334MC\\276\\376V\\026>\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"layers.0.0.output_gate_params.bias\"\n", + " raw_data: \"\\2234\\240\\275\\254\\t7\\276\\230\\202Z\\275-\\263\\247=gl\\200=X\\270\\215\\275\\026\\304\\373=\\2679\\227\\2730*\\275\\275\\272j\\314=\\340\\017\\002\\276C\\225Q>@\\030\\032\\276H\\317X>\\205\\222\\270<\\207\\235E>\\242\\314\\001\\276\\3064\\027>\\234I@\\276m$h;\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/output_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000A\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/output_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000<\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/output_quant/export_handler/Constant_2_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\241\\263m\\275\\267\\3405\\276\\244\\177\\346:\\247K_\\276\\265\\024=\\276\\244\\177\\346\\274\\265G;>\\302\\335\\032>\\273\\337\\254<\\265\\024=\\276\\306\\017\\220\\274\\313A\\205=\\273\\337\\254<\\267\\3405>\\260\\257\\311=\\245\\345b>\\274\\022+>\\245\\262d\\276\\273\\337,>\\244\\177f\\274\\241\\263m=\\255\\343P>\\251\\344Y\\276\\270\\0234\\276\\313A\\205\\275\\236\\347t\\275\\306\\017\\020\\276\\301\\252\\034>\\263\\256@\\276\\267\\2557>\\244\\177\\346;\\250~]\\276\\255\\343P=\\236\\347\\364<\\252JV>\\314\\247\\001\\276\\260\\257I\\276\\260\\257\\311\\275\\272y0>\\245\\345\\342=\\267\\3405>\\273\\337\\254<\\277\\336#>\\304C\\227=\\304v\\025\\276\\305\\251\\223\\275\\274E)\\276\\245\\262d>\\274\\022+\\276\\273\\337,\\275\\250~]>\\273\\337,\\275\\305\\251\\223=\\240M\\361\\275\\252\\027X\\275\\301w\\036\\275\\313A\\005\\276\\307B\\016>\\267\\255\\267=\\256IM>\\244\\177\\346<\\271F2\\276\\261\\025\\306\\275\\266z9\\276\\265G\\273\\275\\313A\\205=\\304C\\227\\275\\260\\257\\311\\275\\262HD>\\235\\201\\370\\275\\253}T>\\244\\177\\346\\272\\310u\\214\\275\\311\\333\\010=\\263\\256@>\\301w\\036\\276\\244\\177\\346:\\312\\016\\007>\\304C\\227\\275\\256IM>\\244\\177\\346\\275\\255\\343P\\275\\306\\017\\020\\276\\276\\253\\245\\275\\250\\261[>\\255\\026O\\276\\000\\000\\000\\000\\246\\030a\\276\\266z9>\\306\\017\\220\\275\\254\\260R\\276\\272y\\260\\275\\252\\027X>\\302\\335\\232=\\260\\257\\311<\\314\\247\\001\\275\\232\\265\\377\\275\\304C\\227=\\310u\\014>\\261\\025\\306\\275\\276\\253%>\\236\\347\\364=\\265G\\273\\274\\245\\345b>\\250\\261\\333\\275\\236\\347\\364\\275\\251\\344Y>\\247K\\337=\\306\\017\\220<\\272y\\260\\275\\241\\263m=\\250~]\\276\\262{B\\276\\252JV\\276\\313A\\005\\276\\314\\247\\201\\275\\260\\257\\311=\\260\\342G\\276\\311\\333\\210=\\275x\\'\\276\\311\\250\\n>\\263\\256@\\276\\253}\\324=\\266z9>\\260\\342G\\276\\313A\\005>\\233\\033|\\275\\233\\033\\374\\275\\251\\344Y>\\312\\016\\007\\276\\277\\021\\\"\\276\\244\\177\\346\\274\\314\\247\\201=\\241\\263m=\\261\\025F>\\306\\017\\020\\274\\262{B\\276\\273\\337,<\\304C\\027\\275\\270\\0234=\\313A\\005>\\233\\033|=\\306\\017\\020>\\311\\333\\010=\\244\\177f\\275\\244\\177f\\275\\243\\031\\352=\\244\\177\\346:\\307B\\016\\276\\270\\0234>\\235\\201\\370=\\241\\263m\\275\\232\\265\\377=\\260\\257I\\275\\264\\341\\276=\\307B\\016>\\276\\253\\245\\275\\314\\247\\201=\\313A\\005\\276\\270\\023\\264=\\233\\033\\374\\275\\304C\\027\\276\\272\\254.\\276\\244\\177\\346\\272\\255\\343P\\275\\255\\343P\\275\\265G\\273\\274\\304C\\227=\\265G;\\275\\311\\333\\210\\275\\307B\\016>\\314\\247\\201<\\314t\\003\\276\\265G;\\276\\264\\341>>\\243\\031\\352\\275\\255\\343\\320\\275\\254\\260R\\276\\260\\342G\\276\\265G\\273=\\303\\020\\031>\\262{\\302\\275\\260\\257\\311=\\256IM>\\247K\\337\\275\\273\\337,\\276\\253}\\324\\275\\310u\\214\\275\\236\\347t\\275\\255\\343\\320\\275\\260\\342G>\\270\\023\\264=\\255\\343\\320\\275\\265G\\273=\\262HD>\\311\\250\\n\\276\\244\\177\\346\\273\\244\\177\\346<\\236\\347\\364\\274\\252\\027\\330\\275\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Constant_1_output_0\"\n", + " raw_data: \"\\244\\177\\346:\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\314\\247\\201\\274\\310u\\014>\\314t\\003\\276\\304C\\227\\275\\306\\334\\021\\276\\233\\033\\374=\\233\\033|\\275\\245\\345\\342\\275\\256I\\315=\\247K_\\276\\310u\\214\\275\\311\\250\\n>\\273\\337\\254\\274\\306\\017\\020<\\274\\022+\\276\\301w\\036>\\300D \\276\\260\\257\\311\\274\\250\\261[>\\306\\017\\020>\\244\\177f\\273\\260\\342G\\276\\250\\261\\333\\275\\243\\031\\352=\\311\\250\\n>\\255\\343\\320\\275\\244\\177f\\275\\271F2\\276\\265G\\273\\274\\260\\257\\311<\\306\\017\\220\\274\\270\\023\\264\\275\\256IM\\276\\256IM\\276\\256IM>\\250\\261[\\276\\266z9>\\304C\\027\\276\\241\\263m=\\273\\337,<\\252\\027X>\\253}T\\276\\267\\255\\267\\275\\267\\3405\\276\\236\\347t=\\241\\263\\355\\275\\274\\022+>\\273\\337\\254\\274\\255\\343P\\276\\265G\\273\\274\\314\\247\\001>\\273\\337,\\274\\273\\337,=\\244\\177f=\\272\\254.>\\247K_\\276\\302\\335\\232\\275\\233\\033|=\\305\\251\\023\\276\\244\\177f;\\244\\177f\\274\\311\\333\\210=\\306\\017\\020<\\250\\261\\333=\\305\\251\\023\\276\\311\\333\\010=\\274E)\\276\\274E\\251\\275\\300D \\276\\254\\260R>\\304C\\027\\275\\245\\262d>\\244\\177f=\\257|K\\276\\236\\347\\364<\\275x\\'>\\276\\253%\\276\\305\\251\\223\\275\\311\\333\\210\\275\\255\\026O>\\307B\\016>\\276\\253%\\276\\236\\347\\364=\\273\\337\\254\\273\\311\\333\\010=\\311\\250\\n\\276\\265G;>\\000\\000\\000\\200\\253}\\324\\275\\273\\337,\\275\\274E\\251\\275\\240M\\361=\\310u\\014>\\236\\347\\364=\\250\\261\\333\\275\\250\\261[\\276\\260\\257I\\275\\276\\253\\245=\\271F2>\\273\\337,<\\260\\257\\311\\274\\273\\337\\254\\273\\240M\\361\\275\\252\\027X=\\250~]\\276\\254\\260R>\\250\\261[\\276\\263\\256@>\\303\\020\\031>\\303\\020\\031>\\252\\027X=\\301w\\036\\276\\313A\\005>\\265\\024=>\\275x\\'>\\244\\177\\346;\\267\\3405>\\261\\025F\\276\\277\\021\\242\\275\\314\\247\\201<\\257|K\\276\\262{B=\\264\\341\\276\\275\\265G;>\\273\\337,\\274\\314\\247\\201<\\301\\252\\034>\\273\\337\\254<\\306\\017\\020\\274\\270\\0234>\\265G;\\275\\247K_=\\260\\257I=\\233\\033\\374=\\277\\021\\\">\\260\\257\\311=\\272y\\260\\275\\301w\\036\\275\\265G\\273<\\265G\\273=\\255\\343P\\276\\304v\\025>\\267\\3405\\276\\254\\260R>\\262{B\\275\\273\\337\\254;\\301\\252\\034>\\277\\021\\\">\\267\\3405>\\273\\337,=\\267\\255\\267\\275\\276\\253%\\275\\253}T\\276\\255\\026O\\276\\256I\\315\\275\\301\\252\\034>\\236\\347t\\275\\301w\\036>\\236\\347t=\\241\\263\\355\\275\\262{\\302\\275\\260\\257\\311\\275\\260\\257I\\275\\236\\347t=\\277\\021\\242\\275\\314t\\003\\276\\246\\030a>\\260\\257I=\\306\\017\\220<\\243\\031\\352=\\265G;>\\311\\250\\n>\\250\\261[\\276\\300D >\\250\\261\\333\\275\\265\\024=\\276\\273\\337\\254=\\262{\\302=\\305\\251\\023>\\244\\177\\346\\275\\250\\261\\333=\\247K_\\275\\301w\\036>\\250\\261\\333=\\301w\\036\\275\\252\\027X=\\255\\343P>\\262{B>\\306\\017\\020>\\252JV\\276\\255\\343P\\276\\310u\\214=\\303\\020\\031>\\256I\\315\\275\\314t\\003\\276\\255\\343\\320=\\256I\\315=\\250~]\\276\\270\\023\\264=\\260\\257I<\\245\\345b>\\313A\\205\\275\\266z9>\\250\\261\\333=\\250\\261\\333\\275\\300D >\\255\\343P=\\272\\254.\\276\\272y\\260\\275\\267\\3405\\276\\311\\333\\210\\275\\265\\024=\\276\\271F2\\276\\262{\\302\\275\\252JV>\\235\\201\\370=\\311\\333\\210=\\274\\022+>\\260\\257I\\275\\270\\0234=\\243\\031\\352\\275\\253}T\\276\\252\\027\\330\\275\\270\\0234>\\260\\342G\\276\\274E\\251=\\301\\252\\034\\276\\277\\021\\\">\\244\\177\\346=\\313A\\005>\\265G;=\\273\\337,>\\247K\\337\\275\\274E\\251\\275\\273\\337,\\275\\255\\343P=\\236\\347\\364=\\276\\253\\245\\275\\277\\021\\\">\\236\\347t=\\273\\337,<\\241\\263m=\\277\\336#\\276\\244\\177\\346;\\304C\\027\\275\\272y\\260\\275\\267\\2557\\276\\274E\\251=\\262{\\302\\275\\273\\337\\254\\273\\301w\\236\\275\\272y\\260=\\235\\201\\370=\\265G\\273\\274\\257|K\\276\\257|K\\276\\257|K\\276\\262{\\302=\\247K_=\\260\\257I\\274\\262HD\\276\\267\\3405>\\305\\251\\223\\275\\233\\033\\374=\\267\\3405>\\307B\\016>\\266z9\\276\\267\\255\\267=\\304C\\027>\\310u\\214\\275\\261\\025F>\\267\\255\\267\\275\\273\\337,\\275\\274E\\251\\275\\246\\030a\\276\\272y\\260=\\276\\253\\245\\275\\260\\257I>\\270\\0234\\276\\252\\027\\330<\\247K_=\\272\\254.\\276\\303\\020\\031>\\267\\2557>\\273\\337\\254<\\233\\033|\\275\\306\\017\\220<\\301w\\236\\275\\265G\\273\\274\\255\\343P\\276\\276\\253%=\\253}\\324\\275\\261\\025F>\\274E)\\276\\266z9>\\307B\\016\\276\\274E)\\276\\265\\024=\\276\\307B\\016\\276\\302\\335\\032>\\254\\260R\\276\\232\\265\\377\\275\\306\\017\\220=\\260\\257I<\\247K_\\275\\240M\\361=\\260\\257I\\276\\260\\257I\\276\\264\\341>\\276\\245\\345b>\\244\\177f\\273\\272y0>\\261\\025F\\276\\253}T>\\244\\177f\\274\\254\\260R>\\272\\254.>\\232\\265\\377\\275\\306\\017\\020<\\272y\\260\\275\\272y0>\\312\\016\\007>\\265G\\273\\274\\257|K>\\274\\022+>\\314\\247\\001=\\276\\253\\245=\\276\\253%=\\244\\177\\346:\\255\\343\\320=\\303\\020\\031>\\252\\027\\330\\275\\311\\333\\010\\275\\272y0>\\262{\\302=\\262{B\\276\\273\\337,\\276\\273\\337,>\\265G;=\\261\\025F\\276\\311\\333\\010>\\262{\\302=\\262{B\\276\\306\\334\\021>\\252\\027\\330=\\262HD\\276\\251\\344Y>\\306\\017\\020\\275\\271F2>\\260\\342G>\\306\\017\\020=\\303\\020\\031\\276\\244\\177f\\275\\260\\257I=\\302\\335\\232=\\274E\\251\\275\\276\\253\\245=\\270\\023\\264=\\304C\\027\\276\\253}T\\276\\311\\333\\010\\276\\273\\337,=\\246\\030a>\\000\\000\\000\\200\\301w\\036>\\233\\033\\374\\275\\260\\342G\\276\\301w\\036>\\232\\265\\377\\275\\254\\260R\\276\\277\\021\\242=\\311\\333\\010\\276\\304C\\027>\\252\\027\\330\\275\\256IM\\276\\304C\\027\\276\\273\\337,\\275\\235\\201\\370\\275\\244\\177\\346=\\300D \\276\\311\\250\\n>\\260\\257I\\274\\247K_\\275\\250~]>\\265G\\273\\274\\301w\\236<\\241\\263m=\\247K_\\275\\236\\347\\364\\275\\255\\343P\\275\\260\\257\\311\\275\\310u\\014>\\273\\337\\254\\275\\264\\341\\276\\275\\272\\254.>\\273\\337\\254;\\245\\345b\\276\\314\\247\\001\\275\\255\\343P>\\301w\\036\\276\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 1\n", + " name: \"onnx.brevitas::Quant_22\"\n", + " raw_data: \"\\244\\177f7\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/bias_quant/export_handler/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000B\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"Qa\\016>\\2114\\242\\275\\036\\261\\346\\272\\\\\\250K\\276\\364\\266\\370\\275\\305\\231\\036\\275N\\317%=e^\\205=\\'g >t7+>\\025\\374\\021>K==\\276b\\314\\034>\\252xV>\\255\\n?>\\203\\020Q=\\206\\2429>\\241\\303\\001\\275!CO>\\014F\\330=\\\\\\250K\\276*\\371\\010\\276\\'g \\276\\326\\004\\255\\274\\203\\020Q=\\036\\261\\346:\\342K\\352=\\310+\\007>\\302\\0076\\276\\372\\332\\311\\275H\\253T>\\014FX>}\\354\\377\\275\\350o\\273=q\\245B\\276\\014F\\330=\\036\\261\\346$\\3257\\276w\\311\\023\\276\\036\\261\\346\\272\\326\\004-\\2756@\\306\\275\\014F\\330\\274$\\325\\267=\\372\\332\\311=\\003\\221\\003\\276\\372\\332\\311=0\\034\\365\\275\\014FX\\276\\356\\223\\014>\\353\\001$>N\\317\\245\\275\\326\\004-=N\\317\\245=\\255\\n\\277=$\\3257\\276\\350o;>n\\023Z>\\350o;\\275\\014FX\\276\\321\\340\\333\\275\\000\\000\\000\\200\\350o\\273\\274K==>Qa\\016>H\\253\\324=\\241\\303\\001=\\326\\004-\\276\\367Ha>0\\034\\365<\\331\\226\\025>\\274\\343d\\276\\036\\261\\346\\274\\277uM\\276\\2114\\242=\\305\\231\\236\\275\\252xV\\276\\022j)>\\241\\303\\001=q\\245B\\275\\331\\226\\025\\276\\036\\261\\346<\\321\\340[>3\\256]\\276\\000\\377\\032>\\036\\261f\\274\\036\\261f\\273\\263.\\020\\276\\203\\020\\321\\275b\\314\\034\\276\\372\\332\\311=\\277u\\315\\275_:4=\\252xV\\276\\305\\231\\036=\\326\\004-\\275\\302\\0076\\276\\350o\\273<*\\371\\210=!CO\\276\\263.\\220=t7+\\276\\331\\226\\025\\276\\321\\340\\333\\275$\\3257>\\203\\020Q>\\203\\020Q>\\225{\\337=6@\\306=\\025\\374\\021\\276\\326\\004\\255\\273k\\201\\361=e^\\005>*\\371\\010=Z\\026c>\\255\\n\\277\\275\\367Ha>\\305\\231\\236\\275\\274\\343d\\276\\241\\303\\001\\276\\331\\226\\025\\276\\022j\\251\\275\\350o;\\276\\247\\346\\355\\275\\014FX>\\225{_>\\014F\\330q\\245B>\\372\\332I\\276\\375l2>\\036\\261\\346\\\\\\250K>\\022j\\251\\275\\375l2\\276\\000\\000\\000\\200H\\253T\\276_:4\\276\\356\\223\\014>\\263.\\220\\274\\271Q|=q\\245B>\\036\\261f<\\017\\330@\\276\\372\\332I\\274K==>\\206\\2429\\276\\350o;\\276n\\023Z\\276\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Constant_1_output_0\"\n", + " raw_data: \"\\036\\261\\346:\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Constant_output_0\"\n", + " raw_data: \"\\263.\\020<\\263.\\020>_:4>_:4=\\263.\\020=e^\\205\\2759\\322.>\\203\\020Q=\\214\\306\\n\\276\\305\\231\\236\\275*\\371\\010\\2750\\034\\365<\\036\\261f\\273\\014F\\330\\274\\302\\0076>\\036\\261f\\274\\255\\n\\277=\\375l2>\\225{_=}\\354\\377\\275\\271Q|\\275\\305\\231\\036\\275\\000\\377\\232=\\350o;>\\372\\332I>\\277uM>\\241\\303\\201\\275\\350o;\\276\\014F\\330\\275\\000\\377\\032>\\310+\\007\\276\\000\\377\\232=e^\\205\\275\\356\\223\\014>\\036\\261\\346\\273\\036\\261\\346\\274\\326\\004->Z\\026\\343=\\255\\n\\277=\\017\\330@>\\014FX>q\\245B\\275b\\314\\034>N\\317\\245=\\233\\2370>H\\253\\324\\275\\302\\0076\\276\\014FX>\\326\\004-\\2760\\034u\\275\\206\\2429>\\014F\\330\\275\\372\\332I>\\036\\261\\346\\275\\263.\\020\\276\\321\\340\\333=\\271Q|\\275!CO>e^\\205\\275\\364\\266\\370=\\353\\001$\\276\\241\\303\\201\\275\\003\\221\\003>q\\245B\\276N\\317%\\275t7+\\276\\302\\0076>\\247\\346\\355=\\302\\0076\\276*\\371\\010\\276\\241\\303\\001\\275\\321\\340\\333=\\263.\\220\\275\\326\\004\\255<}\\354\\377=\\321\\340[>N\\317\\245=\\022j)>0\\034\\365\\274\\2114\\\">w\\311\\223=\\241\\303\\201\\274\\203\\020Q=\\000\\377\\032\\276\\367Ha\\276\\022j)\\276\\263.\\020\\276\\247\\346\\355\\275\\014FX\\275\\263.\\220\\275\\2114\\\"\\2763\\256]>}\\354\\377=\\000\\377\\032>\\263.\\220\\274w\\311\\223\\275n\\023Z>\\003\\221\\003\\2766@\\306=\\233\\2370\\276*\\371\\010\\276\\233\\2370>\\345\\335R>\\372\\332\\311\\275_:4>\\255\\n\\277=\\000\\000\\000\\200\\000\\377\\232=\\305\\231\\236\\275\\305\\231\\236<\\203\\020Q=\\214\\306\\n>\\206\\2429>\\003\\221\\003\\276Z\\026c>\\367Ha\\276\\271Q|\\275\\036\\261f;K==\\276\\2361\\031>\\'g >\\225{\\337=\\353\\001$>\\271Q|\\275\\324rD>\\350o;=\\241\\303\\001>\\241\\303\\001=\\305\\231\\236=\\036\\261f\\2736@\\306\\275\\271Q\\374\\275k\\201\\361=0\\034\\365\\275\\022j\\251=e^\\205\\275\\203\\020Q\\276\\345\\335R\\2769\\322.>\\036\\261f;\\225{\\337=\\375l2>\\263.\\020$\\3257>\\255\\n?\\276\\372\\332I\\274\\326\\004-<\\367Ha\\276\\310+\\007>\\241\\303\\001=e^\\205\\275\\260\\234\\'\\276!CO>\\260\\234\\'>}\\354\\377=\\2361\\031>e^\\205\\275\\326\\004\\255\\274\\263.\\220\\275_:4\\276\\326\\004->\\214\\306\\n>q\\245B\\275w\\311\\223=\\364\\266\\370\\2756@F>\\247\\346\\355\\275\\036\\261\\346\\275\\025\\374\\021>\\372\\332I\\2750\\034\\365=6@F\\276\\364\\266\\370\\275\\014FX>\\017\\330@>\\305\\231\\036=\\036\\261\\346:\\274\\343d>\\350o\\273<\\353\\001$>e^\\205\\275\\225{_\\275\\305\\231\\036\\275\\014F\\330\\275\\367Ha>\\'g >\\350o\\273=0\\034\\365=\\\\\\250K\\276\\014FX\\2750\\034\\365\\274\\302\\0076\\276\\372\\332\\311\\274\\372\\332\\311\\274\\277u\\315=\\331\\226\\025>\\203\\020Q=_:4>\\263.\\220\\275\\305\\231\\236=3\\256]>\\014F\\330k\\201\\361=\\305\\231\\236<\\326\\004\\255\\275\\203\\020Q\\276e^\\205=\\345\\335R>\\326\\004-\\275\\203\\020Q=\\342K\\352=\\036\\261f=\\017\\330@\\276\\305\\231\\236\\233\\237\\260=\\\\\\250K>\\247\\346m=\\326\\004\\255=$\\3257>q\\245\\302=\\375l2>k\\201\\361=\\350o;\\275\\350o;\\276\\260\\234\\'\\276\\233\\237\\260\\275\\255\\n?>\\014FX\\275\\014F\\330=\\372\\332I=\\203\\020Q\\276\\375l2\\276\\225{_\\276N\\317%\\275\\225{\\337\\275\\350o\\273=\\372\\332\\311<\\321\\340[\\276*\\371\\210\\275\\203\\020\\321=\\353\\001$\\276\\036\\261f=e^\\005>n\\023Z\\276\\2114\\\"\\276\\326\\004-<\\\\\\250K\\276\\014F\\330\\275\\372\\332I\\2766@F>q\\245B\\275\\356\\223\\014>\\350o\\273\\275\\356\\223\\214\\275\\241\\303\\001\\275_:4\\275\\000\\377\\032>n\\023Z\\276\\372\\332I\\276\\252xV>}\\354\\377\\275H\\253\\324=*\\371\\010>\\2361\\031>\\241\\303\\201=\\203\\020\\321\\275\\247\\346\\355\\275\\260\\234\\'\\276\\014F\\330<\\326\\004\\255Z\\026c>b\\314\\034>*\\371\\010\\275\\356\\223\\014\\276\\263.\\020>\\263.\\020=\\025\\374\\021\\276\\036\\261\\346\\275\\230\\rH>\\326\\004\\255=\\277uM>\\036\\261f\\274\\372\\332I\\2740\\034\\365\\274\\233\\237\\260\\275\\263.\\020<\\241\\303\\001=\\310+\\007\\2760\\034\\365\\274\\003\\221\\003\\276\\324rD\\276\\2361\\031\\276\\302\\0076\\276N\\317%\\276\\271Q\\374=\\036\\261\\346\\272H\\253\\324\\275\\350o\\273<\\036\\261f\\274\\372\\332I\\276\\000\\377\\032\\276\\\\\\250K>\\036\\261\\346\\275\\036\\261\\346\\272N\\317\\245=\\203\\020Q\\276q\\245B\\275\\\\\\250K\\276\\036\\261\\346\\274\\036\\261\\346\\274\\372\\332I>\\305\\231\\236=\\255\\n\\277=_:4>\\350o\\273\\275\\372\\332I=e^\\005>b\\314\\034>H\\253\\324\\275q\\245B=\\225{\\337\\275\\214\\306\\n>\\372\\332\\311=\\263.\\220<0\\034\\365=\\241\\303\\001>\\271Q|\\275\\350o;\\275\\263.\\220<\\203\\020Q>\\255\\n?>\\\\\\250K>\\014F\\330<9\\322.>\\326\\004->\\326\\004-<\\036\\261\\346\\274\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 1\n", + " name: \"onnx.brevitas::Quant_30\"\n", + " raw_data: \"\\036\\261f7\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"\\351\\2169>\\342\\267\\n>\\330\\222K\\276\\332\\271\\023\\276\\032\\\\;\\276s\\321\\377=\\261\\352\\010=u\\370G>\\246\\305\\311<\\317\\224T\\276J\\002\\365\\275\\307\\226]\\276\\216\\362,=l\\372P\\275\\216\\362\\254<\\257\\303@\\276[\\376\\342=\\024\\205\\214\\275J\\002\\365=NP\\205\\275\\246\\305I>\\204\\315m=\\246\\305I\\274\\t`M\\276f#\\242\\275\\246\\305I<\\276\\230f\\032\\\\\\273\\275\\276\\230f;=T\\227\\275\\236\\307R\\276\\261\\352\\010=\\225\\311\\333=\\261\\352\\010=\\216\\362\\254;\\353\\265\\201<\\276\\230f\\275\\204\\315\\355\\275C+\\306\\275[\\376b>C+\\306\\275=T\\227\\275\\370c_>\\216\\362,=\\206\\3645\\276C+\\306=[\\376\\342=s\\321\\377=C+F\\276\\240\\356\\232\\275}\\366>>\\261\\352\\210\\275\\330\\222K\\276\\370c_>[\\376\\342\\275,X\\251\\275\\225\\311[\\276w\\037\\020\\276\\216\\362\\254\\274\\276\\230\\346;=T\\227=\\204\\315m\\275\\257\\303@\\276\\361\\214\\260=2/X=\\340\\220\\302=\\216\\362,\\257\\303@\\276\\276\\230\\346;\\246\\305I=d\\374Y>,X\\251=\\216\\362,=T\\027\\276w\\037\\020\\274\\204\\315\\355=\\340\\220B=w\\037\\020>\\311\\275%\\275u\\370G>,X)>T\\'\\264=\\246\\305\\311<\\351\\2169\\276\\032\\\\;>\\276\\230f\\274\\311\\275\\245=\\311\\275%=\\034\\203\\003>\\261\\352\\010=\\261\\352\\210=\\0207\\374=\\276\\230\\346\\272\\204\\315\\355=\\311\\275%\\276\\0207|\\275\\204\\315m=\\351\\2169>\\370c\\337\\275!3\\352\\275\\361\\2140\\276\\000\\000\\000\\000\\276\\230\\346=2/X=\\215\\313d>*1a\\276T\\'4\\2752/X>=T\\027\\275l\\372P=,X\\251=C+\\306=\\276\\230\\346=\\032\\\\\\273\\275\\332\\271\\223\\275[\\376\\342\\275\\257\\303@\\276\\032\\\\\\273\\274\\001bV>\\240\\356\\232\\275*1a\\276[\\376b>\\246\\305\\311=\\276\\230\\346:w\\037\\020>\\227\\360#\\276\\0207|=}\\366\\276\\275\\317\\224\\324=2/X\\275\\024\\205\\014\\276\\t`M>\\353\\265\\201<\\311\\275%\\275f#\\\">\\003\\211\\236<\\236\\307R\\276w\\037\\020>\\370c_>w\\037\\020\\022^D>\\240\\356\\032>\\216\\362,\\274\\032\\\\;\\275=T\\027=f#\\\"\\276\\317\\224\\324=\\276\\230f\\275\\317\\224T\\276w\\037\\020\\275\\216\\362,=\\261\\352\\210\\275\\276\\230\\346<\\330\\222K\\276\\255\\234\\370=\\032\\\\\\273<\\340\\220B\\275\\032\\\\;>2/X>C+\\306=\\276\\230f\\273\\206\\3645\\276T\\'4>\\321\\273\\034>\\351\\2169\\276[\\376\\342\\275\\216\\362,>w\\037\\020<\\225\\311\\333\\275,X)\\276C+\\306\\275\\215\\313d>f#\\242\\2752/\\330\\275\\353\\265\\001=\\372\\212\\'\\276=T\\227\\275\\267\\301\\267=\\003\\211\\036>\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Constant_1_output_0\"\n", + " raw_data: \"\\276\\230\\346:\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Constant_output_0\"\n", + " raw_data: \"l\\372P=\\276\\230f\\273\\261\\352\\210\\275\\361\\2140\\276\\225\\311\\333=\\361\\214\\260=\\250\\354\\021\\276\\022^D>w\\037\\020\\274\\225\\311[>w\\037\\020\\275\\370c\\337=[\\376\\342\\275\\276\\230f;\\300\\277.\\276w\\037\\220\\275\\022^D>\\216\\362,>\\276\\230\\346;\\317\\224\\324\\275\\032\\\\;=\\225\\311[\\2762/\\330<\\276\\230f=\\361\\2140>,X\\251\\275\\204\\315m\\275\\032\\\\;=\\276\\230f\\273f#\\\"\\276\\307\\226]>\\311\\275\\245=[\\376b\\276\\032\\\\\\273=\\261\\352\\210=\\370c\\337=T\\'4>l\\372\\320\\275\\321\\273\\034\\276\\353\\265\\201=J\\002\\365\\275u\\370G\\276\\370c_=l\\372\\320=\\370c\\337=\\261\\352\\010=\\022^D>\\003\\211\\236\\274\\372\\212\\'>\\330\\222K\\276w\\037\\220<,X)\\276\\034\\203\\003\\276\\t`M\\276\\372\\212\\'\\276\\276\\230\\346\\275\\261\\352\\210\\275\\215\\313d>n!\\031\\276\\276\\230\\346\\275\\261\\352\\010>\\342\\267\\n>!3\\352\\275\\361\\2140\\276\\307\\226]>\\246\\305\\311=\\276\\230\\346\\274w\\037\\220\\275\\307\\226]>2/\\330=\\236\\307R>\\370c_>\\340\\220B\\276f#\\\">[\\376\\342\\2752/\\330=\\003\\211\\036\\276T\\'4=\\022^D>\\353\\265\\001=\\261\\352\\010=\\034\\203\\003\\276\\204\\315m=w\\037\\020\\274=T\\227\\2752/\\330<\\276\\230f;\\342\\267\\n>\\276\\230f=\\332\\271\\023>\\311\\275%\\275\\311\\275%\\275\\340\\220B\\276\\032\\\\;=;-O\\276w\\037\\020\\275\\340\\220B>\\003\\211\\236\\275\\003\\211\\036>\\032\\\\\\273\\274NP\\005\\276\\351\\2169>\\311\\275\\245=\\216\\362,\\276\\311\\275\\245\\275\\022^D\\276\\013\\207\\025\\276[\\376b>=T\\027\\276\\236\\307R\\276,X)>\\000\\000\\000\\200w\\037\\020\\274\\361\\214\\260=*1a>\\347g\\361=\\353\\265\\201\\275\\003\\211\\236=s\\321\\377=\\032\\\\\\273<]%+>]%+\\276\\340\\220B>\\246\\305I=d\\374Y>=T\\027>\\257\\303@>n!\\031>\\246\\305\\311<\\311\\275\\245\\275\\340\\220\\302=,X)>\\340\\220B=\\216\\362,=!3\\352=\\311\\275%=\\032\\\\\\273\\275NP\\205\\275=T\\027\\276\\246\\305I\\275\\307\\226]\\276\\250\\354\\021>l\\372P\\276\\276\\230\\346\\275l\\372P\\276C+\\306=\\t`\\315\\275w\\037\\020*1a\\276\\257\\303@>\\001bV\\276J\\002\\365=\\216\\362,\\275[\\376b>\\204\\315\\355=\\276\\230f\\274\\216\\362,\\276\\003\\211\\036>\\311\\275%=]%+\\276\\246\\305\\311<\\216\\362\\254\\2732/X\\276u\\370G\\276\\307\\226]\\276\\276\\230\\346;NP\\205\\275\\276\\230\\346\\274T\\'\\264=\\370c\\337\\275,X)\\276\\307\\226]>\\032\\\\\\273\\275\\216\\362\\254\\273\\276\\230\\346;\\347g\\361\\275\\024\\205\\014\\276\\370c_\\276\\216\\362,\\275\\321\\273\\034>\\276\\230\\346<\\003\\211\\036\\276\\204\\315\\355\\275\\361\\2140>\\216\\362\\254\\274\\032\\\\;>d\\374Y>\\t`M\\276\\177\\035\\007>T\\'4\\275\\246\\305I\\276\\215\\313d\\276\\311\\275%>\\340\\220B>\\215\\313d\\276\\342\\267\\n>\\216\\362\\254\\275\\276\\230f;\\317\\224T\\2762/X=\\347g\\361=\\353\\265\\201=C+F>\\246\\305I>w\\037\\020\\274s\\321\\377\\275\\032\\\\;\\2754V >l\\372P>\\307\\226]>;-O\\276J\\002\\365=,X\\251=u\\370G>\\340\\220B>ER\\016>\\216\\362,\\276#Z2\\276\\240\\356\\032\\276\\204\\315\\355\\275\\330\\222K>f#\\242\\275\\276\\230f\\274\\370c_>\\216\\362,\\275\\361\\2140>[\\376b\\276T\\'4\\276\\216\\362,=\\216\\362,\\274\\261\\352\\210=4V \\276\\261\\352\\010=\\351\\2169>NP\\005>\\332\\271\\223\\275\\003\\211\\036\\275\\246\\305\\311<\\267\\3017\\276\\261\\352\\210=\\0207\\374=\\267\\301\\267\\275\\034\\203\\003\\276\\024\\205\\014\\276\\361\\2140>T\\'\\264=\\013\\207\\025\\276\\300\\277.\\276\\240\\356\\232\\275\\370c_>\\022^D\\2762/\\330\\275NP\\205=\\351\\2169>\\330\\222K\\276}\\366>>[\\376\\342=\\032\\\\\\273\\275\\216\\362\\254<\\215\\313d>C+F\\276\\347g\\361=\\353\\265\\001\\276\\024\\205\\214\\275u\\370G>\\240\\356\\232\\275\\267\\301\\267\\275T\\'\\264\\275\\353\\265\\201\\275\\255\\234\\370=\\311\\275%=\\032\\\\;=\\267\\3017>\\353\\265\\201=\\332\\271\\223\\275J\\002\\365<\\246\\305Iw\\037\\020\\276\\276\\230f=\\332\\271\\223=\\227\\360#\\276\\003\\211\\036\\275*1a\\276J\\002\\365<\\353\\265\\201<,X\\251\\275\\225\\311[\\276\\361\\214\\260=f#\\242=f#\\242\\275s\\321\\377=\\372\\212\\'\\276w\\037\\220\\274\\347g\\361\\275\\032\\\\\\273\\274\\267\\301\\267\\275\\032\\\\\\273\\275J\\002\\365=\\340\\220B\\276\\246\\305\\311=u\\370G\\276f#\\\"\\276\\227\\360#>\\240\\356\\032\\276\\261\\352\\010=w\\037\\220\\274\\216\\362\\254\\275\\276\\230f=\\276\\230f\\273T\\'4>\\034\\203\\003>\\001bV\\276\\361\\2140\\276,X)\\276\\311\\275%\\276\\353\\265\\201=\\267\\301\\267=\\340\\220\\302=f#\\\">}\\366>\\276\\267\\301\\267\\275\\032\\\\;>T\\'4=\\034\\203\\003\\276J\\002\\365\\275w\\037\\020=\\250\\354\\021>\\261\\352\\010\\275\\024\\205\\214=\\032\\\\\\273\\274\\372\\212\\'>w\\037\\020>\\255\\234\\370\\275=T\\027=w\\037\\020\\274l\\372P=w\\037\\020\\275\\227\\360#>u\\370G\\276\\000\\000\\000\\200\\t`M\\276\\317\\224\\324\\275\\0207|\\275\\317\\224\\324\\275=T\\227=\\024\\205\\014>\\353\\265\\001>\\032\\\\\\273\\275\\240\\356\\032\\276=T\\027\\275\\227\\360#\\276;-O\\276\\311\\275\\245=T\\'4=w\\037\\020>\\240\\356\\232\\275}\\366>>l\\372P=w\\037\\220\\275f#\\\">l\\372P\\275\\330\\222K\\276\\001bV>\\034\\203\\003>\\311\\275%>w\\037\\020>\\353\\265\\201=\\246\\305I>\\216\\362,\\275\\022^D>\\022^D\\276f#\\\">!3\\352\\275\\372\\212\\'>\\276\\230f\\274\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 1\n", + " name: \"onnx.brevitas::Quant_37\"\n", + " raw_data: \"\\276\\230f7\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 10\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"_S\\001=\\363\\212\\327\\275\\214\\351\\345\\272\\275D\\034\\2762\\201\\351\\275\\253\\202\\210=\\253\\202\\010\\275M\\363\\323\\275\\302\\315:\\275\\016\\375A\\275\\313}\\021>qw\\373=\\253\\202\\010> \\277U\\276\\231\\\"\\333\\275\\247[P=Z,\\311\\274_S\\201\\236I\\023>D\\341\\026\\275@\\272^=he>\\276q\\025\\025>2\\201\\351=\\370\\261\\017\\276qw{=@\\272\\336\\2756\\250!\\276u\\236\\263\\2752\\201\\351\\275 \\277U\\276\\264\\224\\305=)o\\254\\273\\341\\310C\\276\\363\\212W\\276\\001\\304\\314\\275\\264\\224\\305=\\220\\020\\236\\275\\016\\375A\\275he\\276\\275%H\\364\\000\\000\\000\\200u\\2363\\276\\231\\\"[\\276\\001\\304L\\276\\374:.>6\\250!>\\357\\0019>\\220\\020\\236\\274_S\\201u\\2363\\275\\242\\3221>\\264\\224\\305=@\\272^>\\302\\315:=\\264\\224\\305\\275u\\236\\263=\\324\\217N\\276\\236I\\223=\\335?%\\275\\231\\\"\\333=\\313\\337\\367\\275\\236I\\023>Q\\032\\214\\275\\177\\260\\360=\\005\\353\\204=D\\341\\026\\276_S\\001\\276\\027\\255\\030\\276.\\370J>\\231\\\"\\333\\275\\005\\353\\204=\\220\\020\\036=\\214\\351\\345\\274\\313\\337\\367\\275\\370\\261\\017\\274\\nt#\\276\\302\\315\\272\\274\\247[\\320\\275\\317\\006\\260\\275\\357\\0019\\276he>\\276@\\272\\336=\\302\\315\\272\\275\\016\\375\\301\\275\\317\\006\\260=.\\370J>\\363\\212\\327\\274\\253\\202\\210=%Ht\\275\\214\\351\\345:)o\\254\\274\\027\\017\\377=\\023\\206`>u\\2363>6\\250\\241=M\\363S>\\005\\353\\204\\275~N\\n>;1@\\276\\370\\261\\217\\274qw\\373\\2752\\201\\351=)o,>\\341\\310C\\276%Ht=\\03467\\276\\317\\0060\\276qw\\373\\275u\\236\\263\\275$\\346\\r>\\000\\000\\000\\200\\203\\327\\250\\275\\264\\224\\305\\275c\\334\\037>~N\\n>\\177\\260\\360\\275Z,\\311=\\370\\261\\017\\276\\027\\255\\030>u\\2363=)o,\\276\\177\\260\\360\\275\\313\\337\\367=\\027\\255\\030>\\220\\020\\036=@\\272\\336=\\330\\030m\\275\\247[\\320=%H\\364<\\225\\231<\\276)o,\\276\\247[\\320\\275\\nt#>\\352x\\032\\276\\341\\310C\\276%H\\364=\\341\\310C\\276\\313}\\021>\\027\\255\\030>\\214\\351\\345\\275\\253\\202\\210=he\\276=qw\\373=\\363\\212\\327)o\\254=\\330\\030\\355\\275\\214\\351\\345\\272q\\025\\025\\276\\302\\315:\\276\\302\\315\\272\\275\\370\\261\\017\\274\\346Qb>\\03467>)o\\254\\273\\242\\3221\\276\\330\\266\\006>\\302\\315:=Z,\\311=\\005\\353\\204=\\370\\261\\017\\274\\214\\351\\345\\272\\352x\\232\\275\\302\\315:=.\\370J>Z,\\311=\\363\\212W=\\317\\0060\\276\\317\\0060>qw\\373\\275\\016\\375\\301\\275D\\341\\026=\\177\\260\\360\\275)o,<\\027\\255\\030>\\317\\006\\260=\\214\\351e\\274\\231\\\"[\\276\\005\\353\\004>~N\\n\\276qw\\373\\275\\214\\351\\345\\272\\302\\315:\\276\\03467\\276_S\\201<6\\250!\\276\\271\\035d\\276\\370\\261\\017=~N\\n>\\236I\\223\\275\\346Q\\342\\275\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Constant_1_output_0\"\n", + " raw_data: \"\\214\\351\\345:\"\n", + " }\n", + " initializer {\n", + " dims: 20\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Constant_output_0\"\n", + " raw_data: \"\\330\\030m\\2752\\037\\003>qw{\\275_S\\001\\276_S\\001\\275\\231\\\"[\\276$\\346\\r\\276\\016\\375A\\275\\357\\0019>c\\334\\037\\276\\363\\212W=\\231\\\"[>Z,I<)o\\254\\273\\220\\020\\236<\\330\\266\\006\\276D\\341\\026\\275\\313}\\021>)o\\254\\275)o\\254\\275\\260\\013\\'>\\370\\261\\017<\\242\\3221\\276@\\272\\336=qw{\\275\\352x\\232=z\\'R>\\231\\\"\\333=)o,<6\\250!\\276\\207`G\\276\\264\\224\\305=V\\243*>\\001\\304\\314=\\03467>$\\346\\r\\276\\253\\202\\010=D\\341\\226=\\352x\\032\\276\\177\\260\\360=\\313}\\021\\276\\027\\017\\377\\275\\302\\315:=6\\250!\\276\\016\\375A\\275\\363\\212W>\\242\\3221\\276\\016\\375A>\\nt#\\276\\370\\261\\217<\\016\\375A\\276qw\\373=Q\\032\\014\\276\\313\\337\\367\\275\\341\\310C>\\236I\\023\\276_S\\001>qw\\373=\\03467\\276$\\346\\r\\276\\330\\030\\355=\\225\\231<\\276_S\\201=Z,\\311\\2742\\037\\003>\\253\\202\\010\\275\\0346\\267=Z,I\\276\\016\\375A=\\275D\\034>\\335?%=\\330\\030\\355\\275\\335?%\\276Hj5>\\317\\006\\260=@\\272^\\275\\214\\351\\345\\275\\247[\\320\\275\\000\\000\\000\\000\\220\\020\\236\\275\\302\\315:\\275Z,I\\275.\\370J\\276\\302\\315\\272\\275@\\272^\\275\\214\\351e;\\306VY\\276Z,I=\\264\\224\\305\\275\\005\\353\\004>\\236I\\223\\275\\363\\212\\327=\\346Qb>6\\250!>$\\346\\r>\\275D\\034\\276\\302\\315\\272\\275\\027\\017\\377=\\220\\020\\036\\276\\03467>\\207`G>\\027\\255\\030>he>\\276)o,\\275)o\\254\\273@\\272^=Q\\032\\014>\\317\\0060>_S\\201=\\005\\353\\204=~N\\n\\276\\225\\231<>\\341\\310C>\\317\\0060>\\253\\202\\010>\\027\\017\\377=\\253\\202\\010>\\177\\260\\360\\275\\236I\\023\\276\\352x\\032\\276\\231\\\"[>\\335?%\\276c\\334\\037>D\\341\\026=qw\\373=)o,\\275z\\'R\\276m\\356\\\\>\\016\\375A>@\\272^\\275\\203\\327(\\276\\330\\030\\355\\275~N\\n\\276\\302\\315\\272\\274_S\\001=Z,\\311=\\231\\\"[\\276\\027\\017\\377\\275V\\243*>\\335?\\245=he\\276=he>\\276\\346Q\\342\\275u\\2363\\276\\302\\315:>\\335?%\\276D\\341\\026\\275\\207`G>m\\356\\\\\\276q\\025\\025\\276\\247[P=%H\\364=)o\\254<\\370\\261\\217\\275\\352x\\032>qw\\373=\\374:.>\\242\\3221>\\271\\035d\\276\\264\\224\\305\\275\\302\\315:\\275\\271\\035d>\\023\\206`>\\225\\231<>)o,=u\\2363\\276\\363\\212W=\\260\\013\\'\\276_S\\001\\276\\236I\\023\\2766\\250!\\276c\\334\\037\\276\\177\\260\\360\\275\\302\\315:>he\\276\\275he\\276=qw{=_S\\201=)o,=u\\2363=\\330\\030\\355=\\302\\315:=\\023\\206`>\\214\\351\\345:q\\025\\025\\276%H\\364\\275 \\277U\\276D\\341\\226\\275u\\2363\\276\\363\\212\\327\\274\\330\\030m\\275\\214\\351e<\\231\\\"\\333=\\330\\030m\\275\\214\\351\\345<\\023\\206`>\\220\\020\\236=@\\272^>he\\276=\\000\\000\\000\\000u\\236\\263=u\\2363=\\370\\261\\017\\275\\023\\206`>\\214\\351\\345:\\317\\006\\260\\275Z,I\\275Z,\\311=Hj5\\276M\\363S>D\\341\\026=m\\356\\\\\\276\\001\\304\\314\\275;1@>\\302\\315\\272\\2752\\201\\351\\275\\352x\\232\\275m\\356\\\\>\\253\\202\\010\\275\\214\\351\\345\\275\\302\\315:\\276\\271\\035d>\\253\\202\\010=u\\2363\\276m\\356\\\\>\\247[P>q\\025\\025\\276\\317\\006\\260\\275\\nt#\\276.\\370J>D\\341\\026\\275\\220\\020\\036>\\203\\327\\250=\\214\\351\\345\\273\\317\\006\\260\\275\\001\\304L>)o,\\274\\330\\030m\\275\\214\\351\\345<\\264\\224E\\276)o,>\\317\\0060>\\264\\224E>Q\\032\\014>M\\363S>\\275D\\034>\\374:.\\276%H\\364<%H\\364\\274\\264\\224\\305\\275\\306VY\\276\\275D\\034\\276\\247[\\320\\275he>>\\313\\337\\367=)o\\254<\\247[\\320\\275\\231\\\"\\333=\\005\\353\\004\\276\\302\\315:=\\302\\315:>\\001\\304L\\276 \\277U\\276\\275D\\034>\\027\\017\\377=)o,\\274V\\243*>q\\025\\025>\\016\\375\\301\\275@\\272^\\276\\03467>\\330\\030\\355=)o\\254;\\236I\\223\\275Q\\032\\214=\\335?%\\276%H\\364\\274D\\341\\026\\275\\317\\006\\260\\275D\\341\\026\\276@\\272^=)o,\\274\\000\\000\\000\\000\\260\\013\\'\\276_S\\201\\2746\\250!\\276%H\\364\\274\\352x\\032\\276\\260\\013\\'\\276\\260\\013\\'\\276\\016\\375\\301=@\\272\\336=\\016\\375A=c\\334\\037\\276\\253\\202\\010\\276\\260\\013\\'\\276Z,I\\275\\214\\351\\345\\275\\016\\375A\\275\\302\\315:\\275_S\\201<\\027\\255\\030>@\\272^>\\027\\255\\030\\276\\352x\\032\\276\\214\\351e\\274\\346Qb\\276\\363\\212W>\\370\\261\\017\\276%H\\364=\\0346\\267=\\214\\351e\\275\\214\\351e\\275\\214\\351e=%H\\364\\016\\375A=m\\356\\\\>2\\037\\003>\\220\\020\\036>\\03467>\\000\\000\\000\\000M\\363\\323=\\214\\351\\345<\\247[P\\276)o,\\274\\370\\261\\217\\274\\253\\202\\210=)o\\254;c\\334\\037>6\\250\\241\\275\\363\\212W=Z,\\311u\\2363>%H\\364=\\374:.>\\363\\212W>2\\201\\351=.\\370J>\\nt#>V\\243*>6\\250\\241=\\346Qb>\\253\\202\\210=\\231\\\"\\333\\275;1@\\276q\\025\\025>\\253\\202\\010\\276 \\277U>Z,I=D\\341\\226\\275\\346Qb>\\231\\\"\\333=)o,\\276Hj5>\\275D\\034\\276\\335?\\245=\\236I\\023>.\\370J\\276\\016\\375A\\276\\016\\375A\\275\\nt#\\276\\352x\\032\\276)o,\\275\\306VY>$\\346\\r\\276)o,=\\302\\315\\272\\274 \\277U\\276\\03467>\\03467>\\335?%\\276\\363\\212\\327\\274\\016\\375A\\275M\\363\\323=\\247[P\\275\\214\\351e\\274\\220\\020\\036>\\247[\\320\\275\\317\\006\\260=\\324\\217N>@\\272^\\275\\370\\261\\217\\274%Ht\\275\\302\\315:\\276\\264\\224\\305=\\363\\212\\327<\\236I\\223=6\\250!>\\203\\327(>\\302\\315:=\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 1\n", + " name: \"onnx.brevitas::Quant_44\"\n", + " raw_data: \"\\214\\351e7\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " dims: 20\n", + " data_type: 1\n", + " name: \"onnx.brevitas::QuantLSTMCell_46\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " data_type: 1\n", + " name: \"/layers.0.0/export_handler/Constant_output_0\"\n", + " raw_data: \"\\201\\200\\200;\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/Constant_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " initializer {\n", + " dims: 1\n", + " data_type: 7\n", + " name: \"/layers.0.0/Constant_1_output_0\"\n", + " raw_data: \"\\000\\000\\000\\000\\000\\000\\000\\000\"\n", + " }\n", + " input {\n", + " name: \"inp.1\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 5\n", + " }\n", + " dim {\n", + " dim_value: 1\n", + " }\n", + " dim {\n", + " dim_value: 10\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"layers.0.0.input_gate_params.bias\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"layers.0.0.forget_gate_params.bias\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"layers.0.0.cell_gate_params.bias\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " input {\n", + " name: \"layers.0.0.output_gate_params.bias\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_value: 20\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"48\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"QuantLSTMCell48_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"QuantLSTMCell48_dim_1\"\n", + " }\n", + " dim {\n", + " dim_param: \"QuantLSTMCell48_dim_2\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"52\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Unsqueeze52_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Unsqueeze52_dim_1\"\n", + " }\n", + " dim {\n", + " dim_param: \"Unsqueeze52_dim_2\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " output {\n", + " name: \"54\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Unsqueeze54_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Unsqueeze54_dim_1\"\n", + " }\n", + " dim {\n", + " dim_param: \"Unsqueeze54_dim_2\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/output_quant/export_handler/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/output_quant/export_handler/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/output_quant/export_handler/Quant_output_0_dim_1\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/output_quant/export_handler/Quant_output_0_dim_2\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/bias_quant/export_handler/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/bias_quant/export_handler/Quant_output_0_dim_0\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_1/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler_1/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler_1/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_1/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler_1/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler_1/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/bias_quant/export_handler_1/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/bias_quant/export_handler_1/Quant_output_0_dim_0\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_2/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler_2/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler_2/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_2/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler_2/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler_2/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/bias_quant/export_handler_2/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/bias_quant/export_handler_2/Quant_output_0_dim_0\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/input_weight/weight_quant/export_handler_3/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler_3/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/input_weight/weight_quant/export_handler_3/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/hidden_weight/weight_quant/export_handler_3/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler_3/Quant_output_0_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/hidden_weight/weight_quant/export_handler_3/Quant_output_0_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/bias_quant/export_handler_3/Quant_output_0\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"Quant/layers.0.0/bias_quant/export_handler_3/Quant_output_0_dim_0\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/export_handler/QuantLSTMCell_output_1\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"QuantLSTMCell/layers.0.0/export_handler/QuantLSTMCell_output_1_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"QuantLSTMCell/layers.0.0/export_handler/QuantLSTMCell_output_1_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + " value_info {\n", + " name: \"/layers.0.0/export_handler/QuantLSTMCell_output_2\"\n", + " type {\n", + " tensor_type {\n", + " elem_type: 1\n", + " shape {\n", + " dim {\n", + " dim_param: \"QuantLSTMCell/layers.0.0/export_handler/QuantLSTMCell_output_2_dim_0\"\n", + " }\n", + " dim {\n", + " dim_param: \"QuantLSTMCell/layers.0.0/export_handler/QuantLSTMCell_output_2_dim_1\"\n", + " }\n", + " }\n", + " }\n", + " }\n", + " }\n", + "}\n", + "opset_import {\n", + " domain: \"\"\n", + " version: 14\n", + "}\n", + "opset_import {\n", + " domain: \"onnx.brevitas\"\n", + " version: 1\n", + "}" + ] + }, + "execution_count": 32, + "metadata": {}, + "output_type": "execute_result" + } + ], + "source": [ + "import torch\n", + "from brevitas.nn import QuantLSTM\n", + "from brevitas.export import export_qonnx\n", + "\n", + "quant_lstm = QuantLSTM(input_size=10, hidden_size=20)\n", + "export_path = 'quant_lstm.onnx'\n", + "exported_model = export_qonnx(quant_lstm, (torch.randn(5, 1, 10)), export_path=export_path)" + ] + }, + { + "cell_type": "code", + "execution_count": 33, + "metadata": { + "tags": [ + "skip-execution" + ] + }, "outputs": [ { "name": "stdout", @@ -1330,22 +6723,15 @@ " " ], "text/plain": [ - "" + "" ] }, - "execution_count": 26, + "execution_count": 33, "metadata": {}, "output_type": "execute_result" } ], "source": [ - "import torch\n", - "from brevitas.nn import QuantLSTM\n", - "from brevitas.export import export_qonnx\n", - "\n", - "quant_lstm = QuantLSTM(input_size=10, hidden_size=20)\n", - "export_path = 'quant_lstm.onnx'\n", - "export_qonnx(quant_lstm, (torch.randn(5, 1, 10)), export_path=export_path)\n", "show_netron(export_path, 8088)" ] }, @@ -1431,7 +6817,7 @@ "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", - "version": "3.7.5 (default, Oct 25 2019, 15:51:11) \n[GCC 7.3.0]" + "version": "3.7.16" }, "orig_nbformat": 4, "vscode": {