run_xlnet.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"accelerator":"GPU","colab":{"name":"run_xlnet.ipynb","provenance":[],"collapsed_sections":[],"toc_visible":true,"machine_shape":"hm"},"kernelspec":{"display_name":"Python 3","language":"python","name":"python3"},"language_info":{"codemirror_mode":{"name":"ipython","version":3},"file_extension":".py","mimetype":"text/x-python","name":"python","nbconvert_exporter":"python","pygments_lexer":"ipython3","version":"3.6.11"},"varInspector":{"cols":{"lenName":16,"lenType":16,"lenVar":40},"kernels_config":{"python":{"delete_cmd_postfix":"","delete_cmd_prefix":"del ","library":"var_list.py","varRefreshCmd":"print(var_dic_list())"},"r":{"delete_cmd_postfix":") ","delete_cmd_prefix":"rm(","library":"var_list.r","varRefreshCmd":"cat(var_dic_list()) "}},"types_to_exclude":["module","function","builtin_function_or_method","instance","_Feature"],"window_display":false}},"cells":[{"cell_type":"markdown","metadata":{"id":"-OdMQj5v-PXC"},"source":["# This notebook is recommended to run in Google Colab, where you may use free GPU resources."]},{"cell_type":"code","metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"ar4O_1tszb8L","executionInfo":{"status":"ok","timestamp":1607542132038,"user_tz":-480,"elapsed":19479,"user":{"displayName":"Yuxin JIANG","photoUrl":"","userId":"08237551511886881536"}},"outputId":"a7637785-c29b-4ec0-821e-71ccb6e05712"},"source":["from google.colab import drive\n","drive.mount('/content/drive/')"],"execution_count":1,"outputs":[{"output_type":"stream","text":["Mounted at /content/drive/\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"5mmqSh3szedt","executionInfo":{"status":"ok","timestamp":1607542140205,"user_tz":-480,"elapsed":12565,"user":{"displayName":"Yuxin JIANG","photoUrl":"","userId":"08237551511886881536"}},"outputId":"cb818c94-7272-41ca-f47e-bd604211eb01"},"source":["! pip3 install transformers"],"execution_count":2,"outputs":[{"output_type":"stream","text":["Collecting transformers\n","\u001b[?25l  Downloading https://files.pythonhosted.org/packages/ed/db/98c3ea1a78190dac41c0127a063abf92bd01b4b0b6970a6db1c2f5b66fa0/transformers-4.0.1-py3-none-any.whl (1.4MB)\n","\r\u001b[K     |▎                               | 10kB 16.1MB/s eta 0:00:01\r\u001b[K     |▌                               | 20kB 20.4MB/s eta 0:00:01\r\u001b[K     |▊                               | 30kB 13.3MB/s eta 0:00:01\r\u001b[K     |█                               | 40kB 10.1MB/s eta 0:00:01\r\u001b[K     |█▏                              | 51kB 7.6MB/s eta 0:00:01\r\u001b[K     |█▌                              | 61kB 7.9MB/s eta 0:00:01\r\u001b[K     |█▊                              | 71kB 7.4MB/s eta 0:00:01\r\u001b[K     |██                              | 81kB 8.2MB/s eta 0:00:01\r\u001b[K     |██▏                             | 92kB 8.5MB/s eta 0:00:01\r\u001b[K     |██▍                             | 102kB 8.7MB/s eta 0:00:01\r\u001b[K     |██▋                             | 112kB 8.7MB/s eta 0:00:01\r\u001b[K     |███                             | 122kB 8.7MB/s eta 0:00:01\r\u001b[K     |███▏                            | 133kB 8.7MB/s eta 0:00:01\r\u001b[K     |███▍                            | 143kB 8.7MB/s eta 0:00:01\r\u001b[K     |███▋                            | 153kB 8.7MB/s eta 0:00:01\r\u001b[K     |███▉                            | 163kB 8.7MB/s eta 0:00:01\r\u001b[K     |████▏                           | 174kB 8.7MB/s eta 0:00:01\r\u001b[K     |████▍                           | 184kB 8.7MB/s eta 0:00:01\r\u001b[K     |████▋                           | 194kB 8.7MB/s eta 0:00:01\r\u001b[K     |████▉                           | 204kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████                           | 215kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████▎                          | 225kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████▋                          | 235kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████▉                          | 245kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████                          | 256kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████▎                         | 266kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████▌                         | 276kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████▉                         | 286kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████                         | 296kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████▎                        | 307kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████▌                        | 317kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████▊                        | 327kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████                        | 337kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████▎                       | 348kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████▌                       | 358kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████▊                       | 368kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████                       | 378kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████▏                      | 389kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████▌                      | 399kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████▊                      | 409kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████                      | 419kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████▏                     | 430kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████▍                     | 440kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████▋                     | 450kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████                     | 460kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████▏                    | 471kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████▍                    | 481kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████▋                    | 491kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████▉                    | 501kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████▏                   | 512kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████▍                   | 522kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████▋                   | 532kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████▉                   | 542kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████                   | 552kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████▎                  | 563kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████▋                  | 573kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████▉                  | 583kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████                  | 593kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████▎                 | 604kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████▌                 | 614kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████▉                 | 624kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████                 | 634kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████▎                | 645kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████▌                | 655kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████▊                | 665kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████                | 675kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████▎               | 686kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████▌               | 696kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████▊               | 706kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████               | 716kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████▏              | 727kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████▌              | 737kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████▊              | 747kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████              | 757kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████▏             | 768kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████▍             | 778kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████▋             | 788kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████             | 798kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████▏            | 808kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████▍            | 819kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████▋            | 829kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████▉            | 839kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████▏           | 849kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████▍           | 860kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████▋           | 870kB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████▉           | 880kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████           | 890kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████▎          | 901kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████▋          | 911kB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████▉          | 921kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████          | 931kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████▎         | 942kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████▌         | 952kB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████▊         | 962kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████         | 972kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████▎        | 983kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████▌        | 993kB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████▊        | 1.0MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████        | 1.0MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████▎       | 1.0MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████▌       | 1.0MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████▊       | 1.0MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████       | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▏      | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▍      | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▊      | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████      | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▏     | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▍     | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▋     | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████     | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▏    | 1.1MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▍    | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▋    | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▉    | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████████    | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▍   | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▋   | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▉   | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████   | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▎  | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▋  | 1.2MB 8.7MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▉  | 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████  | 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▎ | 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▌ | 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▊ | 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████ | 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▎| 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▌| 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▊| 1.3MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████████████| 1.4MB 8.7MB/s eta 0:00:01\r\u001b[K     |████████████████████████████████| 1.4MB 8.7MB/s \n","\u001b[?25hRequirement already satisfied: dataclasses; python_version < \"3.7\" in /usr/local/lib/python3.6/dist-packages (from transformers) (0.8)\n","Requirement already satisfied: filelock in /usr/local/lib/python3.6/dist-packages (from transformers) (3.0.12)\n","Requirement already satisfied: tqdm>=4.27 in /usr/local/lib/python3.6/dist-packages (from transformers) (4.41.1)\n","Requirement already satisfied: numpy in /usr/local/lib/python3.6/dist-packages (from transformers) (1.18.5)\n","Requirement already satisfied: regex!=2019.12.17 in /usr/local/lib/python3.6/dist-packages (from transformers) (2019.12.20)\n","Requirement already satisfied: packaging in /usr/local/lib/python3.6/dist-packages (from transformers) (20.4)\n","Collecting sacremoses\n","\u001b[?25l  Downloading https://files.pythonhosted.org/packages/7d/34/09d19aff26edcc8eb2a01bed8e98f13a1537005d31e95233fd48216eed10/sacremoses-0.0.43.tar.gz (883kB)\n","\u001b[K     |████████████████████████████████| 890kB 22.0MB/s \n","\u001b[?25hRequirement already satisfied: requests in /usr/local/lib/python3.6/dist-packages (from transformers) (2.23.0)\n","Collecting tokenizers==0.9.4\n","\u001b[?25l  Downloading https://files.pythonhosted.org/packages/0f/1c/e789a8b12e28be5bc1ce2156cf87cb522b379be9cadc7ad8091a4cc107c4/tokenizers-0.9.4-cp36-cp36m-manylinux2010_x86_64.whl (2.9MB)\n","\u001b[K     |████████████████████████████████| 2.9MB 39.4MB/s \n","\u001b[?25hRequirement already satisfied: six in /usr/local/lib/python3.6/dist-packages (from packaging->transformers) (1.15.0)\n","Requirement already satisfied: pyparsing>=2.0.2 in /usr/local/lib/python3.6/dist-packages (from packaging->transformers) (2.4.7)\n","Requirement already satisfied: click in /usr/local/lib/python3.6/dist-packages (from sacremoses->transformers) (7.1.2)\n","Requirement already satisfied: joblib in /usr/local/lib/python3.6/dist-packages (from sacremoses->transformers) (0.17.0)\n","Requirement already satisfied: urllib3!=1.25.0,!=1.25.1,<1.26,>=1.21.1 in /usr/local/lib/python3.6/dist-packages (from requests->transformers) (1.24.3)\n","Requirement already satisfied: idna<3,>=2.5 in /usr/local/lib/python3.6/dist-packages (from requests->transformers) (2.10)\n","Requirement already satisfied: chardet<4,>=3.0.2 in /usr/local/lib/python3.6/dist-packages (from requests->transformers) (3.0.4)\n","Requirement already satisfied: certifi>=2017.4.17 in /usr/local/lib/python3.6/dist-packages (from requests->transformers) (2020.11.8)\n","Building wheels for collected packages: sacremoses\n","  Building wheel for sacremoses (setup.py) ... \u001b[?25l\u001b[?25hdone\n","  Created wheel for sacremoses: filename=sacremoses-0.0.43-cp36-none-any.whl size=893257 sha256=79b12542567eadedf6eee0c9ccf530957907d3990cea7d8045817861eaca697f\n","  Stored in directory: /root/.cache/pip/wheels/29/3c/fd/7ce5c3f0666dab31a50123635e6fb5e19ceb42ce38d4e58f45\n","Successfully built sacremoses\n","Installing collected packages: sacremoses, tokenizers, transformers\n","Successfully installed sacremoses-0.0.43 tokenizers-0.9.4 transformers-4.0.1\n"],"name":"stdout"}]},{"cell_type":"code","metadata":{"colab":{"base_uri":"https://localhost:8080/"},"id":"a0Yf9E5vzfsU","executionInfo":{"status":"ok","timestamp":1607542140205,"user_tz":-480,"elapsed":11103,"user":{"displayName":"Yuxin JIANG","photoUrl":"","userId":"08237551511886881536"}},"outputId":"9db62c21-a73c-4b6b-e158-6b0257f0d52b"},"source":["%cd /content/drive/My Drive/SST-2-sentiment-analysis/"],"execution_count":3,"outputs":[{"output_type":"stream","text":["/content/drive/My Drive/SST-2-sentiment-analysis\n"],"name":"stdout"}]},{"cell_type":"markdown","metadata":{"id":"aBP1H0Amvwcg"},"source":["## SST-2 train-validate-test"]},{"cell_type":"code","metadata":{"id":"MQwRqrpxvvcs"},"source":["from run_Xlnet_model import model_train_validate_test\n","import pandas as pd\n","from utils import Metric\n","import os\n","\n","data_path = \"/content/drive/My Drive/SST-2-sentiment-analysis/data/\"\n","train_df = pd.read_csv(os.path.join(data_path,\"train.tsv\"),sep='\\t',header=None, names=['similarity','s1'])\n","dev_df = pd.read_csv(os.path.join(data_path,\"dev.tsv\"),sep='\\t',header=None, names=['similarity','s1'])\n","test_df = pd.read_csv(os.path.join(data_path,\"test.tsv\"),sep='\\t',header=None, names=['similarity','s1'])\n","target_dir = \"/content/drive/My Drive/SST-2-sentiment-analysis/output/Xlnet/\"\n","\n","model_train_validate_test(train_df, dev_df, test_df, target_dir, \n","         max_seq_len=50,\n","         epochs=3,\n","         batch_size=32,\n","         lr=2e-05,\n","         patience=1,\n","         max_grad_norm=10.0,\n","         if_save_model=False,\n","         checkpoint=None)\n","\n","test_result = pd.read_csv(os.path.join(target_dir, 'test_prediction.csv'))\n","Metric(test_df.similarity, test_result.prediction) "],"execution_count":null,"outputs":[]}]}