1.3_Classification.ipynb

{"nbformat":4,"nbformat_minor":0,"metadata":{"colab":{"name":"1.3_Classification.ipynb","version":"0.3.2","provenance":[]},"kernelspec":{"name":"python3","display_name":"Python 3"}},"cells":[{"metadata":{"collapsed":true,"id":"8zR-sydoN4o5","colab_type":"text"},"cell_type":"markdown","source":["# Παραμετρικοί και μη-παραμετρικοί ταξινομητές, bias - variance trade-off\n","O Gaussian Naive Bayes είναι ένας παραμετρικός ταξινομητής. Οι παραμετρικοί ταξινομητές κάνουν κάποια υπόθεση για την κατανομή (των χαρακτηριστικών) των δεδομένων και την προσδιορίζουν μέσω παραμέτρων. Στην περίπτωση του Gaussian Naive Bayes, η υπόθεση είναι η κανονική κατανομή και οι παράμετροι είναι τα $μ$ και $σ^2$ των χαρακτηριστικών. Αντίθετα, οι μη-παραμετρικές μέθοδοι δεν κάνουν καμμία υπόθεση για την κατανομή των δεδομένων. Προσοχή: και οι μη-παραμετρικοί ταξινομητές έχουν παραμέτρους (και πάρα πολλές σε ορισμένες περιπτώσεις, τα βάρη των νευρωνικών για παράδειγμα) που επηρρεάζουν τη λειτουργία τους αλλά δεν σχετίζονται με κάποια υπόθεση κατανομής για τα δεδομένα. \n","\n","Σε γενικές γραμμές οι παραμετρικοί ταξινομητές είναι απλούστεροι, ταχύτεροι στις φάσεις train/test και χρειάζονται λιγότερα δεδομένα εκπαίδευσης. Από την άλλη, έχουν γενικά μικρότερη χωρητικότητα (capacity), δηλαδή μπορούν να διαχωρίσουν τις κλάσεις σε προβλήματα σχετικά μικρότερων διαστάσεων ενώ η απαίτηση τα πραγματικά δεδομένα να ακολουθούν μια ακριβή κατανομή είναι πολύ ισχυρή και δεν επαληθεύεται πρακτικά. Αντιστρόφως, οι μη παραμετρικοί ταξινομητές είναι πιο αργοί στην εκπαίδευση, έχουν γενικά μεγαλύτερες απαιτήσεις χώρου/μνήμης και χρειάζονται περισσότερα δεδομένα αλλά έχουν μεγαλύτερη χωρητικότητα, μπορούν να μάθουν δυσκολότερα προβλήματα και να έχουν καλύτερη απόδοση σε μεγαλύτερα datasets. \n","\n","Οι μη παραμετρικοί ταξινομητές μπορούν να εμφανίσουν επίσης εντονότερα το πρόβλημα της υπερεκπαίδευσης (overfitting), δηλαδή να προσαρμοστούν υπερβολικά στα δεδομένα εκπαίδευσης και να μειωθεί η ικανότητα γενίκευσης (generalisation) τους σε νέα δείγματα. Γενικά στη φάση της εκπαίδευσης προσπαθούμε να επιτύχουμε μια καλή ισορροπία μεταξυ της απόκλισης (bias) και της διακύμανσης (variance) από τις πραγματικές τιμές.\n","\n","![Bias-Variance trade off](http://www.bogotobogo.com/python/scikit-learn/images/NeuralNetwork7-Overfitting/Overfitting.png \"Bias-Variance trade off\")\n","\n","\n","Ένα παράδειγμα μη-παραμετρικού ταξινομητή που θα εξετάσουμε είναι ο kNN (k-Nearest-Neighbours). "]},{"metadata":{"collapsed":true,"id":"4ZdyhJaEN4o8","colab_type":"text"},"cell_type":"markdown","source":["# k Nearest Neighbors Classifier (kNN)\n","O kNN είναι ένας μη παραμετρικός ταξινομητής βασισμένος σε παραδείγματα (instance-based). Η αρχή λειτουργίας του είναι πολύ απλή. Για ένα νέο δείγμα προς ταξινόμηση, πρώτα υπολογίζουμε τους k πλησιέστερους γείτονές του (στον ν-διάστατο χώρο των χαρακτηριστικών εισόδου) με βάση κάποια συνάρτηση απόστασης, συνήθως ευκλείδεια\n","$$d(x, x') = \\sqrt{\\left(x_1 - x'_1 \\right)^2 + \\left(x_2 - x'_2 \\right)^2 + \\dotsc + \\left(x_n - x'_n \\right)^2}$$\n","Η κλάση του νέου δείγματος θα είναι η κλάση της πλειοψηφίας των k γειτόνων (διαλέγουμε k περιττό γενικά), είτε απλά υπολογισμένη (άθροισμα) είτε (αντίστροφα) ζυγισμένη με βάση την απόσταση του κάθε γείτονα. \n","\n","Ο kNN δεν έχει πρακτικά φάση εκπαίδευσης. Ωστόσο, για να ταξινομήσουμε ένα νέο δείγμα στην φάση test,  πρέπει να συγκρίνουμε την απόστασή του με κάθε δείγμα του train set. Αυτό σημαίνει ότι για την ταξινόμηση είναι απαραίτητα όλα τα δείγματα εκπαίδευσης (εξού και η ονομασία \"instance-based\", ενώ στον Naive Bayes χρειαζόμαστε μόνο τις παραμέτρους $μ$ και $σ^2$). Αυτό σημαίνει ότι ο kNN είναι πιο απαιτητικός και σε χώρο (αποθήκευση όλων των δειγμάτων) και σε χρόνο (υπολογισμός όλων των αποστάσεων για κάθε νέο δείγμα).\n","# Υπερπαράμετρος k\n","Το k της γειτονιάς του kNN είναι μια υπερπαράμετρος του ταξινομητή. Μια άλλη υπερπαράμετρος για παράδειγμα είναι η συνάρτηση της απόστασης. Οι υπερπαράμετροι είναι επιλογές που γίνονται από τον σχεδιαστή του συστήματος και δεν μπορούμε να ξέρουμε τις βέλτιστες τιμές τους αν πρώτα δεν τις αξιολογήσουμε εμπειρικά σε δεδομένα.  Ένα άλλο παράδειγμα υπερπαραμέτρου είναι ο αριθμός των κρυφών νευρώνων σε ένα MLP. Στην περίπτωση του kNN το k ελέγχει το trade-off μεταξύ μεταξύ απόκλισης και διακύμνανσης.\n","\n","Έαν θέσουμε μικρό k, πχ k=1 παίρνουμε ένα ταξινομητή με υψηλή διακύμανση και χαμηλή αποκληση. Ο ταξινομητής τείνει να αγνοεί τη συνολική κατανομή και αποφασίζει μόνο από το κοντινότερο δείγμα. Στην περίπτωση k=1 το σύνορο απόφασης (decision boundary) περνά από τις μεσοκάθετους γειτονικών δειγμάτων διαφορετικής κλάσης. \n","![kNN k=1](https://kevinzakka.github.io/assets/1nearestneigh.png \"kNN with k=1\")\n","Αν διαλέξουμε μεγαλύτερο k, φτιάχνουμε ένα ταξινομητή με χαμηλότερη διακύμανση και υψηλότερη απόκλιση. Θα ταξινομίσει λάθος περισσότερα αποκλίνοντα δείγματα (outliers) αλλά θα σέβεται περισσότερο τη συνολική κατανομή.\n","![kNN k=20](https://kevinzakka.github.io/assets/20nearestneigh.png \"kNN with k=20\")\n","\n","# Το Iris dataset\n","Για να μελετήσουμε τον kNN, θα φορτώσουμε το dataset [\"Iris\"](https://archive.ics.uci.edu/ml/datasets/Iris). Το Iris είναι το διασημότερο dataset στο Machine Learning. Το χρησιμοποίησε πρώτος το 1936 ο διάσημος στατιστικός [Ronald Fisher](https://en.wikipedia.org/wiki/Ronald_Fisher) και αποτελείται από 50 παρατηρήσεις για κάθε είδος του άνθους Iris (Iris setosa, Iris virginica και Iris versicolor). Για κάθε δείγμα μετρήθκαν 4 χαρακτηριστικά: το πλάτος και το μήκος των πετάλων και των σεπάλων.\n","\n","![Iris petals & sepals](https://kevinzakka.github.io/assets/flower.jpg \"Iris petals & sepals\")\n","\n","Σημειώστε ότι με το Iris και τρεις κατηγορίες και άρα έχουμε multiclass και όχι binary classification. Εισάγουμε το Iris στο notebook."]},{"metadata":{"id":"z1uirGVkN4o-","colab_type":"code","colab":{}},"cell_type":"code","source":["# Load Iris and organize our data\n","from sklearn.datasets import load_iris\n","data = load_iris()\n","label_names = data['target_names']\n","labels = data['target']\n","feature_names = data['feature_names']\n","features = data['data']"],"execution_count":0,"outputs":[]},{"metadata":{"id":"KSoLp7_UN4pB","colab_type":"code","colab":{"base_uri":"https://localhost:8080/","height":34},"outputId":"e6bc122b-d4fd-4f97-d872-0a3374a5f554","executionInfo":{"status":"ok","timestamp":1540200485569,"user_tz":-180,"elapsed":575,"user":{"displayName":"Νtdark 13","photoUrl":"","userId":"09958224867973618888"}}},"cell_type":"code","source":["# Ας τυπώσουμε τα ονόματα των χαρκτηριστικών\n","print(feature_names)"],"execution_count":2,"outputs":[{"output_type":"stream","text":["['sepal length (cm)', 'sepal width (cm)', 'petal length (cm)', 'petal width (cm)']\n"],"name":"stdout"}]},{"metadata":{"id":"HIZ_g3-MN4pG","colab_type":"code","colab":{}},"cell_type":"code","source":["# Χρησιμοποιούμε τη γνωστή train_test_split για να διαχωρίσουμε σε train και test set\n","# το (int) όρισμα \"random_state\" είναι το seed της γεννήτριας τυχαίων αριθμών\n","import numpy as np\n","from sklearn.model_selection import train_test_split\n","X_train, X_test, y_train, y_test = train_test_split(features, labels, test_size=0.40, random_state=78)"],"execution_count":0,"outputs":[]},{"metadata":{"id":"m0D806YqN4pJ","colab_type":"text"},"cell_type":"markdown","source":["Διαλέγουμε τυχαία τιμή 5 για την υπερπαράμετρο k, εκπαιδεύουμε ένα kNN classifier και υπολογίζουμε την πιστότητα του στο Iris, στο προηγούμενο train/test split"]},{"metadata":{"id":"X1vVA6_zN4pK","colab_type":"code","colab":{"base_uri":"https://localhost:8080/","height":34},"outputId":"9b75acc2-8fdb-40a1-9fe9-40a6d22e5601","executionInfo":{"status":"ok","timestamp":1540200492282,"user_tz":-180,"elapsed":565,"user":{"displayName":"Νtdark 13","photoUrl":"","userId":"09958224867973618888"}}},"cell_type":"code","source":["from sklearn.neighbors import KNeighborsClassifier\n","from sklearn.metrics import accuracy_score\n","knn = KNeighborsClassifier(n_neighbors=5)\n","knn.fit(X_train, y_train)\n","pred = knn.predict(X_test)\n","print(accuracy_score(y_test, pred))"],"execution_count":4,"outputs":[{"output_type":"stream","text":["0.9833333333333333\n"],"name":"stdout"}]},{"metadata":{"id":"zc4Mx50nN4pO","colab_type":"text"},"cell_type":"markdown","source":["# Ρύθμιση υπερπαραμέτρων με διασταυρούμενη επικύρωση (Cross Validation)\n","Ένας προφανής τρόπος να βρούμε τη βέλτιστη τιμή του k, να πραγματοποιήσουμε δηλαδή επικύρωση του μοντέλου, είναι ο ακόλουθος. Για k=1 μέχρι k=κάποιο n, κάνουμε fit τον ταξινομητή στο train set και μετράμε την απόδοση στο test set. Ο ταξινομητής με k που δίνει το μικρότερο σφάλμα ταξιμόνόμησης σύμφωνα με κάποιο κριτήριο (εδώ η πιστότητα) στο test set θα είναι ο βέλτιστος. Όμως, αν ακολουθήσουμε αυτή τη στρατηγική, ουσιαστικά κάνουμε υπερεκπαίδευση, καθώς χρησιμοποιούμε το test set ως training set, δηλαδή βελτιστοποιούμε κάποιο κριτήριο σφάλματος πάνω στο test set. Αυτό μπορεί να είναι επιβλαβές για την ικανότητα γενίκευσης του ταξινομητή: το test set χρησιμεύει μόνο για την τελική εκτίμηση της απόδοσης του ταξινομητή.\n","\n","Για να ακολουθήσουμε σωστά το πρωτόκολλο, αυτό που πρέπει να κάνουμε είναι να χρησιμοποιήσουμε μόνο το πραγματικό training set για να διαλέξουμε τις βέλτιστες υπερπαραμέτρους. Θα μπορούσαμε να κρατήσουμε ένα ποσοστό δειγμάτων ως σύνολο επικύρωσης (validation set πχ άλλο ένα 1/3) του training set και να ακολουθήσουμε την προηγούμενη διαδικασία: εκπαίδευση στο 1/3 training set, επικύρωση σε 1/3 και τελικά αξιολόγηση στο 1/3 data set. Ωστόσο αυτή η μεθοδολογία \"αχρηστεύει\" μεγάλο μέρος του dataset (τα 2/3) ως προς την εκπαίδευση του ταξινομητή. Πρακτικά λοιπόν, προτιμούμε να χρησιμοποιούμε τη μέθοδο της διασταυρούμενης επικύρωσης (Cross Validation).\n","\n","Στο Cross Validation αρχικά χωρίζουμε το training set σε έναν αριθμό \"πτυχών\" (folds). Συνηθισμένες τιμές είναι το 5 και το 10 (5-fold και 10-fold CV). Στη συνέχεια, για κάθε k-fold (άσχετο από το k του kNN), θεωρούμε ότι τα k μείον 1 folds είναι training set και ότι το fold που αφήσαμε έξω είναι το test set. Υπολογίζουμε τη μετρική σφάλματός μας στο test set που ορίζει το fold. Επαναλαμβάνουμε τη διαδικασία για τα k folds για κάθε τιμή των υπερπαραμέτρων και υπολογίζουμε τη μέση τιμή της μετρικής του σφάλματος. Με αυτό τον τρόπο, αφενός είμαστε αμερόληπτοι στην αξιολόγηση αφήνοντας τελείως έξω το test set και αφετέρου χρησιμοποιούμε αποτελεσματικά τα δεδομένα εκπαίδευσης: τα χρησιμοποιούμε όλα και παίρνοντας τη μέση τιμή εξαλείφουμε πιθανές ανωμαλίες στα δεδομένα.\n","\n","![Cross validation](https://sebastianraschka.com/images/faq/evaluate-a-model/k-fold.png \"Cross Validation\")\n","\n","To Scikit Learn έχει συναρτήσεις για να κάνει αυτόματα cross validation (να ορίζει folds και να  υπολογίζει τιμές και μέσους όρους). Θα κάνουμε 5 fold cross validation για να υπολογίσουμε το βέλτιστο k του kNN στο Iris."]},{"metadata":{"id":"3q1krR5RN4pO","colab_type":"code","colab":{}},"cell_type":"code","source":["from sklearn.model_selection import cross_val_score\n","# φτιάχνουμε μια λίστα από το 1 έως το 50\n","myList = list(range(1,50))\n","# Κρατάμε μόνο τα περιττά k\n","neighbors = list(filter(lambda x: x % 2 != 0, myList))\n","# empty list that will hold cv scores\n","cv_scores = []\n","# perform 5-fold cross validation\n","for k in neighbors:\n","    knn = KNeighborsClassifier(n_neighbors=k)\n","    scores = cross_val_score(knn, X_train, y_train, cv=5, scoring='accuracy')\n","    cv_scores.append(scores.mean())"],"execution_count":0,"outputs":[]},{"metadata":{"id":"6Usr5iw5N4pR","colab_type":"text"},"cell_type":"markdown","source":["Θα τυπώσουμε την τιμή του σφάλματος σε γραφική παράσταση ως συνάρτηση του k για το training set, και την τιμή της πιστότητας στο test set για το βέλτιστο k (υπολογισμένο στο training set)"]},{"metadata":{"id":"U7izRFzIPZHU","colab_type":"code","colab":{"base_uri":"https://localhost:8080/","height":332},"outputId":"c9ea2c00-7c4e-4a81-d84a-1273dbeedfa6","executionInfo":{"status":"ok","timestamp":1540200747186,"user_tz":-180,"elapsed":10925,"user":{"displayName":"Νtdark 13","photoUrl":"","userId":"09958224867973618888"}}},"cell_type":"code","source":["# Κάνουμε update την matplotlib\n","!pip install --upgrade matplotlib"],"execution_count":6,"outputs":[{"output_type":"stream","text":["Collecting matplotlib\n","\u001b[?25l  Downloading https://files.pythonhosted.org/packages/ed/89/dd823436a5f8d5ca9304b51b554863bfd366ca84708d5812f5ee87c923bc/matplotlib-3.0.0-cp36-cp36m-manylinux1_x86_64.whl (12.8MB)\n","\u001b[K    100% |████████████████████████████████| 12.8MB 2.3MB/s \n","\u001b[?25hRequirement already satisfied, skipping upgrade: numpy>=1.10.0 in /usr/local/lib/python3.6/dist-packages (from matplotlib) (1.15.2)\n","Collecting kiwisolver>=1.0.1 (from matplotlib)\n","\u001b[?25l  Downloading https://files.pythonhosted.org/packages/69/a7/88719d132b18300b4369fbffa741841cfd36d1e637e1990f27929945b538/kiwisolver-1.0.1-cp36-cp36m-manylinux1_x86_64.whl (949kB)\n","\u001b[K    100% |████████████████████████████████| 952kB 18.1MB/s \n","\u001b[?25hRequirement already satisfied, skipping upgrade: python-dateutil>=2.1 in /usr/local/lib/python3.6/dist-packages (from matplotlib) (2.5.3)\n","Requirement already satisfied, skipping upgrade: cycler>=0.10 in /usr/local/lib/python3.6/dist-packages (from matplotlib) (0.10.0)\n","Requirement already satisfied, skipping upgrade: pyparsing!=2.0.4,!=2.1.2,!=2.1.6,>=2.0.1 in /usr/local/lib/python3.6/dist-packages (from matplotlib) (2.2.2)\n","Requirement already satisfied, skipping upgrade: setuptools in /usr/local/lib/python3.6/dist-packages (from kiwisolver>=1.0.1->matplotlib) (40.4.3)\n","Requirement already satisfied, skipping upgrade: six>=1.5 in /usr/local/lib/python3.6/dist-packages (from python-dateutil>=2.1->matplotlib) (1.11.0)\n","Installing collected packages: kiwisolver, matplotlib\n","  Found existing installation: matplotlib 2.1.2\n","    Uninstalling matplotlib-2.1.2:\n","      Successfully uninstalled matplotlib-2.1.2\n","Successfully installed kiwisolver-1.0.1 matplotlib-3.0.0\n"],"name":"stdout"}]},{"metadata":{"id":"TiB323l-N4pS","colab_type":"code","colab":{"base_uri":"https://localhost:8080/","height":413},"outputId":"72ff13a6-30d2-4f46-a9be-a367d4efa7bb","executionInfo":{"status":"ok","timestamp":1540200750910,"user_tz":-180,"elapsed":720,"user":{"displayName":"Νtdark 13","photoUrl":"","userId":"09958224867973618888"}}},"cell_type":"code","source":["# Κάνουμε import την matplotplib\n","import matplotlib.pyplot as plt\n","\n","# το σφάλμα είναι το αντίστροφο της πιστότητας\n","mean_error = [1 - x for x in cv_scores]\n","\n","# plot misclassification error vs k\n","plt.plot(neighbors, mean_error)\n","plt.xlabel('Number of Neighbors K')\n","plt.ylabel('Misclassification Error')\n","plt.show()\n","\n","# determining best k\n","optimal_k = neighbors[mean_error.index(min(mean_error))]\n","print(\"The optimal number of neighbors (calculated in the training set) is %d\" % optimal_k)\n","\n","# για το optimal k παίρνουμε και τα αποτέλεσματα στο test set\n","knn = KNeighborsClassifier(n_neighbors = optimal_k)\n","knn.fit(X_train, y_train)\n","pred = knn.predict(X_test)\n","print(\"\\nOptimal accuracy on the test set is\", accuracy_score(y_test, pred), \"with k=\", optimal_k)"],"execution_count":7,"outputs":[{"output_type":"display_data","data":{"image/png":"iVBORw0KGgoAAAANSUhEUgAAAfUAAAFYCAYAAABKymUhAAAABHNCSVQICAgIfAhkiAAAAAlwSFlz\nAAALEgAACxIB0t1+/AAAADl0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uIDIuMS4yLCBo\ndHRwOi8vbWF0cGxvdGxpYi5vcmcvNQv5yAAAIABJREFUeJzt3XlcVOX+B/DPmYEZ9n1TFEEERXDN\nLENFzV3bc8vQ6t5uZtyse21zCW+pV225Zr+6dksrMYsyrpduKaapVw23DHBFQETcgGFfhxnm/P5Q\nJ0lhQGbmzPJ5v16+9MyZc+bLo/LhPOc5zyOIoiiCiIiIrJ5M6gKIiIjIOBjqRERENoKhTkREZCMY\n6kRERDaCoU5ERGQjGOpEREQ2wkHqAjqqpKS6Xe/39nZBeXmdiaqxP2xP42ObGhfb0/jYpsbV3vb0\n93dvcZ/dXak7OMilLsGmsD2Nj21qXGxP42ObGpcx29PuQp2IiMhWmbT7ffny5cjMzIQgCFiwYAH6\n9u2r33fgwAG8++67kMlkCAsLw7Jly3D48GHMmzcPERERAIDIyEgsXrzYlCUSERHZDJOF+qFDh1BQ\nUIDk5GTk5eVhwYIFSE5O1u9//fXXsWHDBgQFBeH555/H3r174eTkhMGDB2PNmjWmKouIiMhmmaz7\nPT09HaNHjwYAhIeHo7KyEjU1Nfr9KSkpCAoKAgD4+PigvLzcVKUQERHZBZOFukqlgre3t37bx8cH\nJSUl+m03NzcAQHFxMfbv34+4uDgAQG5uLubMmYMZM2Zg//79piqPiIjI5pjtkbZbLQZXWlqKOXPm\nIDExEd7e3ggNDUVCQgImTJiAwsJCzJo1C9u3b4dCoWjxvN7eLu0eOdja4wDUfmxP42ObGhfb0/jY\npsZlrPY0WagHBARApVLpt4uLi+Hv76/frqmpwdNPP40XXngBQ4cOBQAEBgZi4sSJAICQkBD4+fmh\nqKgIXbt2bfFz2vuspL+/e7ufbaeWsT2Nj21qXGxP42ObGld721OS59RjY2ORlpYGADhx4gQCAgL0\nXe4AsGLFCsyePRvDhw/Xv5aamop169YBAEpKSlBaWorAwEBTlUhERGRTTHalPnDgQERHR2P69OkQ\nBAGJiYlISUmBu7s7hg4dii1btqCgoACbN28GAEyePBmTJk3C/PnzsXPnTmg0GixZsqTVrnciIiL6\njSDe6ma3FWlvFxC7jYyL7Wl8bFPjYnsaH9vUuKyi+52IiMjenS4ox/ki8/0AxFAnIiIygfNF1Xj7\nqwxs3pNnts9kqBMRERlZk06Hz7aehk4UMXZQy09wGRtDnYiIyMh2HLmAc1eqMSQ6EDHdfc32uQx1\nIiIiIyqpqMe/956Fm7Mjpt0bYdbPZqgTEREZiSiK2JCWjUaNDjPujYCHi3kfy2aoExERGcmBE0U4\nkV+GmDAf3B1t/snTGOpERERGUFXXiC935kDhKEP8uJ4QBMHsNTDUiYiIjCB5Zw5q6jV4eFh3+Hs5\nS1IDQ52IiKiDjp8tRfqJIoQGuWO0GR9h+z2GOhERUQc0NGrx+bZsyAQBT0zoBZnM/N3u1zHUiYiI\nOmDL3nyUVjVg/F0hCAmUdp15hjoREdFtyr9chR+PFCLA2xn3x4ZKXQ5DnYiI6HZom3T49IfTEEVg\n9vheUDjKpS6JoU5ERHQ70g6dx4WSGgzr2wlR3bylLgcAQ52IiKjdisrq8J995+DhqsDUUT2kLkeP\noU5ERNQOoiji822noW3SYeaYSLg6OUpdkh5DnYiIqB32Zl3G6fMV6N/DD4N6+ktdTjMMdSIiojaq\nrFHj659y4aSQ4/GxkZJMBdsahjoREVEbfbEjB3VqLR4dEQ4fDyepy7kJQ52IiKgNfs0pwZHTxegR\n7IkRA4KlLueWGOpEREQG1Ku12Lj9DOQyAbMn9ILMwrrdr2OoExERGfDtnjyUV6sxaUg3BPu5Sl1O\nixjqRERErci9UIldRy+ik68LJg0JlbqcVjHUiYiIWqDR6vDp1lMQATwxoRccHSw7Ni27OiIiIgn9\ncKAAl0vrMHJgMCK6eEldjkEMdSIiolu4qKrFf38+B293JR6NC5e6nDZxkLoAIiIiY/ti+xnsPHrB\nKOd6fGwknJXWEZfWUSUREVEbNWqasPfYJbgoHdAlwK1D5+rT3QcDIixrKtjWMNSJiMimnCooR6NG\nh1F3dcHUkZazgpo58J46ERHZlMxcFQCgfw8/iSsxP4Y6ERHZDFEUkZGrgpuzI8KDPaQux+wY6kRE\nZDMKiqpRUdOIPt19IZfZX8TZ31dMREQ2KyPnWtd7hP11vQMMdSIisiGZuaWQywTEhPlIXYokGOpE\nRGQTyqoaUFBUjV4hXlbzXLmxMdSJiMgmZOaVAgD62eGo9+sY6kREZBPs+VG26xjqRERk9dSNTTh5\nrhxd/F3h5+UsdTmSYagTEZHVO3GuDNomnV13vQMMdSIisgEZufb9KNt1DHUiIrJqOlFEVq4KHq4K\nhHWyv1nkbsRQJyIiq5Z/qQpVdRr0DfeFTBCkLkdSDHUiIrJq17veB9j5/XSAoU5ERFYuI1cFB7kM\nvUPtcxa5GzHUiYjIaqkq6nGxpBa9Q72hVMilLkdyDHUiIrJaGZxwphmGOhERWa3roW7vz6dfx1An\nIiKrVK/WIvt8BboFucPbXSl1ORaBoU5ERFbpeH4ZmnQiu95vwFAnIiKrlJFTAoD302/EUCciIqvT\npNMhK68U3u5KhAS6SV2OxTDpKvLLly9HZmYmBEHAggUL0LdvX/2+AwcO4N1334VMJkNYWBiWLVsG\nmUzW6jFEREQAkHexCrUNWtwZFQjBzmeRu5HJQv3QoUMoKChAcnIy8vLysGDBAiQnJ+v3v/7669iw\nYQOCgoLw/PPPY+/evXB2dm71GCIiIgDIyLn+KJuvxJVYFpN1v6enp2P06NEAgPDwcFRWVqKmpka/\nPyUlBUFBQQAAHx8flJeXGzyGiIgIuPoom8JRhqhu3lKXYlFMFuoqlQre3r81to+PD0pKSvTbbm5X\n74EUFxdj//79iIuLM3gMERHRlbI6XCmrQ3SoDxwdOIvcjUx6T/1Goije9FppaSnmzJmDxMTEZmHe\n2jG/5+3tAod2/qX6+7u36/3UOran8bFNjYvtaXxStum+E0UAgGEDutjM362xvg6ThXpAQABUKpV+\nu7i4GP7+/vrtmpoaPP3003jhhRcwdOjQNh1zK+Xlde2qy9/fHSUl1e06hlrG9jQ+tqlxsT2NT+o2\n3Z9xEQKAsEA3m/i7bW97tvYDgMm632NjY5GWlgYAOHHiBAICAvRd7gCwYsUKzJ49G8OHD2/zMURE\nZN9q6jXIuVCJ7p094OmqkLoci2OyK/WBAwciOjoa06dPhyAISExMREpKCtzd3TF06FBs2bIFBQUF\n2Lx5MwBg8uTJmDZt2k3HEBERXXfsbCl0osi53ltg0nvq8+fPb7bdq1cv/Z+PHz/epmOIiIiuy7y+\nKlsEQ/1WOKMcERFZBW2TDsfOlsHP0wnBfq5Sl2ORGOpERGQVzhRWoF6tRf8efpxFrgUMdSIisgr6\ntdPZ9d4ihjoREVk8URSRkaOCs1KOnl29pC7HYjHUiYjI4l1S1UJV2YCYMF84yBldLWHLEBGRxbve\n9c6101vHUCciIouXmVsKQQD6hHNVttYw1ImIyKJV1TYi72IlIrp4wc3ZUepyLBpDnYiILFpWXilE\nsOu9LRjqRERk0a7PItevB7veDWGoExGRxdJom3A8vwyBPi7o5MtZ5AxhqBMRkcU6fb4Cak0T+vMq\nvU0Y6kREZLH4KFv7MNSJiMgiiaKIzFwVXJ0c0KOLp9TlWAWGOhERWaTC4hqUVanRJ9wXchnjqi3Y\nSkREZJHY9d5+DHUiIrJIGTkqyGUCYsI4SK6tGOpERGRxyqvVOHelGpFdveDi5CB1OVaDoU5ERBYn\nK+9a1zvXTm8XhjoREVmcjBzeT78dDHUiIrIoak0TThaUI9jPFf5ezlKXY1UY6kREZFFOnSuHRqtj\n1/ttYKgTEZHFqKnX4IeDBQCAfux6bzeDoX7y5Elz1EFERHYu72Illnx6CLkXKtG/hx+6d/aQuiSr\nYzDUV6xYYY46iIjITomiiB8PF2LFF0dRXq3GQ8PCkPBIH8gEQerSrI7Bh/86d+6M+Ph49OvXD46O\njvrX582bZ9LCiIjI9tU1aPHp1lP4JbsEHi6OeOb+aESF+khdltUyGOpdunRBly5dzFELERHZkfNF\n1fhwy3EUl9cjsqsXnrk/Gt7uSqnLsmoGQz0hIQF1dXXIz8+HIAgICwuDszMfMSAiotsjiiL2Zl3G\nxu1noG3SYcLdIXh4eHcu2mIEBkN9x44dWLJkCYKCgqDT6aBSqfDmm28iLi7OHPUREZENUTc2IWl7\nNn4+fgWuTg6Y+1AMJ5gxIoOh/sknnyA1NRU+PlfvcRQVFWHevHkMdSIiapfLpbX48N/HcVFVi7BO\n7nj2gRj4cXIZozIY6o6OjvpAB4DAwMBmA+aIiIgMOXiyCJ9tOw11YxPuHdgFU0f1gKMDu9uNzWCo\nu7q6Yv369bjnnnsAAPv27YOrq6vJCyMiIuun0erw1U852HX0IpQKOeY8EI3BUYFSl2WzDIb6smXL\n8N577yE1NRWCIKB///5Yvny5OWojIiIrpqqox4dbjuPclWoE+7ti7oMx6OTLi0JTMhjqx48fxxtv\nvGGOWoiIyEZk5KjwyX9Pok6tRWyfIDw+tieUjnKpy7J5BkP9s88+Q2xsLBwcuEg9EZEtE0URqsoG\naJt0rb5PLQJlZbUt7t+XdRlbD56Ho4MMT07ohWH9Ohu7VGqBwaR2d3fHpEmT0Lt372YD5FatWmXS\nwoiIyLx+OnoRX/x4xijnCvR2xrMPxiAk0N0o56O2MRjqI0eOxMiRI81RCxERSejgqSIIAjCsb2e0\nNu26k5MjGho0Le73cFFg/F0hcFayh9fcDLZ4SUkJ/vSnP5mjFiIikkh1XSPyLlYiPNgTT0zo1ep7\n/f3dUVJSbabKqD0MPiR45swZFBQUmKMWIiKSSFZeKUQRnN3Nyhm8Us/OzsakSZPg6ekJR0dHiKII\nQRCwe/duM5RHRETmkJmrAgD0Y6hbNYOhvnbtWnPUQUREEtFodTieX4YAL2d09nWRuhzqgBa731NT\nUwEAwcHBCA4Ohlwu1//566+/NluBRERkWtmF5WhobEK/Hn4QWhshRxavxVDfvHlzs+2XX35Z/+df\nf/3VdBUREZFZZeaUAgD69/CVuBLqqBZDXRTFFrd/v4+IiKyTKIrIyFXBWemAiK5eUpdDHdRiqLfW\nBcPuGSIi23CxpBalVQ3o090HDnKummbt2vw3yCAnIrI9v14b9c5H2WxDi6PfT548iZkzZ+q3s7Oz\nMXPmTIiiiJycHLMUR0REppWZq4JMENAnnPfTbUGLof7hhx+asw4iIjKzytpG5F+qQmRXL7g6ORo+\ngCxei6E+ePBgc9ZBRERmlpWrgghOOGNLOCqCiMhOZVy7nz4ggqFuKxjqRER2SKNtwolzZQjycUGg\nD2eRsxVtWhevuroaFRUVzV7r2rWrSQoiIiLTO1VQjkaNjqPebYzBUF+6dCm+/fZb+Pj46CedEQQB\nO3fuNHjy5cuXIzMzE4IgYMGCBejbt69+n1qtxuuvv46cnBykpKQAAA4ePIh58+YhIiICABAZGYnF\nixff1hdGREQty8i9OotcP84iZ1MMhvrBgwdx4MABKJXKdp340KFDKCgoQHJyMvLy8rBgwQIkJyfr\n969atQpRUVE3PR43ePBgrFmzpl2fRUREbSeKIjJzVXB1ckCPLp5Sl0NGZPCeerdu3dod6ACQnp6O\n0aNHAwDCw8NRWVmJmpoa/f4XX3xRv5+IiMznfFENyqvV6BvuC7mMQ6tsicEr9aCgIMycORN33HEH\n5HK5/vV58+a1epxKpUJ0dLR+28fHByUlJXBzcwMAuLm53XSfHgByc3MxZ84cVFZWIiEhAbGxsW3+\nYoiIyLAMrp1uswyGupeXF4YMGdLhD2rLIjChoaFISEjAhAkTUFhYiFmzZmH79u1QKBQtHuPt7QIH\nB3mL+2/F39+9Xe+n1rE9jY9talxsz+ZOnCuDXCZgxJ3d4Op8e5POsE2Ny1jtaTDUExISUFdXh/z8\nfAiCgLCwMDg7Oxs8cUBAAFQqlX67uLgY/v7+rR4TGBiIiRMnAgBCQkLg5+eHoqKiVkfal5fXGazl\nRv7+7igpqW7XMdQytqfxsU2Ni+3ZXHm1GrkXKhHVzRt1NQ2oq2lo9znYpsbV3vZs7QcAgzdTduzY\ngbFjxyIxMRGLFi3CuHHjsGfPHoMfGhsbi7S0NADAiRMnEBAQoO96b0lqairWrVsHACgpKUFpaSkC\nAwMNfhYREbVNZt61BVw44YxNMnil/sknnyA1NRU+Pj4AgKKiIsybNw9xcXGtHjdw4EBER0dj+vTp\nEAQBiYmJSElJgbu7O8aMGYPnn38eV65cQX5+PuLj4zF16lSMGjUK8+fPx86dO6HRaLBkyZJWu96J\niKh9MnK4KpstMxjqjo6O+kAHrnaROzq27R7M/Pnzm2336tVL/+eWHltbu3Ztm85NRETto9Y04VRB\nOYL9XOHvZfg2Klkfg6Hu6uqK9evX45577gEA7Nu3D66uriYvjIiIjOvkuTJotDqOerdhBkN92bJl\neO+995CamgpBENCvXz8sX77cHLUREZERZebyfrqtMxjqvr6+eOONN8xRCxERmYhOFJGZWwp3F0d0\n7+QhdTlkIi2G+gsvvIDVq1cjLi4OgiDctH/37t2mrIuIiIzo3OVqVNY2IrZPEGSym7+nk21oMdQX\nLVoEANi0adNN++rr601XERERGd31WeQ46t22tficup/f1b/4119/HcHBwc1+vfLKK2YrkIiIOi4z\nVwUHuYDoMB/Dbyar1eKVempqKj744ANcunQJI0aM0L+u1Wrh68ul+oiIrEVpZQMKi2sQ090HTgqD\nQ6nIirX4t3v//fdj0qRJWLhwIf785z/rX5fJZJzljYjIirDr3X60Ok2sXC7HihUr4OXlBUEQIAgC\n1Go1pk6daq76iIiog64/ytYvnKFu69o0TezatWvR2NgIFxcXqNVq3HfffeaojYiIOqhercXp8+Xo\nGuAGX08nqcshEzO4oMu2bdvw888/o1+/fjhw4ADefvttREREmKM2IiLqoJPnyqBtEtn1bicMhrqr\nqysUCgU0Gg0A4N5778XOnTtNXhgREXVcBmeRsysGu989PT2RmpqKyMhIvPbaawgPD0dxcbE5aiMi\nog7Q6a7OIufpqkC3oJbX4CbbYTDUV65cidLSUowZMwaff/45ioqK8O6775qjNiIi6oCzl6pQU6/B\n8H6dILvFzKBkewx2v4uiiKysLDg7O2POnDkICwtD165dzVEbERF1wG+PsvlLXAmZi8FQf+WVV6BS\nqfTbarUaL7/8skmLIiKijsvMVcHRQYaoUG+pSyEzMRjqFRUVmDVrln77ySefRFVVlUmLIiKijimu\nqMdFVS16d/OG0lEudTlkJgZDXaPRIC8vT799/Phx/Uh4IiKyTJk51yac4ah3u2JwoNxrr72GuXPn\norq6Gk1NTfDx8cHKlSvNURsREd2mDM4iZ5cMhnq/fv2QlpaG8vJyCIIALy8vc9RFRES3qa5BizOF\nFQgNcoe3u1LqcsiMWgz1jz76CM888wxeeuklCLd4FGLVqlUmLYyIiG7P8fxSNOk4i5w9ajHUo6Oj\nAQD33HOP2YohIqKO03e9M9TtTouh/tVXX2Ho0KHYtWsX1qxZY86aiIjoNjXpdDiWVwpvdyVCAt2k\nLofMrMVQLygowLRp03D27FnMnDnzpv1ffPGFSQsjIqL2y71QidoGLQZHBd7y1inZthZDfdOmTcjO\nzsbSpUsxb948c9ZERES3KTO3FAC73u1Vi6Hu5uaGQYMG4csvv4RSydGTRETW4NdcFZSOckR145NK\n9qjFUJ89ezY2bNiAAQMGNOvCEUURgiDg1KlTZimQiIja5kpZHYrK6jAgwg+ODpxFzh61GOobNmwA\nAJw+fdpsxRAR0e3LyOHa6fbO4DSxx48fx65duwAA//jHPzB79mwcOXLE5IUREVH7ZOaqIICzyNkz\ng6G+dOlShIWF4ciRIzh27BgWL17MR9yIiCxMTb0GORcq0b2zBzxcFVKXQxIxGOpKpRKhoaHYuXMn\npk6dih49ekAmM3gYERGZUfqJK9CJIke92zmD6VxfX4+tW7dix44dGDp0KCoqKrj0KhGRBSkqq8O3\ne/LgonRAbJ9OUpdDEjIY6n/5y1/w3Xff4cUXX4SbmxuSkpLwxBNPmKE0IiIypEmnw8f/PYlGjQ6z\nxvfkAi52zuAqbXfffTdiYmLg5uYGlUqFIUOGYODAgeaojYiIDPj+5wKcvVSFu6MDMTgqUOpySGIG\nr9TffPNNbN26FRUVFZg+fTo2btyIJUuWmKE0IiJqTf7lKqTuPwcfDyUeHxMpdTlkAQyG+smTJzFl\nyhRs3boVDz30EFavXo2CggJz1EZERC1QNzbhX9+dhE4U8YdJveHi5Ch1SWQBDIa6KIoAgN27d2PU\nqFEAgMbGRtNWRURErfp6Vy6Kyuow9s6uiOrmLXU5ZCEMhnpYWBgmTpyI2tpaREVFYcuWLfD09DRH\nbUREdAtZeaXY9etFBPu74pG47lKXQxbE4EC5pUuX4syZMwgPDwcA9OjRA3PnzjV5YUREdLPqukZ8\n+sMpOMgFPD25N+d4p2YMhjoAFBcXIzs7G8DVrve1a9fip59+MmlhRETUnCiK+HxbNiprGzFlZDhC\nAt2lLoksjMFQf+mll1BZWYns7GwMHDgQmZmZ+POf/2yO2oiI6Ab7j13B0TMliOzqhXF3hkhdDlkg\ng/fUr1y5gnXr1iEsLAxr1qzBpk2bcOzYMXPURkRE15RU1GPTjjNwVsrxx8lRkMkEwweR3WnzJO5a\nrRZqtRrBwcHIzc01ZU1ERHQDnU7EJ/89iYbGJswcEwk/T2epSyIL1aYZ5T7++GOMHj0aDz30ELp0\n6QKdTmeO2oiICMDWgwXIuVCJQT39MSQ6SOpyyIIZDPXnn38eTU1NkMvlGDBgAEpLSxEbG2uO2oiI\n7F7BlWps2ZsPTzcFZo3vBUFgtzu1rMVQ37x5c4sH/fDDD3j00UdNUhAREV3VqGnCx/89iSadiD9M\njIKbM2eNo9a1GOq//PJLqwcy1ImITOvbPWdxSVWLewd2QUx3X6nLISvQYqj//e9/1//53LlzCA0N\nBXB1LvjevXubvDAiInt24lwZfjxSiE6+Lnh0ZLjU5ZCVMDj6/R//+Ac++ugj/fa//vUvvPPOOyYt\niojIntXUa7D++1OQywT8cXJvKB05axy1jcFQP3jwYLOr9tWrV+PIkSMmLYqIyJ5t3J6N8mo17o8N\nRVgnD6nLIStiMNQ1Gk2zVdlqa2uh1WpNWhQRkb06cOIKDp0qRniwByYO6SZ1OWRlDD7SNn36dEyc\nOBExMTHQ6XQ4duwYEhISzFEbEZFdKatqQNL2M1A6yvH05N6Qy9o8PxgRgDaE+pQpUxAbG4tjx45B\nEAS89tpr6NSpkzlqIyKyGzrx6qxx9WotnpjQCwHeLlKXRFbI4I+BFy5cwOXLlzFu3DiUl5fj/fff\nR15eXptOvnz5ckybNg3Tp09HVlZWs31qtRqvvPIKHn744TYfQ0Rkq3YcLsTp8xXo38MPw/rywolu\nj8Er9ddeew0vvfQSTp48ic2bNyMhIQFLly7Fp59+2upxhw4dQkFBAZKTk5GXl4cFCxYgOTlZv3/V\nqlWIiopCTk5Om48hIrI2oiiiobEJVbWNqKxtRFVtI6rqrv1+/bW6Rpy7XA13F0c8MYGzxtHtMxjq\ngiCgb9++eO+99zBz5kzExcUZDHQASE9Px+jRowEA4eHhqKysRE1NDdzc3AAAL774IioqKpCamtrm\nY4iILNHpgnIUltTog7pZcNdpoNG2vl6GXCbA212J2RN6wcNVYaaqyRYZDPW6ujpkZWUhLS0NGzdu\nRGNjI6qqqgyeWKVSITo6Wr/t4+ODkpISfUC7ubmhoqKiXcfcire3Cxwc2vcMp7+/e7veT61jexof\n29S4TNmeu49ewDtf/nrT6w5yGbzclejWyQNebkp4uyvh5a6El9u13/V/doKbs6PVLaXKf6PGZaz2\nNBjqTz31FBYvXoypU6fCx8cH77zzDiZPntzuDxJF0STHlJfXteuc/v7uKCmpbnctdGtsT+NjmxqX\nKduztkGDj/+dBYWDDLMn9IKPuxIergp4uirgrHRoUze6uk4NdZ3aJPWZCv+NGld727O1HwAMhvrE\niRMxceJE/fZf/vKXNv1DDQgIgEql0m8XFxfD39/f6McQEUnl2915qKrT4JG47lwSlSxCi6PfX3jh\nBQBAXFwcRowYof81cuRIjBgxwuCJY2NjkZaWBgA4ceIEAgICDN4bv51jiIikkHuxErszLiHYzxXj\nBodIXQ4RgFau1BctWgQA2LRp022deODAgYiOjsb06dMhCAISExORkpICd3d3jBkzBs8//zyuXLmC\n/Px8xMfHY+rUqbjvvvtuOoaIyNJom3TYsO00ACB+XE84yDlJDFkGQWzhxvXhw4dbPfDOO+80SUHt\n1d77OrwXZFxsT+NjmxqXKdpz28Hz+HpXLob17YQnJ0YZ9dzWgP9Gjcss99Tj4+PRvXt39O3b95b3\n0C0l1ImIzElVWY8t+87CzdkRU0b2kLocomZaDPWNGzciJSUFv/zyC0aMGIH777+/2eNmRET2RhRF\nbPoxB40aHeLH9oSbs6PUJRE102KoDxo0CIMGDUJDQwPS0tLw1ltvQaVSYfLkybjvvvsQHBxszjqJ\niCR39IwKGbkq9Arxwj0xHO1Olsfg6A4nJyc88MADWLduHeLj4/Hpp5/eNF87EZGtq1drsWnHGchl\nAuLH9eRUrmSRDD6nnpeXh82bN2Pbtm3o3bs33njjDYwcOdIctRERWYz/7MtHebUa990Tik6+rlKX\nQ3RLLYZ6cnIyUlJSIAgC7r//fvz73/+Gl5eXOWsjIrIIBVeq8eORQgR4O2PyPd2kLoeoRS2GemJi\nIrp164aAgABs3boV27Zta7aTNSyZAAAbmElEQVR/w4YNJi+OiEhqOp2IDWmnIYpA/NiecGznWhNE\n5tRiqO/cudOcdRARWaTdGReRf7kad/UORHSYj9TlELWqxVDn6HYisncVNWp8uycPzkoHTB/FZ9LJ\n8nFuQyKiFny1Mwf16iY8OiIcnm5KqcshMoihTkR0C8fPluLQqWKEd/ZAXP/OUpdD1CYMdSKi32nU\nNCFpezZkwtVn0mV8Jp2sBEOdiOh3/pt+DiUVDRhzZxeEBLa8eAaRpWGoExHd4JKqFlsPnIePhxIP\nDA2TuhyidmGoExFdI4oiNqRlo0knYuaYSDgpDE66SWRRGOpERNfsP3YFZworMCDCDwMi/KUuh6jd\nGOpERACq6xrx9a5cKB3lmDkmUupyiG4LQ52ICMA3u/JQU6/Bg8PC4OPhJHU5RLeFoU5Edi/7fDn2\nHbuMrgFuGD2oi9TlEN02hjoR2TVtkw4b0rIhAJg1vifkMn5bJOvFoZ1EVuTI6WIczSnBlBE94O0u\n3bSlOp2IytpGNGqaoL7hV6NG99ufG6/9rtVB3Xjzexo1TYAAKB3l+l8KRxkUN2wrHeVQKuRQOMiu\n7lc0f6/SUQ65rPWJYRQ1alTXNba4/6ejF3G5tA4jBwQjvLOnsZuKyKwY6kRWokmnw5c7c1Bercap\nc+V47qE+6NHF/CF0vqgaa/9zAlfK6jp0nuth3KQTjVFWh3i6KvBIXHepyyDqMIY6kZXIyitFebUa\nXfzdcElVi5WbjuLxsZGI62++FRX3Zl7Cxh/PQKPVoX8PP7i7OF67apZD6djy1fRv27+97iC/2s2t\nbbp2dd/Y/Kq+sYUegKu9AL9t68TWfyhQKh2gVmtb3C8IAkb27wwXJ0ejthWRFBjqRFZiT8YlAMAf\nJ0ehpl6Dtf85gc+3ZaOgqAaPjY7Qh6QpqDVN2Lg9G/uPXYGL0gHPPhCD/hF+Rjm3g/xqwLuaKFT9\n/d1RUlJtknMTWRqGOpEVKK1swLGzpQjr5KGfi3zx7EH4v5Rj2P3rRVwoqcFzD8aYZHnQy6W1+OeW\n47hQUovQIHc8+2AM/L2cjf45RNRxHOZJZAX2Zl2CKAIjblgC1N/LGQsevwODowKQe6ESb3x+BGcv\nVRn1cw+dKsIbnx/BhZJajBwYjNcev4OBTmTBGOpEFq5Jp8PerMtwUsgxOCqw2T6lQo5n7o/GlJHh\nqKhRY8UXR7E361KHP1Oj1WHj9mys/c8JQASeuT8a8WN7wtGB3zKILBm734ks3LGzZSivVmPkgGAo\nFfKb9guCgAl3dUNXfzes/c8JfPrDaZwvqsG0UT1u6z67qqIe//zPceRfrkawvyvmPhiDTr6uxvhS\niMjE+GM3kYXb8+tFAEDcDV3vtxLT3ReLnxiEYD9X7PzlAt75KgNVtS0/n30rGbkq/O2zw8i/XI3Y\nmCAsmjWIgU5kRRjqRBasrKoBWWdLEdbJXT9ArjWB3i5YOOsO3BHpj+zCCrzx+WGcu2L4PnuTTodv\ndudizeYsNGp1eGJCLzw1KQpKx5t7BojIcjHUiSzY3qzLEEW061l0J4UD5j4Ug4eGd0d5lRp/33gU\n6SeutPj+8mo13tr0K7YeOI8Ab2csjL8Dw/t1hiC0PlMbEVke3lMnslA6nYj/ZV66NkAuoF3HCoKA\n++4JRUiAG/713Ql8/N1JFFypxpSR4c3mNj91rgwfpZ5AVZ0Gd/T0x5MTouDixG8LRNaKV+pEFurY\n2aszyN0dHQQnxe0Fbb8eftfui7tg++FCvJuciZp6DXSiiO/25+Pt5AzUNmgx494IzH0whoFOZOX4\nP5jIQl2fQS6uX+sD5Azp5OuKRbMG4ePvTiIjV4U3PjuMAG9nnDxXDh8PJZ59IAbhwVzIhMgWMNSJ\nLFBZVQMy81QIDXJHtyDDA+QMcVY6IOGRPkjdl4/U/eegqmxAn+6+ePq+3nBz5pznRLaCoU5kgfbp\nB8h17Cr9RjJBwIPDuiOiixdKqxowtG8nyDgYjsimMNSJLEyTTsT/si5BeYsZ5IwhOszH6OckIsvA\ngXJEFubX7GKUValxd+9AOCv5czcRtR1DncjCbEs/BwAYYcZ10onINjDUiSxIebUah08VoZuRBsgR\nkX1hqBNZkL1Zl6DTiUYdIEdE9oOhTmQhdDoRe6/NIHeXCQbIEZHtY6gTWYjj+WUorVIjbmAXDpAj\notvCUCeyEHsyri6xOu7ubhJXQkTWiqFOZAHKq9XIzC1Ft0B3RHT1lrocIrJSDHUiC7Dv2GXoRA6Q\nI6KOYagTSUynE/G/jEtQOspxV28OkCOi28dQJ5LYiXNlKK1qwF29AzhAjog6hKFOJDH9EqucQY6I\nOoihTiShiho1MnJUCAlwQyhnkCOiDmKo3+B8UTUyclVSl0F2ZF/WtQFyA4IhcBlUIuoghvoN/pte\ngDWbs3CmsELqUsgO6EQR/8u8BIWjDHdzgBwRGYFJQ3358uWYNm0apk+fjqysrGb7fv75Zzz66KOY\nNm0aPvjgAwDAwYMHcffddyM+Ph7x8fF48803TVneTcbd2RUCgM+3nYZGqzPrZ5P9OZlfBlVlA+6K\n4hKrRGQcJvtOcujQIRQUFCA5ORl5eXlYsGABkpOT9fuXLl2KdevWITAwEI8//jjGjRsHABg8eDDW\nrFljqrJaFR7siVF3dMHOXy7g+/RzeHBYd0nqIPvAAXJEZGwmu1JPT0/H6NGjAQDh4eGorKxETU0N\nAKCwsBCenp7o1KkTZDIZ4uLikJ6ebqpS2uXh4d3h46HE9+kFuFhSI3U5ZKMqatTIyFWha4Abwjpx\ngBwRGYfJrtRVKhWio6P12z4+PigpKYGbmxtKSkrg4+PTbF9hYSEiIyORm5uLOXPmoLKyEgkJCYiN\njW31c7y9XeDgIG9Xbf7+rX8TfW5Kf7y57iA27sjByoRhkMs4gKk1htqTbrY76zKadCImDe2OgACP\nm/azTY2L7Wl8bFPjMlZ7mu1GniiKBt8TGhqKhIQETJgwAYWFhZg1axa2b98OhULR4jHl5XXtqsPf\n3x0lJdWtvifM3xWDowJw6FQxvtl+Gvfe0aVdn2FP2tKe1JxOFPHD/nwoHGWICfG6qf3YpsbF9jQ+\ntqlxtbc9W/sBwGTd7wEBAVCpfns8rLi4GP7+/rfcV1RUhICAAAQGBmLixIkQBAEhISHw8/NDUVGR\nqUps1YzRkXB1csDmPXkoq2qQpAayTafOlUNV2YDBUYFwceIAOSIyHpOFemxsLNLS0gAAJ06cQEBA\nANzc3AAAXbp0QU1NDS5cuACtVotdu3YhNjYWqampWLduHQCgpKQEpaWlCAyU5lEfT1cFpo2KgLqx\nCUlp2W3qaSBqi93Xlljl4i1EZGwmu0wYOHAgoqOjMX36dAiCgMTERKSkpMDd3R1jxozBkiVL8Ne/\n/hUAMHHiRISFhcHf3x/z58/Hzp07odFosGTJkla73k0ttk8Q0k9cQWZeKQ6fLsbgKD5LTB1TeW0G\nuS7+buje6eZ76UREHSGIVn4J2t77Ou29d1FcXofF6w7BWSHH0qfvhpuzY3tLtGm8t9Y+36efw7d7\nzmLmmMgWx2qwTY2L7Wl8bFPjsop76rYiwNsFDw4NQ1WdBl//lCt1OWTF9DPIOcgwJJq9PkRkfByl\n0wZjB3fFwVNF2HfsMu6ODkTvUB/DB5HF0DbpcPhUMerUWknrKK9Wo6SiAUP7dIKLE3t8iMj4GOpt\nIJfJ8MSEXnjz8yPYsC0bf/vDYCgd2/dsPEnnix/P6GdvswRxAzhAjohMg6HeRqFBHhh3Zwi2HTqP\n1H35mDKyh9QlURucPFeGPRmXEOzvivtjw6QuB56uCoR39pS6DCKyUQz1dnhgWBiOZBcj7VAhBkcF\nohvXv7ZoDY1afLb1NGSCgD9MikJoEEebE5Ft40C5dlA6yjF7fC/oRBGfbT2NJh1XcrNkKXvOQlXZ\ngPF3hTDQicguMNTbKTrMB7ExQSgoqsaPhy9IXQ614ExhBXb+cgFBPi54YGio1OUQEZkFQ/02TLs3\nAu4ujtiy9yyKK+qlLod+p1HThE+3ngYAPDUxCo7tXPCHiMhaMdRvg5uzI2aMjkCjVoekbac5hayF\n+c++fBSV1WH0oK7o0YWD0ojIfjDUb9NdUYHo090XJ86V4+fjV6Quh67Jv1yFbYfOw9/LCQ8P7y51\nOUREZsVQv02CICB+XCSUjnJ8tTMHVbWNUpdk9zRaHdZ/fwqiCDw5IQpKBbvdici+MNQ7wM/TGQ8P\n747aBi2+2pkjdTl27/v0c7ioqsXIAcHo1c1b6nKIiMyOod5B997RBWGdPHDgZBGy8kqlLsdunS+q\nxvfpBfD1UOLREeFSl0NEJAmGegfJZAKenNALcpmApLTTaGiUdn5xe6Rt0mH9D6fQpBMxe3wvOCs5\npxIR2Sd+9zOCLgFumHB3CP77cwFS/ncWj42ObNNxoiiiXq1FZW0jqmobUVWnufp7bSPCgz3QN9zP\nxJXbhm0Hz+N8UQ2G9umEmO6+UpdDRCQZhrqR3HdPKA6fLsHOIxfQv4cfPN2U+oC+GtiNv4X3te2q\nWg20TS3PSjdqYDCmjYqAowM7VFpyUVWL1P358HRTYNq9nI+fiOwbQ91IHB3keGJ8T6zc9Cve/irD\nwHtl8HBRoGuAKzxcFPBw/e2Xp6sCCkc5vt2Th5+OXkT+5So8+0AM/LyczfSVWA+dTsSnP5yCtknE\nrHE94crlTInIzjHUjahniDemj+qB7MIKeN4Q1NeD+/prTgo5BEFo9VxR3byxMS0b+49fwd8+O4w/\nTO6N/j3YHX+jH48U4uylKtzVOxADIvylLoeISHIMdSMbOzgEYweHdPg8Skc5npoUhYiuXvjixzNY\nszkLE+4OwcPDu0MuY3d8UVkdUv53Fu4ujnhsdITU5RARWQSmgwUTBAHD+3XGwvg7EODtjK0HzuOt\nLzNQUaOWujRJ6UQRn249DY1Wh5ljIuHuopC6JCIii8BQtwIhge54ffaduKOnP84UVmDJ+kM4da5M\n6rIks/vXizhTWIGBkf64s1eA1OUQEVkMhrqVcHFywNwHYzDj3gjUNmjxdnIGvtufD52dLSajqqjH\nN7vy4OrkgPixkQbHJhAR2ROGuhURBAFj7uyKV2cOhLe7Ev/em4/V32Sius4+5p0XRRGfbTsNtaYJ\nM0ZHwNNNKXVJREQWhaFuhcKDPZH4xJ3o090Xx8+W4W+fHUbexUqpyzK5vVmXcfJcOfqG+2JIdJDU\n5RARWRyGupVyd1Fg3pS+eGh4d5RXq7Hii6P48XChza7tXl6tRvJPOXBWyjFrXE92uxMR3QJD3YrJ\nBAH33ROK+dMHwNXZEV/uzMGHW46jrsG25p8XRREbtp1GvboJU0f2gI+Hk9QlERFZJIa6DYjq5o0l\nT96JyK5e+CW7BG98fhjni6qlLstoDpwsQmZeKaK6eWN4v85Sl0NEZLE4+YyN8HJT4qUZ/fHv/+Xj\nhwMFWLrhF/Tr4Wvybmql0gFqtWl7Bk7ml0HhKMMTE3qx252IqBUMdRsil8nw6Ihw9OjiifXfn8Iv\n2SVSl2QUcpmA+HE94c/574mIWsVQt0H9e/jhnediUW/iK2gA8PV1Q2lpjUk/w0Eug4sT/6kSERnC\n75Q2ytFBBkcH00+f6uWuhKbBPp6TJyKydBwoR0REZCMY6kRERDaCoU5ERGQjGOpEREQ2gqFORERk\nIxjqRERENoKhTkREZCMY6kRERDaCoU5ERGQjGOpEREQ2gqFORERkIwRRFEWpiyAiIqKO45U6ERGR\njWCoExER2QiGOhERkY1gqBMREdkIhjoREZGNYKgTERHZCAepCzCX5cuXIzMzE4IgYMGCBejbt6/U\nJVmlM2fOYO7cuXjiiSfw+OOP4/Lly3j55ZfR1NQEf39/vPXWW1AoFFKXaVVWrVqFX375BVqtFs88\n8wz69OnDNr1N9fX1ePXVV1FaWgq1Wo25c+eiV69ebM8OamhowOTJkzF37lwMGTKE7dkBBw8exLx5\n8xAREQEAiIyMxB//+EejtaldXKkfOnQIBQUFSE5OxrJly7Bs2TKpS7JKdXV1ePPNNzFkyBD9a2vW\nrMFjjz2GTZs2oVu3bti8ebOEFVqfAwcOICcnB8nJyfjkk0+wfPlytmkH7Nq1CzExMdi4cSNWr16N\nFStWsD2N4J///Cc8PT0B8P+8MQwePBhJSUlISkrC4sWLjdqmdhHq6enpGD16NAAgPDwclZWVqKmp\nkbgq66NQKPDxxx8jICBA/9rBgwdx7733AgBGjhyJ9PR0qcqzSnfeeSfee+89AICHhwfq6+vZph0w\nceJEPP300wCAy5cvIzAwkO3ZQXl5ecjNzcWIESMA8P+8KRizTe0i1FUqFby9vfXbPj4+KCkpkbAi\n6+Tg4AAnJ6dmr9XX1+u7iXx9fdmu7SSXy+Hi4gIA2Lx5M4YPH842NYLp06dj/vz5WLBgAduzg1au\nXIlXX31Vv8327Ljc3FzMmTMHM2bMwP79+43apnZzT/1GnBnXNNiut2/Hjh3YvHkz1q9fj7Fjx+pf\nZ5venq+++gqnTp3CSy+91KwN2Z7ts2XLFvTv3x9du3a95X62Z/uFhoYiISEBEyZMQGFhIWbNmoWm\npib9/o62qV2EekBAAFQqlX67uLgY/v7+ElZkO1xcXNDQ0AAnJycUFRU165qnttm7dy/Wrl2LTz75\nBO7u7mzTDjh+/Dh8fX3RqVMnREVFoampCa6urmzP27R7924UFhZi9+7duHLlChQKBf99dlBgYCAm\nTpwIAAgJCYGfnx+OHTtmtDa1i+732NhYpKWlAQBOnDiBgIAAuLm5SVyVbbjnnnv0bbt9+3YMGzZM\n4oqsS3V1NVatWoWPPvoIXl5eANimHXHkyBGsX78ewNXbbnV1dWzPDli9ejW+/fZbfP3115gyZQrm\nzp3L9uyg1NRUrFu3DgBQUlKC0tJSPPzww0ZrU7tZpe3tt9/GkSNHIAgCEhMT0atXL6lLsjrHjx/H\nypUrcfHiRTg4OCAwMBBvv/02Xn31VajVanTu3Bl///vf4ejoKHWpViM5ORnvv/8+wsLC9K+tWLEC\nixYtYpvehoaGBixcuBCXL19GQ0MDEhISEBMTg1deeYXt2UHvv/8+goODMXToULZnB9TU1GD+/Pmo\nqqqCRqNBQkICoqKijNamdhPqREREts4uut+JiIjsAUOdiIjIRjDUiYiIbARDnYiIyEYw1ImIiGwE\nQ53IyC5cuICePXsiNTW12eujRo0yyvl79uwJrVZrlHO1JC0tDffeey+++eabZq+/+uqrmDhxIjQa\njf61lJQUvP/++62eb9myZTh+/Hir72np6xo1ahQKCgraUX37HDx4EDNmzNBvFxYWYty4ccjKyjLZ\nZxKZCkOdyARCQ0PxwQcfWO3CQXv27MEf/vAHTJky5aZ9SqUSSUlJ7TrfwoULERMTY6zyTKa0tBTP\nPvsslixZwuWZySrZxTSxROYWEBCAoUOH4sMPP8TLL7/cbF9KSgp+/vlnvP322wCA+Ph4PPvss5DL\n5Vi7di2CgoJw7Ngx9OvXDz179sSPP/6IiooKfPzxxwgKCgIArF27FgcOHEBtbS1WrlyJyMhInD59\nGitXroRWq4VGo8Hrr7+O3r17Iz4+Hr169cKpU6fw+eefQy6X62vZvXs3PvjgAzg5OcHZ2Rlvvvkm\nfv31V+zZswe//PIL5HI5pk2b1qz+5557DqtWrcJ9991303TLrdXw7LPPYsiQIXjjjTeQmZkJPz8/\nBAUFwdvbGy+++CIAICkpCT/99BNKS0vx7rvv6ieJ+uabb3Ds2DGUlpZi8eLFuOuuu5Cfn4/ExESI\nogitVou//vWvGDRoEF599VUoFArk5+fj7bffRlJSEg4cOACFQoHAwECsXLnylmtV19TUYM6cOZg3\nb16z5YWJrAmv1IlM5Mknn8SePXtw9uzZNh+TlZWFV155Bd9++y2+++47eHh4ICkpCdHR0di2bZv+\nfeHh4di4cSMee+wx/N///R8A4KWXXsLf/vY3JCUlYcmSJVi0aJH+/S4uLti4cWOzQK+vr8eiRYvw\n/vvvIykpCcOHD8fq1asxfvx4DBs2DH/84x9vCnQAcHd3x5/+9Ce89dZbN+1rrQbg6jLIWVlZ+Oab\nb7B69WocOHCg2f7w8HAkJSVh8uTJzbr+vby88Pnnn2PhwoVYuXIlAGDp0qWYMWOG/rNeeeUV/fvr\n6uqQlJQEJycnfPHFF0hOTsamTZswZsyYZutAXKfRaPDcc8+hR48eGDNmzK3/coisAEOdyEQUCgVe\nfvllLFu2rM3HhIeHw8vLC0qlEl5eXhgwYACAq4tA3NiVHxsbCwAYOHAgcnJyUFpaivz8fCxcuBDx\n8fFYtmwZampqoNPp9O/7vXPnzsHX11d/9T948GAcO3asTXU+8sgjKCgowNGjR/WvGaoBAE6dOoVB\ngwbpl5z9/RzXd911FwAgKCgIVVVVN329AwYMQG5uLgAgMzNT/3rPnj1RU1ODsrIy/fsAwNPTE8OG\nDcPjjz+O9evXY+DAgejcufNNX09OTg7Gjx+PQ4cO4dChQ21qAyJLxO53IhOKi4vDl19+iR9//FH/\nmiAIzd5z46CzG6+kf79944zOMplM/5ogCFAoFHB0dGzxXvet5pH+fR3Xz9UWgiBg4cKFWLJkCR57\n7DEAMFgDAOh0On3tN34d17X09V6vSxRF/TG3qvX6azd2r69ZswZ5eXnYs2cPHn/8cbz//vuIiopq\ndlzv3r0xY8YMREdH489//jO+/PLLW4Y/kaXjlTqRiS1YsADvvPMOGhsbAQBubm64cuUKgKtXtzk5\nOe0+Z3p6OgDg6NGjiIyMhLu7O7p06YI9e/YAAPLz8/Xd8i0JDQ1FaWkpLl26pD9nv3792lxD3759\n0bt3b303eVtq6N69OzIyMiCKIurr67Fv3742fdb1bvqjR48iIiICANCvXz/98SdPnoSXlxe8vb2b\nHVdYWIjPPvsM4eHheOqppzBmzBicPn261a9p7ty5SEhIQENDQ5tqI7IkvFInMrGQkBCMGzcOa9eu\nBXC1K3ndunWYOnUqwsPD9V3FbSWXy5GTk4OvvvoK5eXl+nvbK1euxNKlS/Gvf/0LWq0Wr776aqvn\ncXJywrJly/Diiy/q18luz60CAPjLX/6C8ePHY+jQoW2qIS4uDt9//z0eeeQRdOrUCQMGDICDg+Fv\nQxUVFXjmmWdw6dIlJCYmAgAWL16MxMREfPnll9BqtVi1atVNxwUGBuLkyZN49NFH4erqCk9PTyQk\nJLT6WdOmTUNmZiYWLVqkH8xIZC24ShsRmU11dTV27NiBBx98EIIgYM6cOZg8eTImT54sdWlENoFX\n6kRkNq6urjh69Cg2bNgApVKJsLAwjB8/XuqyiGwGr9SJiIhsBAfKERER2QiGOhERkY1gqBMREdkI\nhjoREZGNYKgTERHZCIY6ERGRjfh/aS5KoAPo5wQAAAAASUVORK5CYII=\n","text/plain":["<matplotlib.figure.Figure at 0x7f34a15dd1d0>"]},"metadata":{"tags":[]}},{"output_type":"stream","text":["The optimal number of neighbors (calculated in the training set) is 7\n","\n","Optimal accuracy on the test set is 0.9666666666666667 with k= 7\n"],"name":"stdout"}]}]}