Text Preprocessing Techniques for NLP

👤 Integrante:

• Izadora Luz

👨‍🏫 Professores:

• Renato Penha - Professor orientador
• Victor Hayashi - Professor de programação

📝 Descrição

Este projeto realiza um estudo sobre técnicas de pré-processamento de textos, utilizando uma base de dados do projeto de processamento de linguagem natural para a Uber. O objetivo é aplicar três técnicas diferentes de pré-processamento em 10 frases da base de dados, mostrando os resultados de cada técnica em um notebook Python organizado no Google Colab. Uma das técnicas de pré-processamento é implementada "from scratch", ou seja, sem o uso de bibliotecas.

Além disso, o projeto constrói um pipeline de pré-processamento completo, demonstrando o efeito cumulativo das técnicas aplicadas. Este projeto é parte de um estudo de caso maior, disponível no seguinte repositório do GitHub: Projeto - Uber NLP.

📁 Estrutura de Pastas

• Pré-processamento\

  • text_preprocessing_techniques.ipynb: Notebook Jupyter com o código Python que implementa e demonstra as técnicas de pré-processamento de textos.

• README.md: Documentação do projeto.

📚 Referências

AMAZON WEB SERVICES. Amazon Comprehend Documentation. Disponível em: https://docs.aws.amazon.com/comprehend/. Acesso em: 06 maio 2024.

AMAZON WEB SERVICES. Amazon Translate Documentation. Disponível em: https://docs.aws.amazon.com/translate/. Acesso em: 06 maio 2024.

AMAZON WEB SERVICES. Amazon Polly Documentation. Disponível em: https://docs.aws.amazon.com/polly/. Acesso em: 06 maio 2024.

AMAZON WEB SERVICES. Amazon Lex Documentation. Disponível em: https://docs.aws.amazon.com/lex/. Acesso em: 06 maio 2024.

AMAZON WEB SERVICES. Amazon Transcribe Documentation. Disponível em: https://docs.aws.amazon.com/transcribe/. Acesso em: 06 maio 2024.

GPT, Chat. Revisão ortográfica. 2024.