Pular para o conteúdo principal

Python - Aprendendo uma linguagem de programação - Retomada

Depois de revisar os vídeos e exercícios iniciais sobre Python que havia assistido entre agosto e setembro de 2020, retomei o estudo do Python a partir da aula 8 do curso. 

05/03/2021

Strings e pacote NLTK (aulas 8.1 e 8.2)

Strings podem também ser vistas como uma lista de caracteres e por isso herdam muitas operações de listas. Operações adicionais:

str.replace(’x’, ’b’)
str.lower()
str.upper()

substr in str

str.split(", ")

autor.strip()

NLTK -> https://www.nltk.org/. Foi necessário realizar pelo jupyter o download de mais pacotes

Tokenização ..................... nltk.word_tokenize(poem, language="portuguese") & nltk.sent_tokenize(poem, language="portuguese")

Análise Morfológica ............. nltk.pos_tag(tokens) {Substantivos, Verbo, Advérbio, ....} Lista completa em -> https://www.ling.upenn.edu/courses/Fall_2003/ling001/penn_treebank_pos.html

Stopwords ....................... nltk.corpus.stopwords.words(’english’)

Lematização ..................... lemmatizer = WordNetLemmatizer() & lemmatizer.lemmatize(palavra.lower())

Dicionários (9.1)

Tipo de variável que armazena uma coleção de pares chave-valores
Funciona como o sumário de um livro: um ou mais valores têm acesso direto pela sua chave.
Também chamado de tabela hash e map.

dict.keys()   ...... Chaves
dict.values() ...... Valores
dict.items()  ...... Par chave-valor

Dicionários são semelhantes ao formato de arquivo JSON ( é fácil a conversão)

import json
# Escrita de um dicionário em JSON
json.dump(dict, open("file.json", "w"))
# Leitura de um JSON para dicionário
dict = json.load(open("file.json"))

LIWC (Linguistic Inquiry and Word Count) -> http://liwc.wpengine.com/ (Aula 9.2)

Conta com o LIWC dictionary, recurso léxico que classifica palavras em diversas categorias (ansiedade, raiva, afetividade, positivo, negativo, etc.) ... Análise de Sentimentos

Brazilian Portuguese LIWC Dictionary -> http://143.107.183.175:21380/portlex/index.php/pt/projetos/liwc

VerbNet.Br: construção semiautomática de um léxico verbal online e independente de domínio para o português do Brasil -> http://143.107.183.175:21380/portlex/index.php/pt/projetos/verbnetbr

Análise de sentimento com LIWC

posemo = positivo
negemo = negativo

Entrada e Saída de arquivos (10.1)

with open("arquivo.txt") as f:
    doc = f.read()
with open("arquivo_saida.txt", "w") as f:
    f.write(doc)

O comando open trabalha apenas com variáveis textuais.

Processamento de arquivos csv -> https://docs.python.org/3/library/csv.html

import csv

Processamento de arquivos a nível de sistema operacional -> https://docs.python.org/3/library/os.html

import os 

os.listdir('.')
os.path.exists("arquivo_saida.txt")
os.remove("arquivo_saida.txt")
os.path.exists("arquivo_saida.txt")
os.mkdir("novo_dir/")

APIs e Módulo requests (Aula 10.2)

Módulo requests (via HTTP) -> https://requests.readthedocs.io/pt_BR/latest/index.html

pip install requests

DBLP API -> https://dblp.org/faq/How+to+use+the+dblp+search+API.html
LinkedIn API -> https://docs.microsoft.com/en-us/linkedin/shared/integrations/people/profile-api
Semantic Scholar API -> https://api.semanticscholar.org/

A python library that aims to retrieve data from Semantic Scholar API
pip install semanticscholar

Lookup por ID do autor ou da publicação (DOI)

Babel API -> https://babelscape.com/wordatlas#api

Tratamento de Erros e Exceções (Aula 11)

try:
    ....
except Exception as err:
    print("Erro Inesperado", err)
finally:
    print("Liberar recursos")

O finally vai ser executado independente de ter acontecido erro ou não !!!

WordNet + NLTK (Aula 12)

Modelos de Linguagem (Aula 13.x)

Em algumas tarefas de Processamento de Língua Natural, é necessário inferir/estimar a probabilidade de certos eventos, conforme abaixo, baseado num córpus com muitas sentenças.

  • Qual a probabilidade de uma determinada palavra (w5) dada uma sequência (w1, w2, w3, w4)? (P(w5|w1, w2, w3, w4)) -> Geração de texto
  • Qual a probabilidade de uma determinada sentença ou sequência de palavras? (P(w1, w2, w3, w4)) -> Melhor Tradução, Correção de Erros Ortográficos

Regra da Cadeia: A probabilidade de uma sentença pode ser estimada através da regra da cadeia, i.e., a multiplicação das probabilidades de cada palavra, estimada com base nas palavras anteriores:
P(w1, w2, w3, w4) = P(w1)×P(w2|w1)×P(w3|w1, w2)×P(w4|w1, w2, w3)

Cadeia de Markov: Popularmente chamada de Ngramas (bigram, trigram), assume que a próxima palavra pode ser inferida com um pequeno conjunto de palavras prévias da sequência.

Passos no python

  1. Carregar o córpus (open / read)
  2. Tokenizar as sentenças, inserindo os marcadores de início e fim (concatenar string no INICIO e FIM e nltk.word_tokenize)
  3. Colocar todos os tokens do córpus numa única lista (transformar a lista de listas em uma úica lista de treinamento)
  4. Computar o Vocabulário (set para calcular o número de palavras distintas do corpus)
  5. Computar os ngramas (e.g., bigramas, trigramas, etc) utilizando o NLTK (nltk.ngrams)
  6. Contar a frequência dos ngramas (nltk.FreqDist)

AULAS BEM COMPLEXAS !!!!

Aprendizado de Máquina (Aula 14.x)

  1. Definir o problema
  2. Escrever um programa que implemente um algoritmo de AM que aprenda a resolver este problema
  3. Treinar o programa com exemplos solucionados do problema
  4. Testar o programa em novos exemplos do problema para verificar se ele realmente aprendeu como solucioná-lo.

Tarefa de Classificação: conjunto de treinamento com dados rotulados (golden), faz extração de features para montar o modelo de classificação, algoritmos Árvores de Decisão, Regressão Logística,
Naive Bayes.

Naive Bayes em python. 

import nltk
from nltk.corpus import names
from random import shuffle
nltk.download('names')

nomes_etiquetados = []
for name in names.words("male.txt"):
    nomes_etiquetados.append((name, "male"))
for name in names.words("female.txt"):
    nomes_etiquetados.append((name, "female"))
shuffle(nomes_etiquetados)

Classificar gênero por nome, revisão positiva/negativa do filme, ...

Tutorial sobre Classificação -> https://www.nltk.org/book/ch06.html






Comentários

  1. Word Embeddings também podem ser usados para esses problemas de linguagem natural mencionados

    ResponderExcluir
  2. Essa API do Babel também pode ser útil para o Quem@PUC pelo suporte a tradução / multilinguas

    ResponderExcluir

Postar um comentário

Sinta-se a vontade para comentar. Críticas construtivas são sempre bem vindas.

Postagens mais visitadas deste blog

Connected Papers: Uma abordagem alternativa para revisão da literatura

Durante um projeto de pesquisa podemos encontrar um artigo que nos identificamos em termos de problema de pesquisa e também de solução. Então surge a vontade de saber como essa área de pesquisa se desenvolveu até chegar a esse ponto ou quais desdobramentos ocorreram a partir dessa solução proposta para identificar o estado da arte nesse tema. Podemos seguir duas abordagens:  realizar uma revisão sistemática usando palavras chaves que melhor caracterizam o tema em bibliotecas digitais de referência para encontrar artigos relacionados ou realizar snowballing ancorado nesse artigo que identificamos previamente, explorando os artigos citados (backward) ou os artigos que o citam (forward)  Mas a ferramenta Connected Papers propõe uma abordagem alternativa para essa busca. O problema inicial é dado um artigo de interesse, precisamos encontrar outros artigos relacionados de "certa forma". Find different methods and approaches to the same subject Track down the state of the art rese...

Knowledge Graph Embedding with Triple Context - Leitura de Abstract

  Jun Shi, Huan Gao, Guilin Qi, and Zhangquan Zhou. 2017. Knowledge Graph Embedding with Triple Context. In Proceedings of the 2017 ACM on Conference on Information and Knowledge Management (CIKM '17). Association for Computing Machinery, New York, NY, USA, 2299–2302. https://doi.org/10.1145/3132847.3133119 ABSTRACT Knowledge graph embedding, which aims to represent entities and relations in vector spaces, has shown outstanding performance on a few knowledge graph completion tasks. Most existing methods are based on the assumption that a knowledge graph is a set of separate triples, ignoring rich graph features, i.e., structural information in the graph. In this paper, we take advantages of structures in knowledge graphs, especially local structures around a triple, which we refer to as triple context. We then propose a Triple-Context-based knowledge Embedding model (TCE). For each triple, two kinds of structure information are considered as its context in the graph; one is the out...

Exploratory Search: From Finding to Understanding - Leitura de Artigo

Gary Marchionini. 2006. Exploratory search: from finding to understanding. Commun. ACM  49, 4 (April 2006), 41–46. https://doi.org/10.1145/1121949.1121979   This article distinguishes exploratory search that blends quer ying and browsing strategies from retrieval that is best served by analytical strategies ...   Exploratory search. Search is a fundamental life activity.   A hierarchy of information needs may also be defined that ranges from basic facts that guide short-term actions (for example, the predicted chance for rain today to decide whether to bring an umbr ella) to networks of related concepts that help us under stand phenomena or execute complex activities (for example, the relationships between bond prices and stock prices to manage a retirement portfolio) to com plex networks of tacit and explicit knowledge that accretes as expertise over a lifetime (for example, the most promising paths of investigation for the sea soned scholar or designer)....