Learning and Reasoning over Social Behavioral and Textural Information - Video / Semiário

Indicação do Daniel Schwabe

"- Recentemente assisti a este seminário -

Learning and Reasoning over Social Behavioral and Textural Information https://www.youtube.com/watch?v=ifCLY0aE3M0 , que menciona "relational learning”. O assunto n tem a ver diretamente com o problema que vc está olhando, mas tem umas idéias que acho muito pertinentes em como incluir o contexto nas queries. Vale a pena assistir, recomendo fortemente. As publicações do Dan Goldwasser estão em https://www.cs.purdue.edu/homes/dgoldwas/publications/ . "

Abstract: Understanding natural language communication often requires context, such as the speakers’ backgrounds and social conventions, however, when it comes to computationally modeling these interactions, we typically ignore their broader context and analyze the text in isolation. In this talk, I will review on-going work demonstrating the importance of holistically modeling behavioral, social, and textual information. I will focus on several NLP problems, including political discourse analysis on Twitter and partisan news detection, and discuss how jointly modeling text and social behavior can help reduce the supervision effort and provide a better representation for language understanding tasks. 

Neurosymbolic representations

Análise de opinião política não pode se basear somente nas palavras, texto, etc em redes sociais ... deve levar em conta o perfil social do autor 

"Pensamentos e Orações" como expressão de empatia a algum tipo de sofrimento ou como indicação que isso não é o suficiente para resolver um determinado problema: interpretações diferentes.

Contexto é o que fornece significado as palavras

BERT e CPT-3 são modelos de linguagens que forneceriam contexto

The person is sick X This phone is sick X This movie is sick

Várias interpretações para sick. Dependem do contexto social onde são empregados. É possível desambiguar dependendo do tipo de objeto ao que é direcionado. 

Não bastaria usar somente o conteúdo do "post", é importante modelar o espaço-tempo, o autor e outras informações em um grafo.

Neuro-Symbolic approaches para combinar ambas as abordagens. Rule-based + embeddings similarity. IJCAI'21 (NLP) = TUTORIAL. 

• symbolic: rule-based ou probabilist inference baseado em representações atômicas como frames
  
• neural: representação distribuída sobre os símbolos (embeddings) permite calcular similaridade
  

Regras baseadas no autor do texto, suas convicções e valores morais. 

Contexto é decorrente da análise de Opiniões e Perspectivas sobre Política. Polarização. 

Modelar o contexto como variáveis latentes que podem ser aprendidas com a interação do usuário. 

Para predizer qual é o posicionamento político é necessário identificar em qual dimensão cada Claim/Afirmação está posicionada: Contra ou A favor ... existem posicionamento intermediários (seria mais fuzzy do que booleano)

Inferência em um modelo de grafo probabilístico

Modelar o Contexto Social de modo Declarativo como regras lógicas.

Se é possível afirmar a relação entre X e Y então é possível encontrar outros elementos Y' que são próximos no espaço latente que também podem estar relacionados. Os grupos costumam ser disjuntos.

Graph embeddings- contexto depende dos nós vizinhos

Word embeddings - contexto depende das palavras próximas

Deep Relational Learning: combinar ambos. Linguistic Context com Transformers (BERT), Model external context using Graph NN 

DRaiL: linguagem declarativa para as regras, neural para capturar as interações implícitas no embeddings space, simbólica para modelar as interações explícitas entre as entidades de modo consistente e a combinação neuro simbólica permite propagar as regras para o espaço de representação latente => permite compilar explicação simbólica para classificadores neurais.

Symbolic Explanations for Political Perspectives

stance = posição 

Comparar Democratas e Republicanos em relação aos frames (temas, eixos) que são valores morais:  por exemplo o posicionamento pode estar ligado a motivação econômica (caso do ObamaCare) ou religiosa 

Teoria Moral (Haidt,2004): (1) Care/Harm (2) Fairness/Cheating (3) Loyalty/Betrayal (4) Authority / Subversion (6) Purity / Degradation ... formato Praise/Judment

PSL: maquina de inferência

Além dos frames (que acabam sendo próximos em lados opostos), usar sub-frames para melhor posicionar os embeddings no espaço (que acabam sendo mais distribuídos para os extremos)

Fairness é mais importante para Liberais mas Conservadores consideram mais Lealdade e Autoridade mas ambos "se Importam" ... O nível de atenção dado a um determinado assunto indica que se importam com ele ... mas de que forma?  depende de quem é o alvo/objeto do sentimento moral. 

Criaram uma tabela Moral x Alvo. Por exemplo CARE about imigrants X CARE about american employees

Context-Infused Language Representation Learning

Como as postagens se propagam no grafo? Nem sempre as pessoas seguem o político por concordarem com ele. 

Embedding similarity entre documentos e símbolos (posicionamento político das pessoas)

O contexto das palavras dependem do grafo que estabelece a relação entre o autor e outros símbolos representados. Representação de autores (políticos) e tópicos (assuntos)