Consulta sobre Semântica ao professor Altigran - em 2020

S: A ideia é fazer um buscador em base "fechada" contemplando lattes dos profs PUC e disciplinas que ministram. UM pedido do reitor que eu resolvi ajudar, para facilitar quem desejar procurar na PUC-Rio quem mexe com coisas de meio-ambiente. 

Inicialmente o pessoal do NIMA passou algumas palavras-chave de termos ligados com meio-ambiente mas obviamente é um conjunto limitado. Há sinonimos, há contextos, etc. Se eu quiser pesquisar colocando na caixa de busca "mobilidade urbana" por exemplo, eu gostaria de apontar, entre outros, ao meu colega da Eng Mecanica que mexe com combustíveis menos poluentes. Ou ainda, em mim mesmo que faço pesquisa com onibus inteligentes com dispositivos IoT para coleta de poluição urbana. Mas como permitir fazer tais associações semanticas que nós humanos fazemos "facilmente"? Outro problema é ligado às palavras compostas: se ao invés de meio-ambiente, procurar apenas por ambiente, acho um monte de profs que nada têm a ver com meio-ambiente, um monte de colegas do meu depto que falam ou escreveram sobre ambiente de desenvolvimento de software por exemplo. Eu queria que meu buscador entender que ambiente é apenas "ambiental" no sentido ecologico, etc. COmo restringir as buscas assim? 

A: Tem basicamente duas linhas de ação em casos como esse. Uma mais "artesanal" e outra mais "automática".

Na mais "artesanal" o que todo mundo acaba usando é algum tipo de técnica de  expansão de termos, seja na consulta ou no documento. A ideia geral é enriquecer de forma automática a representação da consulta e/ou dos documentos de forma a aumentar as chances de match (ou seja, melhorar o recall/revocação). Para isso precisa ter algum recurso que permita, por exemplo, associar o termo "mobilidade urbana" com "transporte público". No caso do Google, esse recurso é um grande e muito bem feito knowledge graph (existe um API pra ele, mas eu nunca usei). Essas técnicas são bem conhecidas na literatura, e embora tenha muito paper, eu peguei aqui uns ponteiros pra coisas práticas que são aderentes ao Elastic Search. 

https://pkghosh.wordpress.com/2018/07/18/improving-elastic-search-query-result-with-query-expansion-using-topic-modeling/

https://github.com/biocaddie/elasticsearch-queryexpansion-plugin

https://www.elastic.co/blog/boosting-the-power-of-elasticsearch-with-synonyms

Veja que essa coisa melhora a revocação, mas não ajuda (e pode atrapalhar) a precisão. Portanto, o ranking tem um papel muito importante para capturar o contexto da consulta e ajudar na precisão.

Esse post tem dicas boas sobre o assunto: https://www.elastic.co/blog/practical-bm25-part-3-considerations-for-picking-b-and-k1-in-elasticsearch

Estou colocando aqui coisas mais práticas de sistema. Tem literatura dando suporte pra tudo isso, mas não sei se é isso que procuras. 

Na mais automática, mas também mais sofisticada e experimental, os caras estão trocando a representação vetorial clássica e esparsa por um representação vetorial mais densa e mais "semântica". Isso é feito usando uma técnica chamada "word embedding", que é meio um subproduto super bacana das técnicas de deep learning. Aqui tem um post bacana sobre o assunto:

https://www.elastic.co/pt/blog/text-similarity-search-with-vectors-in-elasticsearch.

A ideia básica aqui é que os termos são representados por vetores (os tais word embeddings) que modelam o contexto típico em que as palavras são usadas em textos diversos. O bacana é que estes vetores já existem "prontos" (pré-treinados) por aí. Assim, sabemos que mobilidade e transporte, apesar de sintaticamente não terem nada em comum, são semanticamente relacionados. 

Aqui vale a pena mencionar dois surveys, indo mais para o mundo acadêmico, bem completos sobre o assunto. O primeiro deve ser suficiente pra ter uma boa ideia.

https://arxiv.org/pdf/1705.01509.pdf

https://arxiv.org/abs/2010.06467

Dependendo de quanto estás disposto a investir, talvez seja o caso de montar uma coleção de referência. Uma coleção destas é composta por pares do tipo <Q,R> onde Q é uma consulta e R é uma lista dos documentos esperados para essa consulta, chamados de documentos relevantes. Isso dá trabalho, mas tem uma vantagem importante: tu tens como avaliar continuamente a melhoria do teu sistema de forma bem objetiva. 

 

S: A gente tá pegando do lattes (institucionalmente) somente os CVs de quem é prof ou pesquisador PUC. E montou "na mão" uma lista de disciplinas, e seus professores, que tem algo a ver com meio-ambiente. Mas nos lattes temos muito mais do que isso e, na prática, nosso  buscador "busca tudo". E não sabemos ainda qual a melhor abordagem: trabalhar os lattes a priori com algum preprocessamento para retirar tudo que não é meio ambiente da base ou deixar pra filtrar na hora da busca mesmo. 

 

A: Acho que os modelos de RI dão conta de fazer o filtro.

No entanto, talvez seja boa ideia indexar separadamente cada seção do Lattes como se fosse um documento independente, mas sempre recuperar no resultado o pesquisador cujo currículo essa seção pertence. A vantagem de fazer isso é que pode ser feito automaticamente. Depois de um tempo, um experimento pode ser feito para podar do índice as seções que comumente não são recuperadas ou são mal ranqueadas, ou nas quais os usuários não clicam no resultado.