Feedback CSBC 2024 - CTD 2024

Revisor 1

*** Comentários para o(s) autor(es) Por favor, redija um parecer que justifique a sua recomendação.

 Evaluation = Trata-se de um excelente trabalho, com tema atual e relevante.

A arquitetura para sistemas de apoio à decisão, composta por uma Camada de Decisão, uma Camada de Confiança e uma Camada de Conhecimento, embora pareça simples, engloba uma complexidade de contemplar um Grafo de Conhecimento enriquecido de Contexto (CoaKG) e uma Máquina de Consulta baseada nesse grafo de conhecimento. A Wikidata foi utilizada para uma Prova de Conceito para avaliar a Camada de Conhecimento, que foi o foco da tese.

Do ponto de vista teórico, poderia ter apresentado uma formalização consistente.
Do ponto de vista metodológico, poderia ter apresentado uma sistematização maior dos elementos metodológicos e comparações experimentais com o estado da arte. Embora sejam apresentados trabalhos relacionados, a comparação apresentada foi mais discursiva do que experimental.

A candidata apresenta um conjunto robusto de publicações, entre os quais se destacam o Semantic Web Journal (A1), em que é a autora principal.
Como contribuições técnicas, são apresentados o repositório GitHub com a Prova de Conceito, mas também listados o framework e o WD Trust profiling. Entendo a definição de DOWA como contribuição conceitual-teórica. Não percebi na documentação apresentada registro de software ou de patente.

Em termos de apresentação, o artigo-resumo não explicita o método de pesquisa, mencionando a prova de conceito apenas ao listar a estrutura da tese. Muitas informações são apresentadas de forma descontextualizada, só sendo possível entender após a descrição das figuras (por exemplo, no último parágrafo da seção 2.1. Problem Scope é mencionada a Trust Layer e na seção 2.2 também a Knowledge Layer, mas as camadas só são apresentadas na seção 2.3). Também podem ser observadas repetições de citações

*** Comentários para o Comitê de Programa Caso julgue oportuno, inclua neste campo comentários exclusivos para o Comitê de Avaliação.
 

Evaluation = É um excelente trabalho, mas o artigo-resumo foi mal estruturado, não apresentando adequadamente os elementos principais da tese e não destacando seu impacto/contribuição adequadamente.

Minha maior restrição está no fato de apresentarem uma Prova de Conceito como avaliação. Embora consistente e bem realizado, poderiam ter feito algumas análises e comparações mais robustas.

O documento de subprodutos foi bem organizado, mas é possível observar que contribuições como 1ª autora, são o Semantic Web Journal (A1) (em uma edição especial), um SBBD e uma publicação em anais estendidos do SBBD. As demais publicações são com outros autores como principais.

Revisor 2

*** Comentários para o(s) autor(es) Por favor, redija um parecer que justifique a sua recomendação.
 

Evaluation = The paper deals with a timely subject in data management and query answers. The motivation and methodology are well explained. The Context Augmented KG (CoaKG) is introduced and aims to be used in a clever way, making knowledge graphs stronger and more useful.
However, there are some issues that, in my view, must be dealt with in order to have the work accepted.
(1) Figure 1 (page 3) may be ill-posed since the condition "ACT" considering yes or no, goes to the same repository. How is it actually treated in the system? It is not explained and makes one wonder what is going on.
(2) The motivational questions presented in section 1.1 (page 3) should be answered later in the paper to show the applicability of the developed method. At least I was waiting for some of them, due to space limitations.
(3) I was expecting to see CoaKG at work. That is, experiments and results using the method proposed. In the thesis text annexed to the work, there is an interesting case study that should be summarized in the paper.

As the paper should summarize the Doctoral work, I understand that the paper does not represent it well.
The resulting papers from the Thesis are in the more prestigious databases Brazilian conference (SBBD) and an open-source journal, Semantic Web Journal - IOS Press. In my point of view, these publications are on the average amount and quality of a Doctoral work.
Therefore, regardless of the relevance of the Thesis for the area, I could not see highlights in it to indicate this work to the second phase of the competition.

*** Comentários para o Comitê de Programa Caso julgue oportuno, inclua neste campo comentários exclusivos para o Comitê de Avaliação.

Evaluation = Nada a acrescentar.

 

Revisor 3

*** Comentários para o(s) autor(es) Por favor, redija um parecer que justifique a sua recomendação.

Evaluation = A tese tem aplicações interessantes e importantíssimas em um mundo em que "qualquer pessoa tem razão sobre tudo o que diz" (ainda mais na dicotomia política pela qual Brasil e EUA passam -- entre outros países, claro). Especialmente, a aplicação para Large Language Models na era da "descoberta" de Inteligência Artificial generativa é clara e precisa, conforme explicado na tese, no início da seção Motivating Examples da página 17 -- exemplo este que ficou faltando no Resumo submetido e teria sido muito esclarecedor especialmente para pessoas de outras áreas dentro da Computação.

O problema está muito bem definido e está longe de ser algo "trivial"; realmente, é necessário uma tese de doutorado robusta para resolvê-lo. As contribuições para o problema são igualmente claras, e ainda mais relevantes para a Computação "de várias verdades" de 2024. A definição de Dual Open World Assumption é simples e genial. Tal definição é o que coloca o Ph na frente do D desenvolvido pela recém doutora e seus dois orientadores.

As contribuições efetivas completam perfeitamente o "ciclo de uma doutora de computação", incluindo: uma definição teórica original e poderosa (DOWA); publicações no principal simpósio nacional da área (SBBD, que possui alto padrão de avaliação) e *no* periódico internacional do tema da tese (Semantic Web Journal, atual Qualis A1); código, scripts e resultados abertamente disponíveis no GitHub; contribuições originais para outros trabalhos desenvolvidos em seu grupo de pesquisa em diversos temas da Computação (big data, ontologias, recuperação de informação, e redes sociais), mostrando a relevância do seu conhecimento e suas habilidades adquiridas no processo de doutoramento; e uma lista rica de trabalhos futuros que permitem explorar ainda mais esse novo campo criado pela recém doutora e seus orientadores.

Finalmente, tenho consciência de que, historicamente, a *quantidade* de publicações tem sido um fator definitivo para qualificar teses de doutorado. Lendo a produção desta tese, em específico, devo compartilhar da opinião que "publicação não é tudo".  O trabalho de definição e implementação desta tese deve ter sido hercúleo e, portanto, é muito merecedor de reconhecimento. Ainda, me parece que o impacto dos resultados desta tese ficarão mais claros nos próximos meses, quando o pessoal de LLM efetivamente se der conta da importância de contexto e confiança na qualidade dos dados.  Veja, o timing desta tese é perfeito, mas com tanto trabalho ridículo sendo publicado em tantos veículos fracos, é difícil encontrar essas verdadeiras gemas para citar e tal. Ainda assim, é surpreendente que hoje (17/abril), o artigo publicado na SWJ já tenha atingido "1241 reads".

Equipe está de parabéns pela alta qualidade da tese gerada.

*** Comentários para o Comitê de Programa Caso julgue oportuno, inclua neste campo comentários exclusivos para o Comitê de Avaliação.

Evaluation = Tenho consciência de que, historicamente, a *quantidade* de publicações tem sido um fator definitivo para qualificar teses de doutorado.

Lendo a produção desta tese, em específico, devo compartilhar da opinião que "publicação não é tudo".
O trabalho de definição e implementação desta tese deve ter sido hercúleo e, portanto, é muito merecedor de reconhecimento.
Ainda, me parece que o impacto dos resultados desta tese ficarão mais claros nos próximos meses, quando o pessoal de LLM efetivamente se der conta da importância de contexto e confiança na qualidade dos dados.
Veja, o timing desta tese é perfeito, mas com tanto trabalho ridículo sendo publicado em tantos veículos fracos, é difícil encontrar essas verdadeiras gemas para citar e tal.
Ainda assim, é surpreendente que hoje (17/abril), o artigo publicado na SWJ já tenha atingido "1241 reads".

 

Notas

*** Relevância do problema Quão relevante é o problema abordado para a comunidade científica da área?
 6, 6, 7

 
*** Relevância da contribuição Quão relevante é a contribuição do trabalho para a área de pesquisa?
6, 5, 7

*** Originalidade Como você avalia a originalidade do trabalho?
6, 5, 7

*** Impacto Como você avalia o impacto do trabalho até o momento, em termos de produtos, publicações, patentes, etc.?
5, 5, 7

*** Qualidade técnico-científica Como você avalia a qualidade técnico-científica do trabalho apresentado (em termos dos procedimentos científicos e metodológicos adotados)?
5, 4, 7

*** Qualidade da apresentação Como você avalia a qualidade da apresentação do trabalho no artigo (em termos de organização, objetividade, redação, etc.)?
4, 2, 6

*** Clareza na exposição dos resultados e contribuições Como você avalia a clareza do trabalho na exposição de seus resultados e contribuições?
7, 2, 7

*** Recomendação geral Qual a sua recomendação geral sobre o trabalho?
5, 2, 7

*** Seu grau de conhecimento do tema Como você avalia o seu grau de conhecimento do tema abordado no trabalho?
5, 7, 5