Data Mining

LLM-based Multi-Level Knowledge Generation for Few-shot Knowledge Graph Completion

 

초록 (GPT-4o 번역)

 

지식 그래프(KG)는 다양한 자연어 처리(NLP) 응용 분야에서 중요한 역할을 하지만, 특히 긴 꼬리 문제로 인해 불완전성에 자주 직면합니다. 긴 꼬리 문제는 드문 관계나 인기가 없는 관계 때문에 지식 그래프 완성 성능이 크게 저하되는 현상을 말합니다. 본 논문에서는 이러한 긴 꼬리 시나리오에서의 간극을 해결하는 과제인 Few-shot Knowledge Graph Completion (FKGC)에 중점을 둡니다. 대형 언어 모델(LLM)의 급속한 발전 속에서, 우리는 LLM 디스틸레이션을 통해 생성 기반의 FKGC 패러다임을 제안합니다. 우리의 MuKDC 프레임워크는 소수의 샘플로 지식 그래프를 완성하는 작업을 위해 다중 수준 지식 증류를 사용하여, 소수 샘플 환경에서의 데이터 부족을 완화하기 위해 추가적인 지식을 생성합니다. MuKDC는 두 가지 주요 구성 요소로 이루어져 있습니다: 다양한 수준에서 지식 그래프를 풍부하게 만드는 Multi-level Knowledge Generation과 생성된 지식의 일관성과 신뢰성을 보장하는 Consistency Assessment입니다. 특히, 우리의 방법은 FKGC 및 다중 모달 FKGC 벤치마크에서 최첨단(SOTA) 성과를 달성하며, 지식 그래프 완성을 크게 향상시키고, 구조화된 지식 생성 및 평가에서 LLM의 이해와 적용을 증진시킵니다.

SemanticMask: A Contrastive View Design for Anomaly Detection in Tabular Data

초록 (GPT-4o 번역)

 

데이터 증강 기법에 기반한 대조 학습은 최근 이미지 도메인에서 이상 탐지를 위한 적합한 표현 학습에 있어 상당한 발전을 이루었습니다. 그러나 공간 구조의 부재로 인해, 표 형식 데이터에 대해 효과적인 데이터 증강 방법을 설계하는 것은 여전히 어려운 과제입니다. 랜덤 마스크와 같은 기존의 기법들은 특징 간 상관관계를 무시하고 데이터를 정확하게 표현하지 못합니다. 이러한 문제를 해결하기 위해, 우리는 열 이름에서 추출한 의미 정보를 활용하여 더 나은 증강 뷰를 생성하는 새로운 증강 기법인 SemanticMask를 제안합니다. SemanticMask는 뷰 간에 공유되는 정보가 중복 없이 이상 탐지를 위한 충분한 정보를 포함하도록 하는 것을 목표로 합니다. 우리는 공유된 정보와 이상 탐지 성능 간의 관계를 분석하고, 표 형식의 이상 탐지 작업에 적합한 뷰가 특징에 따라 달라진다는 것을 실험적으로 입증합니다. 실험 결과, SemanticMask는 최신 이상 탐지 방법과 기존의 표 형식 데이터 증강 기법보다 우수한 성능을 보였으며, 다중 클래스 신기성 탐지 작업에서도 기본 모델을 크게 능가하는 성과를 거두었습니다.

Natural Language-centered Inference Network for Multi-modal Fake News Detection

초록 (GPT-4o 번역)

인터넷에서 이미지와 텍스트를 포함한 가짜 뉴스의 확산은 광범위한 우려를 불러일으켰습니다. 기존 연구들은 교차 모달 정보 상호작용과 융합에 중요한 기여를 했지만, 뉴스 이미지, 텍스트 및 뉴스 관련 외부 지식 표현 간의 모달리티 격차를 근본적으로 해결하지 못했습니다. 이 논문에서는 멀티모달 가짜 뉴스 탐지를 위해 자연어 중심 추론 네트워크(NLIN)를 제안하며, 이는 멀티모달 뉴스 콘텐츠를 자연어 공간과 정렬시키고, 인코더-디코더 아키텍처를 도입하여 뉴스의 맥락을 완전히 이해하도록 합니다. 구체적으로, 먼저 뉴스 이미지를 텍스트로 변환하고 뉴스 관련 외부 지식을 단순 텍스트로 변환하여 멀티모달 뉴스 콘텐츠를 텍스트 모달리티로 통일합니다. 이후, 멀티모달 인코더, 통합 모달리티 맥락 인코더, 프롬프트 문구를 포함한 추론 디코더로 구성된 멀티모달 특징 추론 모듈을 설계합니다. 이 프레임워크는 교차 모달 뉴스 콘텐츠의 잠재적 표현을 완전히 추출할 뿐만 아니라, 프롬프트 문구를 활용하여 사전 학습된 대형 언어 모델의 강력한 맥락 내 학습 능력을 자극해 뉴스 콘텐츠의 진실성을 추론합니다. 또한, 멀티모달 가짜 뉴스 탐지 분야의 연구를 지원하기 위해, 우리는 대규모, 멀티플랫폼, 멀티도메인 멀티모달 중국어 가짜 뉴스 탐지(CFND) 데이터셋을 제작했습니다. 광범위한 실험을 통해 우리의 CFND 데이터셋이 도전적이며, 제안된 NLIN이 최신 기법들보다 뛰어난 성능을 보임을 확인했습니다.

HeterGCL: Graph Contrastive Learning Framework on Heterophilic Graph

 

초록 (GPT-4o 번역)

그래프 대조 학습(Graph Contrastive Learning, GCL)은 강력한 노드 표현을 자가 지도 학습으로 학습할 수 있는 능력 덕분에 많은 연구의 주목을 받았습니다. 그러나 대부분의 방법은 동질적인(homophilic) 그래프에 주로 초점을 맞추어 이질적인(heterophilic) 그래프에서는 효과가 떨어집니다. 또한, 이질적인 그래프에서의 복잡한 노드 상호작용은 전통적인 GCL의 증강 기법, 코딩 아키텍처, 대조 설계에 상당한 도전을 제기합니다. 본 연구에서는 이질적인 그래프에서 GCL의 진정한 잠재력을 탐구하기 위해 구조적 및 의미적 학습을 포함한 새로운 그래프 대조 학습 프레임워크인 HeterGCL을 제안합니다. 구체적으로, 그래프 구조를 파괴할 수 있는 랜덤 증강 기법을 버리고, 적응형 이웃 집계 전략(ANA)을 도입하여 서로 다른 거리에서 이웃 노드로부터 토폴로지 감독 신호를 추출하고, 적응형 로컬-투-글로벌 대조 손실을 통해 구조적 정보를 탐구합니다. 의미적 학습 모듈에서는 원래 노드의 특징과 잠재 특징 공간에서의 노드 간 유사성을 함께 고려하여 노드 간의 숨겨진 연관성을 탐구합니다. 동질적인 그래프와 이질적인 그래프 모두에서의 실험 결과, HeterGCL이 다양한 다운스트림 작업에서 기존의 자가 지도 학습 및 반지도 학습 기법들을 능가하는 성능을 보임을 확인했습니다.

 

Graph Attention Network with High-Order Neighbor Information Propagation for Social Recommendation

추천 시스템에서 그래프 신경망(GNN)은 사용자와 아이템 간의 상호작용을 속성과 함께 통합할 수 있어 GNN 기반 방법이 더 강력해집니다. 그러나 그래프 신경망에서 여러 계층을 직접 쌓으면 과도한 평활화(over-smoothing)가 발생하기 쉬워, GNN 기반 추천 시스템은 학습 시 고차 이웃을 충분히 활용하지 못하는 경향이 있습니다. 일부 이질적인 그래프에서 메타패스를 기반으로 한 랜덤 워크 방법은 고차 집계를 달성할 수 있지만, 주로 경로 끝에 있는 노드에 초점을 맞춥니다. 게다가 이러한 방법은 수동으로 정의된 메타패스를 필요로 하여 모델의 표현력과 유연성이 제한됩니다. 또한, 그래프 신경망에서 경로 인코딩은 보통 목표 노드로 이어지는 순서에만 초점을 맞추지만, 실제 상호작용은 이 엄격한 순서를 따르지 않는 경우가 많아 순서 기반 네트워크 모델의 예측 성능을 제한합니다. 이러한 문제들은 GNN 기반 방법이 완전히 효과적으로 작동하지 못하게 합니다.

우리는 소셜 추천을 위한 정보 전파 경로 집계를 포함한 그래프 어텐션 네트워크(GAIPSRec)를 제안합니다. 먼저, 경로 샘플링을 위해 수동으로 메타패스를 정의할 필요가 없는 범용 이질 그래프 샘플링 프레임워크를 제안하여 더 큰 유연성을 제공합니다. 또한, 우리의 방법은 집계 경로의 모든 노드를 고려하며, 과도한 평활화를 일으키지 않고 고차 이웃으로부터 정보를 학습할 수 있습니다. 마지막으로, 우리의 방법은 게이트 메커니즘을 사용하여 경로 인스턴스를 인코딩할 때 순차적 및 비순차적 의존성을 융합하여 데이터에 대한 더 포괄적인 시각을 제공합니다. 실제 데이터셋에서의 광범위한 실험 결과, 우리가 제안한 GAIPSRec이 성능을 크게 개선하고 최신 기법들을 능가하는 성과를 보였음을 확인했습니다.

Fast and Continual Knowledge Graph Embedding via Incremental LoRA

지속적 지식 그래프 임베딩(Continual Knowledge Graph Embedding, CKGE)은 새로운 지식을 효율적으로 학습하면서 기존의 지식을 동시에 보존하는 것을 목표로 합니다. 기존의 방법들은 주로 기존 지식의 급격한 망각을 완화하는 데 중점을 두고 있지만, 새로운 지식의 효율적인 학습에 대해서는 간과하는 경우가 많습니다. 그러나 실제 상황에서는 지식 그래프(KG)가 지속적으로 성장하며, 이는 KGE 모델의 효율적인 미세 조정에 큰 도전 과제를 제시합니다. 이러한 문제를 해결하기 위해, 우리는 FastKGE라는 빠른 CKGE 프레임워크를 제안하며, 이는 새로운 지식을 효율적으로 습득하면서도 기존 지식을 보존하기 위해 증분 저차 어댑터(IncLoRA) 메커니즘을 도입합니다. 구체적으로, 급격한 망각을 완화하기 위해 FastKGE는 기존 KG와 새로운 KG 간의 미세한 영향에 따라 새로운 지식을 특정 레이어에 격리하고 할당합니다. 이후, 미세 조정을 가속화하기 위해 FastKGE는 더 적은 훈련 파라미터로 특정 레이어를 증분 저차 어댑터로 내장하는 효율적인 IncLoRA 메커니즘을 고안합니다. 또한, IncLoRA는 적응형 순위 할당을 도입하여, LoRA가 엔티티의 중요성을 인식하고 순위 규모를 적응적으로 조정할 수 있도록 합니다. 네 가지 공개 데이터셋과 더 큰 초기 규모의 두 가지 새로운 데이터셋에서 실험을 진행한 결과, FastKGE는 훈련 시간을 34%-49% 단축하면서도 네 가지 공개 데이터셋에서 최신 모델들과 경쟁하는 링크 예측 성능을 달성했습니다(평균 MRR 점수 21.0% vs. 21.1%). 또한, 두 가지 새로운 데이터셋에서는 훈련 시간을 51%-68% 절감하고 링크 예측 성능을 1.5% 향상시켰습니다.

Joint Domain Adaptive Graph Convolutional Network

교차 네트워크 작업 분야에서 그래프 도메인 적응은 소스 도메인의 풍부한 라벨을 타겟 도메인의 노드로 전이할 수 있는 능력 덕분에 효과적인 도구로 여겨집니다. 기존의 적대적 도메인 적응 방법은 주로 도메인 간 정렬에 초점을 맞춥니다. 이러한 접근법들은 두 도메인 간의 주변 분포 변화를 완화하는 데는 효과적이지만, 구조적 정렬의 중요한 측면을 종종 간과하여 부정적인 전이를 초래할 수 있습니다. 이러한 문제를 해결하기 위해, 우리는 지식 전이의 효율성을 높이기 위해 구조적 그래프 정렬로 독특하게 보강된 공동 적대적 도메인 적응 그래프 합성곱 네트워크(JDA-GCN)를 제안합니다. 구체적으로, 우리는 소스 도메인과 타겟 도메인 간 동일한 카테고리 내 노드 간의 상호 연결을 묘사하기 위해 구조적 그래프를 구성합니다. 노드 표현을 더욱 정교하게 하기 위해, 우리는 로컬 일관성 매트릭스와 글로벌 일관성 매트릭스를 통합하여 노드의 서브 구조 유사성 학습을 활용함으로써 보다 강력하고 효과적인 노드 표현을 가능하게 합니다. 다양한 실제 데이터셋에 대한 실증적 평가 결과, 제안된 방법이 기존의 최신 그래프 도메인 적응 알고리즘에 비해 상당한 성능 향상을 이루었음을 입증했습니다.

Efficient Correlated Subgraph Searches for AI-powered Drug Discovery

상관된 서브그래프 검색(Correlated Subgraph Searches, CSS)은 AI 기반 신약 개발에서 필수적인 구성 요소입니다. 그래프로 모델링된 쿼리 분자가 주어지면, CSS는 데이터베이스에서 쿼리와 상관된 상위 k개의 분자를 찾습니다. 그러나 분자의 크기가 커질수록 비용이 기하급수적으로 증가합니다. 이러한 문제를 해결하기 위해, 우리는 Corgi라는 프레임워크를 제안하며, 이는 상위 k개의 검색 정확도를 보장하면서 CSS 방법을 가속화합니다. Corgi는 불필요한 서브그래프를 동적으로 제외하여 높은 비용을 줄이면서도 검색 정확도를 유지합니다. 실험 분석 결과, Corgi는 기존의 최신 방법들에 비해 짧은 실행 시간과 향상된 정확도를 제공하며, 사례 연구를 통해 Corgi가 실질적인 AI 기반 신약 개발에 적합함을 확인했습니다.