Knowledge Representation and Reasoning

NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning

 

우리의 목표는 체계적인 추론을 통해 질문에 답변하는 현대적인 접근 방식을 개발하는 것입니다. 이 방식은 자연어(NL)로 작성된 사실의 코퍼스에 기반한 인간이 해석 가능한 증명 트리(proof trees)를 통해 답변을 지원합니다. 이러한 시스템은 현대 언어 모델(LM)의 해석 가능성 문제와 환각 현상을 완화하고, 현재의 설명 방법(예: Chain-of-Thought)의 근거 부족 문제를 해결하는 데 도움이 될 것입니다. 이 논문은 수작업으로 작성된 규칙을 신경 언어 모델링, 유도 생성(guided generation), 준파라메트릭 밀집 검색과 결합하여 대체하는 Prolog 기반 추론 엔진에 대한 새로운 접근 방식을 제안합니다. 우리의 구현인 NELLIE는 텍스트에서 이미 알려진 사실을 설명하는 이전 작업을 넘어, 완전히 해석 가능한 엔드투엔드 방식의 근거 있는 질문 답변을 증명 트리 탐색(entailment tree proof search)으로 시연한 최초의 시스템입니다. 실험 결과, NELLIE는 유사한 크기의 최신 추론기보다 뛰어난 성능을 보이면서 지식 기반 설명을 생성하는 데 성공했습니다. 또한, NELLIE는 준구조화된 텍스트와 자연어 텍스트 코퍼스 모두를 활용하여 추론을 안내할 수 있음을 발견했습니다. 이러한 결과는 현대 신경 방법과 전통적인 상징적 추론의 이점을 함께 누릴 수 있는 새로운 방법을 제시합니다.

Temporal Knowledge Graph Extrapolation via Causal Subhistory Identification

 

시간적 지식 그래프(Temporal Knowledge Graph, TKG) 예측 벤치마크는 과거의 사실에 대한 지식을 사용하여 미래의 사실을 예측하는 모델에 도전합니다. 이 논문에서는 대형 언어 모델(LLMs)을 사용하여 맥락 내 학습(In-Context Learning, ICL) 접근법을 TKG 예측에 적용하는 방법을 개발했습니다. 우리는 다양한 벤치마크와 실험 설정에서 사전 학습된 LLM을 여러 단순한 휴리스틱 방법과 최신의(SOTA) 지도 학습 모델들과 비교한 광범위한 평가를 수행했습니다. 그 결과, 단순한 LLM이 예측 작업을 위해 신중하게 설계된 아키텍처와 지도 학습을 사용하는 SOTA 모델들과 동등한 성능을 보이며, Hit@1 기준에서 중간 성능에 비해 -3.6%에서 +1.5% 범위 내에 있는 것으로 나타났습니다. LLM이 예측에서 가지는 강점을 더 잘 이해하기 위해, 우리는 과거 사실을 선택하는 방법, 프롬프트를 구성하는 방법, 정보 전파를 제어하는 방법, 그리고 출력을 확률 분포로 파싱하는 방법 등 다양한 접근법을 탐구했습니다. 실험에서 놀라운 발견은, 개체/관계를 임의의 숫자로 매핑하여 의미적 정보를 제거했을 때도 LLM 성능이 Hit@1 기준에서 ±0.4% 내로 유지되었다는 점입니다. 이는 LLM이 사전 의미적 지식 없이도 컨텍스트에서 상징적 패턴을 활용하여 강력한 성능을 발휘할 수 있음을 시사합니다. 또한, 우리의 분석은 ICL이 LLM이 역사적 컨텍스트에서 빈도나 최신성 편향을 넘어서 불규칙한 패턴을 학습할 수 있게 한다는 것을 보여줍니다.

 

Revisiting Causal Discovery from a Complexity-Theoretic Perspective

인과 발견은 관찰 데이터에서 인과 관계(소위 인과 그래프로 표현)를 밝히는 것을 목표로 합니다. 이 논문은 그래프 구조와 제약 기반 인과 발견 알고리즘의 효율성 사이의 복잡한 관계를 조사합니다.

우리의 주요 기여는 다음과 같습니다:

(i) 각 정점 쌍에 대해 작은 d-분리 집합을 허용하고 따라서 제약 기반 인과 발견 알고리즘에 의해 효율적으로 복구될 수 있는 인과 그래프에 대한 거의 정확한 특성화

(ii) 모든 변수 쌍 사이에 작은 d-분리 집합이 존재함에도 불구하고 영향력 있는 PC 알고리즘이 지수 시간을 필요로 할 수 있는 인과 그래프 시퀀스의 명시적 구성

(iii) (무방향) 초구조에서 변수 간 최대 edge-disjoint 경로 수를 매개변수로 고려하여 고정 매개변수 실행 시간을 달성하는 새로운 인과 발견 알고리즘의 공식화

우리 연구의 특징적인 점은 큰 조건부 변수 집합에 대한 정확한 독립성 테스트 수행의 불가능성을 더 충실하게 포착하는 더 세분화된 모델 내에서 수행된다는 것입니다.

 

CPa-WAC: Constellation Partitioning-based Scalable Weighted Aggregation Composition for Knowledge Graph Embedding

확장성과 훈련 시간은 지식 그래프(KG)를 처리하는 모든 그래프 신경망 모델에 중요합니다. 지식 그래프를 분할하면 훈련 시간을 줄일 수 있지만, 전체 그래프에서 모델을 훈련시키는 것에 비해 예측 정확도가 크게 감소합니다. 본 논문에서는 CPa-WAC이라는 경량 아키텍처를 제안합니다. 이는 그래프 합성곱 네트워크와 모듈성 최대화 기반 성좌 분할을 통합하여 로컬 그래프 토폴로지의 힘을 활용합니다.

제안된 CPa-WAC 방법은 지식 그래프 임베딩의 훈련 시간과 메모리 비용을 줄여 학습 모델을 확장 가능하게 만듭니다. Wordnet과 Freebase와 같은 표준 데이터베이스에 대한 실험 결과, 의미 있는 분할을 달성함으로써 모든 지식 그래프를 하위 그래프로 분해하고 별도로 처리하여 임베딩을 학습할 수 있음을 보여줍니다.

더욱이, 이렇게 학습된 임베딩은 지식 그래프 완성에 사용될 수 있으며, 전체 KG에서 GCN을 훈련시키는 것과 유사한 성능을 유지하면서 훈련 과정을 최대 5배까지 가속화할 수 있습니다. 또한, 제안된 CPa-WAC 방법은 예측 정확도 측면에서 다른 여러 최첨단 KG 방법들을 능가합니다.

 

LLMs Can Find Mathematical Reasoning Mistakes by Pedagogical Chain-of-Thought

자기 수정(Self-correction)은 대형 언어 모델(LLMs)에서 발생하는 환각(hallucination) 문제를 완화하기 위한 유망한 접근법으로 부상하고 있습니다. 효과적인 자기 수정을 촉진하기 위해 최근 연구에서는 실수 탐지를 첫 번째 단계로 제안했습니다. 그러나 현재 문헌에 따르면, LLM은 단순한 프롬프트 전략을 사용할 때 추론 실수를 신뢰성 있게 식별하는 데 어려움을 겪는 경우가 많습니다. 이러한 문제를 해결하기 위해, 우리는 "Pedagogical Chain-of-Thought (PedCoT)"라는 독특한 프롬프트 전략을 소개합니다. 이 전략은 특히 수학적 추론 실수를 식별하도록 설계되었습니다. PedCoT는 프롬프트 설계의 교육 원칙(PPP), 2단계 상호작용 과정(TIP), 그리고 Bloom 인지 모델(BCM)의 교육 이론에서 영감을 받은 기반 PedCoT 프롬프트로 구성됩니다. 우리는 난이도가 다양한 수학 문제를 포함하는 두 개의 공개 데이터셋을 사용하여 우리의 접근법을 평가했습니다. 실험 결과, 우리의 제로샷 프롬프트 전략이 강력한 기존 방법들을 상당히 능가하는 성과를 보였습니다. 제안된 방법은 신뢰성 있는 수학적 실수 식별 목표를 달성할 수 있으며, 자동 수학 답안 채점의 기초를 제공합니다. 이 결과는 LLM을 사용하여 어려운 작업을 효과적으로 해결하기 위해 프롬프트 전략 설계에 교육 이론이 도메인 지식으로서 얼마나 중요한지 강조합니다.

General Epistemic Abstract Argumentation Framework: Semantics and Complexity

에피스테믹 추상적 논증 프레임워크(Epistemic Abstract Argumentation Framework, EAAF)는 에이전트 간의 논쟁을 모델링하기 위한 AI의 중심 형식인 Dung의 프레임워크(AAF)를 확장하여 인식론적 지식을 표현할 수 있도록 합니다. 특히, EAAF는 AAF에 약한(weak) 및 강한(strong) 에피스테믹 공격을 추가하며, 이 공격의 직관적 의미는 어떤 논증 a가 논증 b를 약한(강한) 에피스테믹 공격으로 패배시킬 때, a가 모든(적어도 하나의) 확장에서 참이라는 것을 의미합니다. 지금까지 EAAF의 의미론은 에피스테믹 공격이 어떤 사이클에서도 발생하지 않는 비순환적 EAAF(acyclic EAAF)라는 제한된 클래스의 프레임워크에 대해서만 정의되었습니다. 이 논문에서는 AAF와 비순환적 EAAF의 의미론을 자연스럽게 확장하는 (일반적인) EAAF의 직관적인 의미론을 제공합니다. 기본적인 속성을 제시하고, 최신 AAF 솔버를 활용하여 EAAF 의미론의 계산을 가능하게 하는 알고리즘을 제시한 후, 정형화된 논증 문제의 복잡성을 조사합니다.

 

Revising Beliefs and Intentions in Stochastic Environments

초록

동적이고 확률적인 환경에서 자율 에이전트의 개발은 신념과 의도가 어떻게 수정되는지에 대한 이론과 모델을 요구하며, 이 과정에서 이들의 상호작용을 고려해야 합니다. 이 논문에서는 확률적 환경에서의 신념과 의도 수정에 대한 연구를 시작합니다. 여기서 에이전트의 신념과 의도는 결정 가능한 확률적 시간 논리로 명시됩니다. 이후, 우리는 신념과 의도 수정에 대한 일반적인 Katsuno & Mendelzon 스타일의 표현 정리를 제공하며, 수정 방법에 대한 명확한 의미론적 특성을 제시합니다.

 

결론

우리는 확률적 시간 논리로 표현된 확률적 환경에서의 신념과 의도 수정에 대한 연구를 시작했습니다. 이 논문에서는 수정에 대한 합리성 공리들을 제시하고, 일반적인 수정 연산자뿐만 아니라 새로운 공리(Bω)와 (Iω)를 사용하여 일반적으로 계산 가능한 연산자들에 대한 표현 정리를 증명했습니다.

향후 연구에서는 Darwiche와 Pearl(1997)의 접근법을 따라 반복 수정(iterated revision)을 허용하는 방향으로 우리의 프레임워크를 확장할 계획입니다. 또한, 새로운 의도가 일관성을 가질 때만 수정이 성공하도록 하는 (I1)의 수정된 버전을 사용하여 표현 정리를 개발하고자 합니다. 이는 van Zee et al.(2020)의 작업과 일치하는 방식입니다. 이러한 수정은 Hansson(2023a; 2023b)의 일관된 AGM 수정에서와 같이, 모순된 진술로 수정할 때 원래 신념을 유지하는 접근법을 따르거나, Konieczny et al.(2010)의 보다 세밀한 접근법을 따를 수 있습니다. 후자의 접근법에서는 어떤 공식에 의한 수정이 즉각적인 결과를 필요로 하지 않고, 대신 수정될 때마다 그 공식의 개연성을 증가시키는 방식입니다.