nlp6

MEDVOC: Vocabulary Adaptation for Fine-tuning Pre-trained Language Models on Medical Text Summarization

 

이 연구는 BERTSumAbs, BART, PEGASUS와 같은 사전 학습된 언어 모델(PLM)을 의료 텍스트 요약에 맞게 미세 조정하기 위한 동적 어휘 적응 전략인 MEDVOC을 제안합니다. 기존의 요약 도메인 적응 접근법과 달리, MEDVOC은 어휘를 최적화 가능한 매개변수로 간주하고, 다운스트림 작업의 참조 요약에만 조건화된 프래그먼트 점수를 기반으로 PLM 어휘를 최적화합니다. 이전의 어휘 적응 작업(주로 분류 작업에만 제한됨)과 달리, 요약 작업을 기반으로 어휘를 최적화하는 것은 대규모 요약 데이터셋에 대한 매우 비용이 많이 드는 중간 미세 조정 단계가 필요합니다. 이를 해결하기 위해, 우리의 새로운 프래그먼트 점수 기반 하이퍼파라미터 검색은 이 미세 조정 시간을 크게 줄여주며, 평균적으로 450일에서 2일 미만으로 단축합니다.

게다가, 이전의 어휘 적응 연구가 주로 단일 PLM에 국한되는 경우가 많은 반면, MEDVOC은 다양한 모델 어휘 크기, 사전 학습 목표 및 모델 크기를 가진 여러 PLM에 배포할 수 있도록 설계되어 있습니다. 이는 생물의학 문헌 도메인과 PLM 간의 제한된 어휘 격차를 해소하는 데 기여합니다. MEDVOC은 제로샷 설정에서 Rouge-L 기준으로 15.74%의 성능 향상을 보였으며, 높은 OOV(Out-Of-Vocabulary) 비율에서 17.29%의 성능 향상을 보여줍니다. 인간 평가에서도 MEDVOC은 더 신뢰할 수 있는 의료 요약을 생성한다는 것이 입증되었으며(88% vs. 59% 비교), 우리는 코드를 공개적으로 사용할 수 있도록 https://github.com/gb-kgp/MEDVOC 에서 제공하고 있습니다.

 

Continual Multimodal Knowledge Graph Construction

현재의 멀티모달 지식 그래프 구축(MKGC) 모델들은 지속적으로 등장하는 엔티티와 관계의 실세계 동적 특성에 적응하는 데 어려움을 겪으며, 종종 기존에 습득한 지식을 잃는 급격한 망각 문제에 직면합니다. 본 연구에서는 지속적인 MKGC 분야의 발전을 촉진하기 위한 벤치마크를 소개합니다. 또한, 멀티미디어 데이터 처리 과정에서 기존 MKGC 접근법의 단점을 극복하기 위해 설계된 MSPT 프레임워크를 제안합니다. MSPT는 학습된 지식의 유지(안정성)와 새로운 데이터의 통합(가소성)을 조화롭게 균형을 이루며, 현재의 지속적 학습 및 멀티모달 방법들을 능가하는 성능을 보입니다. 실험 결과, MSPT는 진화하는 지식 환경에서 우수한 성능을 보여주며, 안정성과 가소성 간의 균형을 잘 유지하는 능력을 입증했습니다.