연세대학교는 인공지능융합대학 서영빈 슬롯 커뮤니티원이 제1저자로 제출한 논문이 세계 최고 권위의 머신러닝 학회인 뉴립스(NeurIPS, Conference on Neural Information Processing Systems)에서 Spotlight 등급으로 채택됐다고 밝혔다. 이번 성과는 국내 슬롯 커뮤니티기관이 주도한 디퓨전 언어모델(Diffusion LLM) 슬롯 커뮤니티가 국제적으로 검증받은 최초의 사례다.
NeurIPS는 ChatGPT 등 주요 슬롯 커뮤니티 성과가 발표된 국제 학회로, Spotlight는 전체 제출작 중 상위 약 3%에만 주어지는 등급이다.
이번 논문(제목: Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning)은 최근 이미지·영상 생성 분야에서 주목받은 ‘디퓨전’ 패러다임을 언어 생성에 적용한 것이다. 오픈AI의 ChatGPT와 같은 자가회귀(autoregressive) 언어모델은 1,000단어를 생성하려면 1,000단계를 거쳐야 하지만, 디퓨전 언어모델은 약 100단계 만에 결과를 낸다. 연구팀은 “사람 머릿속에서 생각이 한 번에 ‘반짝’ 떠오르는 것과 유사한 방식으로 빠르고 유창한 생성이 가능하다"고 설명했다.
또한 슬롯 커뮤니티팀은 컨볼루션 디코딩(Convolutional Decoding)과 R2FT(Rejecting Rule-based Fine-Tuning)라는 기법을 도입해 문법적 안정성과 질문 응답 성능을 확보했다. 이를 통해 기존 언어모델 대비 3배 이상 빠른 속도를 구현하면서도 긴 문장 생성에서 발생하는 오류를 줄였다.
디퓨전 언어모델은 현재 스탠퍼드, MIT 등 세계 유수 슬롯 커뮤니티실에서도 활발히 슬롯 커뮤니티되고 있으나 국내 성과는 드물다. 따라서 이번 슬롯 커뮤니티의 NeurIPS Spotlight 선정은 국내 슬롯 커뮤니티의 위상을 높였다는 점에서 의미가 크다.
서영빈 연세대 연구원은 "디퓨전 언어모델의 장점인 빠른 속도와 양방향 주의는 강화학습에서도 중요한 특성”이라며, “이러한 장점 덕분에 기존 자가회귀 패러다임을 대체할 가능성이 있다고 보고 연구를 시작했다”고 말했다.
연구는 여진영·김재형·이동하 연세대 교수와 협력으로 진행됐다. 여진영 교수는 “이번 성과는 기존 언어모델을 대체할 수 있는 핵심 기술로서 디퓨전 언어모델의 잠재력을 한 단계 끌어올렸다”며, “최근 ChatGPT와 같은 챗봇 서비스에서도 오랜 시간 생각을 거쳐 답변을 시작하는 방식이 보편화되고 있기 때문에 생성 속도를 비약적으로 끌어올릴 수 있는 디퓨전 언어모델은 산업적으로 잠재성이 높다"고 말했다.
한편 슬롯 커뮤니티팀은 코드와 구현을 공개해 재현성과 실용성을 높였으며, 논문에는 깃허브 저장소가 명시돼 있다. NeurIPS는 오는 12월 2일부터 7일까지 미국 샌디에이고 컨벤션센터에서 개최된다.