카카오 'FunctionChat-Bench' 구축... 국어 대화 통해 평가 가능
[녹색경제신문 = 이지웅 기자] IT 기업들이 인공지능 산업의 발전에 발 맞춰 관련 기술들을 속속들이 내 놓고 있다. 특히 국내 기업을 통해 한국어를 활용할 수 있는 언어모델이 나오고 있는 중이다.
엔씨소프트(이하 엔씨)는 오픈소스 모델 기반 튜닝 거대언어모델(LLM)인 ‘Llama-VARCO LLM(라마 바르코 LLM)’을 26일 공개했다.
‘Llama-VARCO LLM’은 오픈소스 모델 ‘Llama 3.1’에 엔씨의 자체 기술력을 더해 한국어 성능을 향상시킨 튜닝 모델이다. 소규모-고성능이 특징으로 한국어 LLM의 사고력을 특정하는 ‘Logickor’ 벤치마크에서 파라미터 100억 개 이하 동급 공개모델 중 1위의 성능을 기록했다.
작업 호환성도 강점이다. ‘Llama-VARCO LLM’은 ▲챗봇 ▲QA(Quality Assurance, 품질보증) ▲자연어 생성 등 다양한 분야에서 활용이 가능하다. 특히 한국어 AI 서비스 지원을 위해 소규모-고성능의 LLM이 필요한 기업에게 최적의 솔루션을 제공할 수 있다.
엔씨는 AI 생태계 발전과 자유로운 연구 지원을 위해 ‘Llama-VARCO LLM’을 AI 플랫폼인 ‘허깅 페이스(Hugging Face)’에 배포하고 오픈소스로 제공한다. 엔씨 측은 “앞으로도 자체적인 AI 기술력 검증과 연구 커뮤니티 소통을 위해 오픈소스 기반 모델을 지속 공개할 계획”이라 밝혔다.
한편 카카오 역시 인공지능 언어 모델의 함수 호출 성능을 평가할 수 있는 데이터셋 'FunctionChat-Bench'를 구축해 오픈소스로 공개했다.
Function Call은 AI 언어 모델이 외부 도구와 연결돼 실시간 정보를 받아오거나 추가 기능을 수행할 수 있게 하는 기술이다.
카카오가 국내 IT 기업 최초로 구축한 이 데이터셋은 한국어 대화 환경에서 Function Call의 성능을 다면적으로 평가할 수 있도록 설계됐다.
주요 평가 항목으로는 함수 이름과 인자 추출의 정확성, 함수 호출 결과 전달의 정확성, 누락 정보 인지를 통한 추가 질의 발생 여부, 호출 가능한 함수와의 관련성 감지 등이 포함됐다.
특히, 카카오는 기존의 영어 중심 데이터셋과 달리 함수 호출 전후에 요구되는 사용자와의 상호작용 메시지 생성 능력까지 평가 영역에 포함시켰다.
카카오 측은 "한국어 AI 언어 모델 생태계 활성화를 위해 이 데이터셋을 오픈소스 커뮤니티 깃허브(GitHub)에 공개했다"며 "향후 데이터셋의 규모를 확대하고 영어 버전도 추가할 계획"이라고 밝혔다.
이지웅 기자 game@greened.kr