배경훈 부총리 겸 과학기술정보통신부 장관, 임문영 국가인공지능전략위원회 부위원장, 하정우 AI미래기획수석비서관 등이 지난해 12월 서울 강남구 코엑스에서 열린 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 기념촬영을 하고 있다. 연합뉴스


정부 주도로 진행되고 있는 독자 인공지능(AI) 파운데이션 개발 프로젝트가 2차 과정에 들어섰다. 이번 평가부터는 멀티모달에서 승부가 날 것이란 전망이 우세하다.
25일 관련 업계에 따르면 SK텔레콤, LG AI연구원, 업스테이지 등 1차 평가서 합격한 정예팀 모두 멀티모달 모델을 만 릴게임가입머니 들겠다고 밝혔다.
SKT 정예팀은 자사의 AI 모델인 A.X K1에 이미지, 음성 등 멀티모달 기능을 단계적으로 적용할 계획이다. 이 팀에서 멀티모달 연구를 진행 중인 김건희 서울대 컴퓨터공학부·첨단융합학부 교수는 지난 22일 기고문을 통해 이 같은 소식을 전했다.
김 교수는 "초거대 언어모델은 텍스트, 사진, 동영상 등 바다이야기프로그램다운로드 을 통합 이해하는 멀티모달을 넘어 음성까지 이해하는 옴니모달 모델로 진화하고 있다"면서 AI와의 음성 대화 구현에 기술적 도전 과제가 따른다고 밝혔다.
그는 "기존의 텍스트 기반 대화가 입력과 응답이 순차적으로 이어지는 턴 기반 단방향 소통 방식이라면, 음성 대화는 동시대적이고 양방향적인 특성을 가진다"며 "상대방이 말하는 도중 개입하거나 오징어릴게임 짧은 피드백을 주고받는 실시간 상호작용이 필요하다"고 설명했다.
아울러 복잡한 표현 방식을 반영해야 하는 어려움도 지적됐다.
김 교수는 "초기에는 음성인식(STT)과 음성합성(TTS)을 결합하는 단계적 방식을 썼지만 응답 지연, 호흡, 감정 등 고유 정보 손실 문제가 있었다"며 "강력한 사전학습된 언어모델을 핵심에 두고 바다이야기모바일 음성을 포함한 다양한 데이터로 파인튜닝(미세조정)하는 방식이 옴니모달 개발의 핵심"이라고 덧붙였다.
SK텔레콤은 향후 옴니모달 모델을 에이닷 서비스에 적용해 통화 요약, 티맵, B tv 등에서 실시간 음성 대화를 지원하는 계획을 세웠다.
LG AI연구원은 구체적인 계획을 밝힌 바 없지만 궁극적으로 멀티모달 모델을 수립하 바다이야기프로그램다운로드 는 것을 목표하고 있다고 전해졌다.
업스테이지는 앞서 3차 평가부터 언어와 이미지를 통합적으로 이해하는 멀티모달 기능을 확보한다고 밝힌 바 있다.
한편, 독파모 패자부활전에 참가 의향을 보이는 스타트업들이 이러한 흐름을 따라올 수 있을지 주목된다. 1차 때의 대형언어모델(LLM) 개발 대비 난이도가 상당히 높기 때문이다. 나아가 사업적인 부분까지 따라갈 수 있을지도 주목되고 있다.
패자부활전에 도전하는 스타트업은 모티프테크놀로지스와 트릴리온랩스이다. 앞서 과학기술정보통신부는 네이버와 NC AI를 탈락시키면서 한 개 팀을 추가 공모하겠다고 전한 바 있다. 탈락한 2개 팀은 재도전하지 않겠다는 의사를 밝혔으며, 카카오·KT 역시 같은 입장을 전했다.
모티프테크놀로지스는 "고성능 LLM과 대형멀티모달모델을 모두 파운데이션 모델로 개발한 경험을 갖춘 국내 유일의 스타트업"이라며 멀티모달 개발을 목표로 한다는 의사를 밝힌 바 있다.
트릴리온랩스는 소버린 AI를 지향하는 스타트업으로, 지난해 9월 70B 규모의 LLM '트리(Tri)-70B'를 개발한 경험은 있으나 멀티모달에서는 아직까지 결과물을 공개한 바 없다.
김영욱 기자 wook95@dt.co.kr