[다이어리포인트=김정훈 기자] 국내 기업과 연구자가 인공지능 모델 개발에 활용할 수 있는 학습용 데이터 3,544만 건이 AI허브를 통해 무료로 공개됐다. 독자 인공지능 파운데이션 모델 프로젝트에 참여한 5개 정예팀이 1차 단계평가 과정에서 구축한 자료로, 사전학습부터 추론과 안전성 검증까지 폭넓게 활용할 수 있다.
과학기술정보통신부와 한국지능정보사회진흥원에 따르면 이번 공개 대상은 총 29종이다. 전체 규모는 약 1조 5,600억 토큰으로 환산되며, 이론적으로 700억에서 800억 개 매개변수를 가진 대형 모델을 학습할 수 있는 수준이다. 데이터는 AI허브 공식 홈페이지에서 확인하고 이용 조건에 동의한 뒤 내려받을 수 있다.
네이버클라우드는 공개 영상 234만 건과 방송 영상 52만 건, 영상 장면을 설명한 텍스트 1,550만 건, 음성 질의응답 1,200만 건 등을 구축했다. 영상 이해와 이미지 생성 모델 학습에 필요한 장면 설명과 음성 자료가 함께 포함돼 멀티모달 모델 개발에 활용할 수 있다.
업스테이지는 1조 토큰 규모의 사전학습 데이터와 50만 건의 사후학습 데이터를 공개했다. 대규모 언어모델을 처음부터 학습하는 데 필요한 원천 자료뿐 아니라 추론, 판단, 실행 능력을 높이는 학습 자료도 포함했다. 연구자가 모델의 기초 성능과 에이전트 기능을 단계별로 실험할 수 있는 구성이 특징이다.
SK텔레콤은 수학, 과학, 법률 등 전문 분야의 고난도 다단계 추론 자료와 음성, 이미지 기반 사후학습 자료를 마련했다. 국내 법령과 한국 사회의 보편적 가치관을 반영한 한국형 레드티밍 데이터 약 1만 건도 포함해 모델의 안전성과 신뢰성을 점검할 수 있도록 했다.
NC AI는 제조 기술문서와 민원 상담 음성 등 산업 현장에서 나온 자료를 바탕으로 긴 문맥 이해, 단계별 추론, 여러 차례 이어지는 대화, 질의응답과 멀티모달 학습용 데이터 7종을 구축했다. LG AI연구원은 국내 50개 실제 가정환경에서 50종 이상의 가사 활동을 촬영한 17만 개 이상 영상 클립과 객체, 자세, 맥락 정보를 공개 대상으로 선정했다.
공개 전에는 한국지능정보사회진흥원과 한국정보통신기술협회가 품질을 검증하고 개인정보와 유해성 여부를 확인했다. 라이선스 제약이 있는 자료는 제외했다. 네이버클라우드, 업스테이지, SK텔레콤, NC AI는 검증을 마친 데이터를 모두 공개하고, LG AI연구원은 의무 공개 비율인 50% 이상을 충족하도록 표본을 선별했다.
이용자는 데이터별 설명서와 라이선스를 따로 확인해야 한다. 무료 공개가 상업적 이용을 일괄 허용한다는 뜻은 아니며, 자료마다 이용 범위와 출처 표시 조건이 다를 수 있다. 개인정보가 포함될 가능성이 있는 원자료를 임의로 결합하거나 재배포하는 것도 피해야 한다.
이번 개방은 막대한 수집비와 가공비 때문에 자체 데이터 확보가 어려웠던 중소기업과 대학 연구팀의 진입 장벽을 낮출 것으로 보인다. 실제 성과는 공개 건수보다 데이터 설명의 충실도와 내려받기 편의성, 라이선스 명확성, 후속 오류 정정 체계가 얼마나 안정적으로 운영되는지에 달려 있다.
0개의 댓글
최신순