기술평가 가이드라인에 따른 AI 기업의 평가 방법과 개선 방안

 

 

지난달 Emerging AI+X Top 100 기업이 발표됐다. AI 기술과 다양한 산업(X) 간 융합을 통해 미래 혁신을 선도할 100대 국내 기업들이다. 상장사인 솔트룩스, 루닛, 알체라, 크라우드웍스 등부터 차세대 유니콘 스타트업인 업스테이지, 뤼이드, 퓨리오사에이아이 등이 이름을 올렸다.

 

경기 불황에도 불구하고 AI 기업에 대한 벤처 투자와 상장은 증가하고 있다. 최근 AI 자연어처리 전문기업 와이즈넛, AI 기반 로봇 솔루션 기업 씨메스, AI 기반 희귀질환 유전자 진단기업인 쓰리빌리언 등이 기술특례상장을 위한 첫 관문인 기술평가를 통과했다.

 

AI 기업의 기술특례상장 사례와 빈도가 꾸준히 증가하면서 주요 분야인 바이오와 같이 거래소가 이들을 대하는 태도도 변화하고 있다. 가장 큰 변화는 표준기술평가모델을 도입하면서 AI 기술분야에 한정하여 적용되는 'AI/빅데이터' 기술 평가지표를 도입한 것이다.

 

바이오는 '바이오 의약품'과 '바이오 의료기기(헬스케어)'로 대별되는 산업 평가지표를 도입하였지만, AI의 경우 다양한 산업과의 융합(AI+X)을 고려하여 산업 평가지표가 아닌 기술 평가지표를 도입한 것으로 보인다.

 

기술특례상장을 위한 기술평가에 있어서 필수적으로 택일해야 하는 산업 평가지표와 달리 기술 평가지표는 자율 선택 방식이다. 기업 입장에서 선택하거나 선택하지 않을 수 있다는 말이다.

 

그러나 AI 전문 기업으로 자칭하면서 AI/빅데이터 기술 평가지표를 선택하지 않는 것은 전문평가기관이나 한국거래소에 자칫 부정적인 인상을 줄 수 있다. 이들을 위하여 한국거래소에서 2024년에 발간한 '기술특례상장을 위한 기술평가 가이드라인' 중 AI/빅데이터 기술 평가지표에 관한 주요 사항을 설명하면 다음과 같다.

 

AI/빅데이터 기술 평가지표는 크게 ① 데이터 양과 품질 측면의 우수성, ② 시스템 구현 알고리즘 우수성, ③ 기술-시장 적합성(Technology-Market Fit) 측면을 평가한다. 기술평가 항목으로는 1) 기술의 신뢰성, 2) 기술의 자립도, 3) 기술의 차별성, 4) 기술의 모방난이도, 그리고 5) 사업모델 수립 수준과 6) 생산 및 품질관리 역량과 관련된다.

 

 

① 데이터 양과 품질 측면의 우수성

 

인공지능 학습 데이터의 양과 품질은 기술성 평가에 주요 고려사항이다. 데이터 셋의 편향성을 충분히 제거했는지 그리고 데이터 라벨링에 일관성이 존재하는지를 평가한다. 편향성의 제거는 수집한 데이터의 인적·물적 특성을 고려하여 기준과 체계를 갖추어야 한다. 라벨링을 아웃소싱하는 경우라면 외주사의 라벨링 프로세스를 미리 따져보아야 한다. 데이터 수집 또는 라벨링이 어렵고 제한적이어서 데이터의 양이 부족하다면, 전이학습 또는 합성데이터와 같이 이를 보완할 수 있는 기술을 보유하고 있는지를 함께 고려하게 된다.

 

데이터 수집 과정의 적법성과 지속가능성과 같은 윤리적인 측면도 평가한다. 보유하고 있는 데이터의 규모와 질적 수준이 우수하다면 그 자체가 높은 진입장벽이 되어 기술의 모방난이도 평가에 있어 유리하다. 데이터가 활용됨으로써 더 많은 데이터 축적과 성능 개선이 이루어지는 데이터 선순환 구조를 갖추었는지도 평가 지표 중 하나이다.

 

 

② 시스템 구현 알고리즘 우수성

 

시스템을 구성하고 있는 알고리즘의 경쟁력도 중요하다. 가이드라인은 경량화, 자동화, 연산 효율성, 데이터 인식률, 처리 속도 등을 예시하고 있지만, 비교 대상이 존재하는 벤치마크 테스트(BMT)를 활용하는 것을 더 권장하고 싶다.

 

유의할 것은 '예측 설명력' 역시 주요 평가 지표라는 것이다. 가이드라인은 예측 결과에 대한 로직을 설명할 수 있는지 검토하도록 하고 있다. 딥러닝 모델은 블랙박스 모델이기 때문에 무엇을 근거로 그와 같은 결과가 나왔는지 알 수 없는 것이 일반적이다. 최근 들어 활발하게 연구되고 있는 설명 가능한 인공지능(XAI) 기술 수준이라면 본 지표를 높게 평가받을 수 있을 것이리라.

 

데이터의 편향성과 마찬가지로 모델 학습 과정이나 알고리즘 차원의 편향성 제거 수준도 평가한다. 알고리즘 그 자체는 아니지만, 자체 데이터 센터나 GPU, NPU 등 고성능 컴퓨팅 인프라의 확보 여부도 함께 평가받는다.

 

 

③ 기술-시장 적합성(Technology-Market Fit)

 

기술이 시장이 필요로 하는 것을 갖추었는지, 즉 시장의 요구와 기대에 부응하는지를 검증하고 평가한다. 센서-디바이스-네트워크(클라우드)-플랫폼에 이르는 AI 생태계 내 다른 기업 구성원과의 협력 수준도 평가한다. 데이터를 잘 이해해야 하는 산업의 특성상 연구원의 기술 전문성 외에 도메인 전문성도 평가한다.

 

AI 활용 제품 및 서비스에 대한 시장의 대표적인 요구는 안전성이다. 그래서 시스템의 문제 발생 시 대응 방안이나 체계가 평가지표로 존재한다. AI 신뢰성 관련 인증을 받는 것이 손쉬운 방안이 될 수 있다.

 

 

기술특례상장을 위한 기술평가에 사용되는 AI/빅데이터 기술 평가지표에 관한 해설은 여기까지이다.

 

얼마 전 오픈 AI는 챗GPT에 이어 텍스트 기반으로 동영상을 생성하는 인공지능 서비스 '소라(Sora)'를 내놓았다. AI 기술이 이렇게 비약적으로 발전할 것이라고는 아무도 상상하지 못했다. 소라에 대한 반응은 "앞날이 무섭다", "인류 끝났다", "유튜버 다 망했다"와 같이 극적이다. 챗GPT 플러그인, GPTs, GPT 스토어 등 새로운 도구와 마켓 플레이스의 출시로 인해서 AI 산업의 생태계 구조와 거버넌스도 빠르게 변화하고 있다.

 

AI/빅데이터 기술 평가지표와 기술평가 가이드라인은 시대와 현장에 벌써 뒤처지기 시작했다. 제정한지 얼마 되지 않았지만, 기술의 변화가 너무 빠른 탓이다. 어떤 제품과 서비스를 성공으로 이끄는 핵심 요인 중 몇몇은 시대를 관통한다. 그래서 "역사에서 배우라"라는 말도 있다. 그러나 '기술'은 더군다나 '혁신기술'의 평가는 정적인 평가지표로 대응하기 어렵다. 차라리 기술 평가지표를 폐지하고 평가 시 유의사항 정도로 정리하는 방안이 가능할 것이다. 그렇지 않으면 기술의 변화의 속도에 맞춰 기술 평가지표를 매번 개정하는 수밖에 없다.