클레이드 챌린지, 대회 그 이후의 이야기
SERVICE
BY | 로앤컴퍼니
DATE | 2023. 01. 06.
로앤컴퍼니에서 개최한 법률 AI 경진대회 ‘클레이드 챌린지’가 모든 여정을 마치고 성공적으로 막을 내렸습니다. 대회의 우승은 과연 누가 차지했을까요? 응모부터 심사, 수상까지 모든 이야기를 담아봤습니다.
로앤컴퍼니는 지난해 자체 보유한 법률 AI 데이터셋을 무료로 공개하고 AI 모델 개발 경진대회 ‘클레이드 챌린지 2022’ 을 개최했습니다.
한 달 간의 응모 기간 동안 50팀이 참가 등록을 하고, 9개의 팀이 AI 모델을 제출했는데요, 클레이드 과연 이번 클레이드 챌린지 우승은 누가 차지했을까요?
이번에는 로톡엑스에서 클레이드 챌린지 심사결과와 우승자, 그리고 그 비하인드 스토리까지 단독으로 알려드릴게요.
클레이드 챌린지 최종 참여 9개 팀 대상으로 엄격한 심사 진행
개별 AI 모델 점수를 공개한 클레이드 홈페이지 리더보드
모델 점수를 공개한 클레이드 홈페이지 리더보드
클레이드 챌린지는 로앤컴퍼니가 공개한 16만 건의 ‘형사 범죄 분류’ 데이터셋을 바탕으로 피고인의 범죄사실에 대해 위반 법령을 추측할 수 있는 AI 모델을 개발하는 대회입니다.
로앤컴퍼니는 지난해 11월 14일 처음 판결문 데이터를 무료로 공개하고, 한 달 동안 법률 AI 모델 응모를 받았어요. 응모 기간 동안 50팀이 참가 등록을 했고, 총 9개 팀이 AI 모델을 제출했습니다. 실제로 AI 모델을 제출한 팀은 더 많았지만 경진대회 참여 기준에 부합하는 9개 팀이 최종 심사 대상이 됐다고 해요.
제출된 모델은 Accuracy와 Macro F1 두 가지 점수를 고려해 평가하였습니다. 이 중 최종 순위는 해당 모델이 얼마나 정확하게 범죄를 분류하는지 면밀하게 살펴보기 위해 Macro F1 점수를 기준으로 했습니다.
Accuracy는 전체 건수에서 정답을 맞힌 비율, Macro F1은 제공되는 데이터 분류 그룹별 개수를 고려한 평가 방식인데요, 그룹의 개수가 더 적은 경우에도 더 정확하게 분류해내는지를 살펴보는 방식이라고 생각하시면 됩니다.
평가는 당연히 공정하게 진행됐습니다. 공정한 진행을 위해 개별 AI 모델에 대한 점수는 클레이드 홈페이지 리더보드를 통해 투명하게 공개했어요.
참가자분들은 대회를 개최한 법률 AI연구소 구성원들이 놀랄 정도로 다양한 형태로 모델을 개발해주셨다고 해요. 한달 남짓의 비교적 짧은 대회 기간 중 방대한 데이터의 특성을 빠르게 파악하고 데이터 정제작업을 진행한 경우도 있었고, 컴퓨터가 데이터를 조합, 분석해 스스로 학습하는 딥러닝 방식을 이용하지 않고 통계적 방식을 이용한 분도 계셨습니다. 이 외에도 각 적용법조의 실제 법률 조문들을 추론에 반영하는 모델 등 AI를 연구하는 참가자분들의 창의적 사고와 능력을 엿볼 수 있는 의미있는 시간이었습니다.
경희대 소프트웨어융합대학 4학년 학생 최종 우승
훌륭한 법률 AI모델을 제출한 9개팀의 열띤 경쟁 속에서 그 우승은 누가 차지 했을까요?
심사를 거쳐 선발된 클레이드 챌린지 우승은 ‘A’ 팀에게 돌아갔습니다. A팀은 Accuracy 항목 점수 96점, Macro F1 항목 점수 91.92로 참가자 중 가장 높은 점수를 차지했는데요, 이 모델을 만든 주인공은 경희대 소프트웨어융합대학 4학년에 재학 중인 옥현종 학생입니다.
클레이드 챌린지 우승자 시상식
지난해 12월 29일, 로앤컴퍼니 사옥에서 개최된 클레이드 챌린지 시상식에서 우승자를 만날 수 있었는데요, 대회를 준비한 법률 AI연구소 팀원들의 열렬한 축하와 함께 시상이 진행됐습니다.
우승자는 평소 자연어 처리 분야에 관심이 높아 관련 대회에 자주 참여했다고 하는데요, 검색으로 우연히 클레이드 챌린지 개최 소식을 보고 다양한 분야의 데이터를 접할 수 있는 좋은 기회라 생각해 참여를 결심하게 됐다고 합니다.
알고보니 우승자는 그동안 학습용 유전체 데이터셋을 활용해 효소 번호를 예측하거나 한국어 데이터를 활용해 인공지능 모형을 개발하는 경진대회에서 좋은 성적을 거둔 AI 모델 개발 능력자라고 해요. 그래서인지 법률 AI 모델 개발은 처음이지만 그간의 경험을 살려 짧은 시간 안에 정확도 높은 법률 AI 모델을 개발할 수 있었다고 합니다.
커피챗 시간에 AI 모델 개발 방식에 대한 열띤 토론 펼쳐
시상식 후에는 우승자와 법률 AI연구소 팀원들과 함께 커피챗을 진행했습니다. 오프라인 참석이 어려운 팀원분들은 온라인으로 참석해 자리를 빛내주셨어요.
이날 커피챗에서 가장 화두가 된 것은 우승자의 AI 모델 구현 방식이었습니다.
우승자는 ‘앙상블 모델(Ensemble Model)’이라는 방식으로 법률 AI 모델을 개발했다고 합니다.
앙상블 모델은 같은 데이터로 여러 모델을 만들고 각 모델별 결과를 종합해 최종 출력값을 결정하는 것입니다. 실제 우승자는 앙상블 모델 25개를 만들었고, 각 모델을 통해 나온 결과 중 가장 많이 나온 값을 결과로 보여주는 하드 보팅(hard voting)을 적용해 최종 AI 모델을 구현했다고 합니다. 모델 트레이닝은 학교에 있는 컴퓨터를 활용했다고 해요.
우승자의 앞으로의 진로에 대한 이야기도 이어졌습니다.
우승자는 학부 4학년생으로 졸업 후 인공지능 분야 관련 공부를 더 하고 싶다는 계획을 밝혔는데요, 향후 다른 주제로 클레이드 챌린지가 개최되면 또 한 번 참여해 보겠다는 포부도 전했습니다.
국내 대표 법률 AI 경진대회를 꿈꾸며
시상식을 끝으로 대회의 모든 여정이 마무리되었습니다. 하지만 클레이드 챌린지는 끝난게 아닙니다.
클레이드 홈페이지는 언제든 활짝 열려있기 때문이에요. 대회 참여가 아니더라도 법률 AI 연구에 관심있는 인공지능 연구자라면 누구나 홈페이지를 통해 로앤컴퍼니가 무료로 제공하는 한국어 법률 AI 데이터셋을 다운로드 받을 수 있어요. 또한 이를 활용해 구축한 AI 모델을 제출하면 대회와 동일한 기준으로 평가한 점수가 리더보드에 공개됩니다.
경진대회 우승자의 기록에 도전해보는 것도 의미있을 것 같지 않나요?
법률 AI연구소에서는 올해 중에도 새로운 주제의 법률 AI 데이터셋을 공개하고, 제2회 클레이드 챌린지를 개최할 예정이라고 합니다. NEXT 클레이드 챌린저는 누구일지 벌써부터 기대가 되네요.
법률 AI 연구 활성화를 위해 데이터를 공개하고, 인공지능 연구자들의 관심을 높이기 위해 다양한 시도를 펼치고 있는 로앤컴퍼니.
클레이드 챌린지는 이제 막 첫 걸음을 내딛었지만, 해를 거듭하고 역량있는 도전자들의 참여가 계속된다면 향후 국내를 대표하는 법률 AI 경진대회로 자리매김할 수 있겠죠? 꿈이 현실이 되는 그 날까지 클레이드 챌린지의 여정은 계속됩니다!
Edit 박가영 Graphic 조중현
-이 아티클은 2023년 1월 기준으로 작성되었습니다.
.png&blockId=ae58f315-c0f6-4f7b-bc5d-09221addee8d)
