먼저 질문이 하나 있습니다. 학습자인 저에게 좋은 평가란 어떤 평가일까요?
대학 시절 운전면허를 따러 운전 배웠을 때가 생각납니다. 저는 질문하는 것을 두려워하지 않고 오히려 물어보고 싶어하는 편입니다. 일을 명확하게 알고 싶어하고, 그래야 마음이 놓입니다. 그렇지 않으면 불안해서 견딜 수 없어요.
오랫동안 AI 관련 내용을 접해왔습니다. 사실 평가라는 것은 AI 학습과 매우 비슷합니다. 제가 무언가를 하면 누군가가 “이렇게 하는 게 맞는가”, “생각하는 방식이 옳은가”를 알려주었으면 합니다. 하지만 차이점이자 더 중요한 것은, 더 좋은 방법이나 요령이 있는지 알고 싶다는 것입니다. 네, 요령이에요.
AI 학습은 단지 정답과 오답만 알려주면 모델 스스로 올바르게 할 수 있게 됩니다. 하지만 제가 원하는 것은, 더 좋은 방향, 놓친 세부 사항, 더 간편한 사고 방식을 보여주는 사람입니다. 단순히 결과를 판단하는 것이 아니라, 더 많은 가능성을 열어주는 것입니다.
모델은 더 좋은 결과를 얻기까지 무작위로·반복적으로 시도할 ‘시간’과 ‘기회’가 많지만, 저에게는 그런 능력이 없습니다. 아마 인간이라는 ‘모델’은 훨씬 더 복잡하고 깊으며, 우리의 학습은 내면 깊숙이, 잠재의식 속에서까지 이뤄지는 것일지도 모릅니다.
스키 배우는 것과 같아요. 발 위치와 무게중심만 잡으면 최소한 통제하면서 탈 수 있게 됩니다. 제어 못하고 그냥 쏟아져 내려가는 것과는 완전히 다르죠, 하하.
『어적 Atobe repeater』에 평가자 시스템을 추가했습니다. 아직 실험적인 기능이지만, 유용한 설계가 될 것이라 믿고, 반드시 더 좋게 만들겠습니다.
지금까지 편리하고 유용한 AI 기능을 정말 많이 봤습니다. 하지만 그것들은 여전히 다릅니다. 우리가 배우는 내용은 지금도 미래에도 ‘사람’과 교류하기 위한 것입니다. 그렇다면 왜 직접 ‘사람’이 평가하면 안 될까요? AI가 좋다·나쁘다고 하는 것이 정말로 항상 맞는 걸까요?
현재 방식은 이렇습니다. 학습자는 따라 하고 싶은 대상 음성과 본인이 녹음한 모방 음성(현재는 음성만 지원, 추후 더 많은 형식 지원 예정), 그리고 음성 길이·학습 언어·스킬 이름·학습자의 주 사용 언어 등 정보를 함께 묶어 과제로 제출합니다.
평가자는 과제 홀에서 능숙한 수준 혹은 모국어 수준의 언어 관련 과제를 받을 수 있습니다. 주의할 점은 과제에 시간 제한이 있고, 시간이 끝나면 평가되지 않은 과제는 다시 홀로 돌아갑니다.
그러니 평가자 분들은 과감하고 적극적으로 평가해 주세요. 당신의 평가는 학습자에게 정말 큰 도움이 될 겁니다.
(물론 시간 제한이 있어서 완벽할 수는 없죠. 어쩔 수 없잖아요? :p)
평가를 받는 것만큼, 자신의 모방 결과를 내보내는 것도 중요하다고 생각합니다. 평가 과제를 제출하는 순간, 이미 절반은 성공한 겁니다. 가끔은 스스로 꼼꼼히 비교해 보는 것만으로도 어디를 더 잘할 수 있는지 알게 되죠.
그리고 능숙하거나 모국어 수준의 평가자가 들어보고, 따라 해 보고, 문제점을 지적해 주거나, 잘 하고 있다면 격려해 주는 것도 정말 좋습니다. 때로는 평가자에게도 배울 점이 되기도 합니다.
우리는 『저정밀도 행성 개념』[1] 세상에 살고 있다고 생각합니다. 많은 것들이 완벽하게 정밀하고 엄격하지 않고, 불완전하지만 그래도 부드럽게 돌아가고 있죠.
충분하면 그만입니다. 학습자에게도 평가자에게도 마찬가지에요.
평가자가 평가할 수 있는 범위에 대해 더 생각하고 있습니다. 예를 들어 같은 언어 학습자 간의 상호 도움도 분명 도움이 될 테지만, 형식은 확실히 다를 것이고 아직 더 설계해야 합니다.
물론 계획서에도 적혀 있듯이, AI 기능도 고급 기능으로 추가해서 지원할 예정입니다. 필수적인 기능은 아니기를 원하지만, 필요한 사람에게는 도움이 되도록 하고 싶습니다.
마지막으로 질문이 하나 있습니다.
다른 사람의 말이 맞는지 틀린지를 판단하는 과제에 대해, 어떤 표현이 더 좋을까요?
「Evaluation Task」, 아니면 좀 더 포괄적인 「Review Task」?
영어 원어민 분들(원어민이 아니어도 :p) 조언을 정말 부탁드립니다.
취향은 다를 수 있지만, 최종 결정은 제가 내리겠습니다. 그리고 기꺼이 ‘결정자’ 역할을 맡겠습니다! 😄