Trust & Safety AI Squad

Hunter (백용수) X Enkhee (Enkhbayar Erdenee)

Hunter Trust & Safety라는 단어부터 생소하실 텐데요. 사용자가 서비스를 신뢰하고 안전을 느낄 수 있도록 돕는 모든 일을 다루고 있어요. 사용자가 악성 사용자(어뷰저)에 의해 피해를 받지 않도록 보호하고, 유해 콘텐츠나 개인정보 유출과 같은 위협으로부터 걱정 없이 서비스를 믿고 사용할 수 있도록 지원하는 일을 해요. 이런 작업을 모더레이션이라고 부르기도 합니다.

Hunter 예를 들어 ‘아자르(Azar)’나 ‘하쿠나 라이브(Hakuna Live)’를 사용하다가 악성 사용자를 만나면 안 좋은 경험을 할 수 있어요. 그럼 사용자는 아자르나 하쿠나에 대한 신뢰를 잃고 떠나게 되겠죠. 악성 사용자를 빠르게 제재하지 않을 시 다음 희생자가 생길 수 있구요. Trust & Safety AI 스쿼드에서는 이러한 악성 사용자 또는 어뷰징으로 의심되는 콘텐츠를 AI 기술을 통해 빠르게 찾아내고, 사용자가 피해를 입기 전에 이를 사전에 방지하는 것을 목표로 하고 있습니다. 서비스 품질과 즉각적으로 연결되는 문제를 풀고 있는 스쿼드라고 할 수 있어요.

Enkhee 저희 스쿼드에서 주요한 목표로 삼고 있는 것 중 하나가 개인정보를 보호하면서 안전한 서비스를 만들어내는 것입니다. 실제로, 글로벌 1:1 영상 채팅이 가능한 아자르는 사용자의 프라이버시를 보호하기 위해 사용자의 영상이나 음성 데이터를 서버로 전송하지 않아요. 하지만 저희는 사용자들을 악성 사용자로부터 보호해야 하죠. 이를 위해 데이터를 외부에 보내지 않고 사용자의 모바일 기기에서 바로 추론되는 온디바이스(On-device) 모델을 만들어 배포하고 있습니다. 이렇게 모바일 환경에서 돌아가는 모델은 하이퍼커넥트®만의 경량화 기술을 사용해 사용자가 인지하기도 전인 0.006초 만에 어뷰징을 탐지하고 있고요. (🔗참고: 하이퍼커넥트®, 0.006초 내 콘텐츠 사전 차단하는 ‘AI 모니터링 시스템’ 구축, Dec 2020)

Enkhee 하이퍼커넥트®에서는 하쿠나 라이브를 통해 라이브 스트리밍 서비스도 운영 중인데요. 라이브 스트리밍 서비스에서도 유해 콘텐츠를 감지하는 AI 시스템이 구현되어 있어요. 이미지 인식과 음성 인식 기술을 통해 방송 내용을 이해하고, 폭력, 혐오 발언, 광고, 사이버 불링 등 부적절한 내용이 감시될 경우 바로 제재시키고 있죠. 사람은 24시간 동안 라이브가 진행되고 있는 모든 방송을 쉬지 않고 검토할 수 없지만 AI는 가능하기에, 이를 통해 하쿠나 라이브를 보다 더 안전하게 만들어 나가고 있어요. (🔗참고: 머신러닝 모델을 사용하여 실시간으로 유해 콘텐츠를 빠르게 감지하는 시스템 Mar, 2023)

Hunter 실제로 더 좋은 머신러닝 모델을 배포하면 지표가 개선되는 게 눈에 보여요. 대표적으로 아자르와 하쿠나 라이브에서 머신러닝 모델 배포 이후, 사용자의 신고 접수가 줄어드는 반면 리텐션은 증가하는 현상을 정말 자주 경험했어요. 물론 지표만으로는 완벽하게 서비스의 안전을 확인할 수 없기 때문에, 서비스 운영 팀의 의견과 사용자 피드백도 귀 기울여 듣고 있고요.

Hunter 저희 스쿼드에서 서비스의 안전과 신뢰를 책임지고 있으므로, 전사적으로도 Trust & Safety AI 스쿼드에 기대하는 바가 많아요. 실제로 하이퍼커넥트®에서 가장 오래된 AI 서비스가 Trust & Safety 이기도 하고요. 회사 설립 후 얼마 지나지 않은 시점부터 사용자에게 좋은 경험을 주기 위해 많은 투자를 해왔기에, 그 투자가 무색하지 않을 만큼 하이퍼커넥트®가 가장 잘하고 있는 분야 중 하나가 Trust & Safety라고 생각합니다.

Hunter 덧붙여 Trust & Safety AI에서 특히 잘한다고 생각하는 부분 중 또 다른 하나는 Human moderator들과의 협업 프로세스가 체계화되어 있다는 점이에요. 머신러닝 모델을 통해서 대부분의 악성 사용자와 유해 콘텐츠를 찾아내고 있기는 하지만, 그럼에도 머신러닝 모델이 놓칠 수 있는 부분이 여전히 존재해요. 머신러닝 모델이 놓칠수 있는 부분에 대해서는 인력을 활용하여 서비스를 더 안전한 방향으로 다져나가고 있습니다.

Enkhee 저희는 머신러닝 모델을 포함한 시스템을 모니터링하기 위해 사람과 머신러닝 모델을 동시에 사용하며, 높은 정밀도(precision)를 보장합니다. 모델은 저렴하고 빠르게 결과를 출력할 수 있지만, 사람에 비해 상대적으로 정확도가 낮습니다. 반대로 사람은 정확도가 높지만 속도가 느리고, 비용이 많이 발생하죠. 중간점을 찾아 사람과 머신러닝을 적절히 융합하면 원하는 수준의 성능과 비용을 모두 만족시킬 수 있어요. 예를 들어 모델의 정밀도가 높은 구간에서는 머신러닝 모델만을 이용하여 콘텐츠를 처리하고, 정밀도가 낮은 구간에서는 사람의 결과를 추가적으로 활용하는 방식으로 정밀도와 속도, 그리고 비용까지 모두 잡을 수 있습니다.

Hunter 모델의 재학습 측면에서도 Human moderator들의 라벨링 결과를 사용하고 있어요. 머신러닝 모델을 서비스에 배포할 때 많이들 간과하는 부분이 있는데요. 바로 배포된 모델의 지속적인 평가와 개선 파이프라인 구성입니다. 시간이 흐르면서 데이터 분포 변화가 발생할 수 있는 시스템에서는 모델 재학습, 재배포를 꼭 해줘야 해요. 매우 다양한 원인으로부터 데이터의 분포 변화가 일어날 수 있기 때문이에요. 예를 들어 새로운 유형의 악성 사용자가 등장할 수도 있고, 새롭게 출시한 모바일 기기의 카메라로부터 촬영되어 지금까지 머신러닝 모델이 한 번도 보지 못한 해상도의 사진이 나올 수도 있기 때문이에요. 이렇게 데이터가 바뀌면 머신러닝 모델의 정확도는 떨어질 수 있습니다. 데이터의 변화에 대응하기 위해 저희 스쿼드에서는 사람과 AI를 모두 활용하며, Human-in-the-loop를 적극적으로 활용하는 시스템을 보유하고 있어요.

Hunter 하이퍼커넥트®는 오랜 기간동안 사람과 AI를 모두 활용하여 Trust & Safety 서비스를 운영해왔던 회사입니다. 따라서 단순히 머신러닝 시스템에 사람이 개입하는 수준에서 끝나지 않고, 효율적으로 사람과 모델이 상호작용 할 수 있도록 하는 시스템을 만들어 나가고 있어요. 대표적으로 사람의 개입은 비용이 많이 들기에, 어떤 데이터를 사람이 레이블링하게 할지 결정하는 것도 풀고 있는 문제 중 하나입니다. 또 사람은 항상 완벽하게 정확한 레이블링을 할 수 없기에, 이 점을 감안해서 평가 데이터와 라벨을 확보해야 해요. Trust & Safety 스쿼드에서는 이러한 문제들을 더 잘 해결하기 위한 고민과 연구를 진행하고 있고, 전체 과정을 자동화하는 시스템을 구성하고 있어요.

Enkhee 더 안전한 서비스를 만들기 위해 가능한 모든 유형에서 악성 사용자를 찾아내고 유해 콘텐츠 사전 차단에 노력을 기울이고 있는데요. 이미지, 비디오, 오디오, 텍스트, 표 등 거의 모든 유형의 데이터를 다룬다고 보면 돼요. 저희 스쿼드가 하이퍼커넥트® 내에서도 가장 다양한 유형의 데이터를 다루고, 또 다양한 문제를 풀고 있다고 봅니다. 다양한 도메인을 다루는 만큼, 아직 다뤄보지 못한 유형의 데이터를 다룰 수 있다는 점도 Trust & Safety AI 스쿼드의 큰 매력이라고 생각해요. 저도 하이퍼커넥트®에 Trust & Safety AI 스쿼드에 입사하기 전에는 이미지 데이터만 다뤄봤었는데, 여기서는 이미지 뿐만 아니라 음성, 텍스트, 표 데이터 등 모든 형태의 데이터를 다뤄본 것 같아요. 더불어 최근엔 학계나 산업계에서 여러 유형의 데이터를 동시에 다루는 멀티 모달 방법론이 좋은 성과를 내고 있는데요. 저희 스쿼드에서도 이런 방법론들을 빠르게 받아들여 서비스에 적용해 나가고 있어요.

Hunter 모델 관점에서도 모바일 기기에 탑재되는 온디바이스(on-device) 모델부터, 서버에서 돌아가는 large model 까지 정말 다양한 종류의 모델을 개발하고 있어요. 특히 하이퍼커넥트®는 아자르, 하쿠나, 엔터프라이즈 등 여러 서비스를 운영하는 multi-product company이고, 각 서비스마다 요구하는 Trust & Safety 정책은 조금씩 다를 수 있습니다. 실제로 저희가 잡아내고 있는 어뷰징 유형은 50가지가 넘습니다. 사례별로 모두 다른 모델을 만든다면 굉장히 많은 모델을 만들고 운영해야 하는 어려움이 생길 수 있는데, 이런 사태를 방지하기 위해 최근 많은 문제를 동시에 풀 수 있는 large model도 연구 개발하고 있어요. 단순히 온디바이스(on-device)에서 돌아가는 경량화된 모델을 만드는 것을 넘어서, model generalization, domain adaptation, few-shot learning, multi-task, multi-label 등 더 폭넓은 주제도 다루고 있습니다.

Hunter 다른 스쿼드도 마찬가지이지만, 저희는 보통 논문만을 위한 연구는 지양하고 있어요. 그리고 서비스를 개선하기 위해서도 처음부터 연구를 하기보다는, 이미 공개된 논문 중 적합한 방법이 있다면 적극적으로 수용하는 편이에요. 하지만, 언제나 우리 상황에 완벽히 들어맞는 연구가 공개돼있는 건 아니기 때문에, 그런 경우에는 직접 연구해서 문제를 해결해요. 우리가 직접 개발한 기술 중에서 독창성이 있는 주제들은 논문으로 정리해서 적극적으로 공개하고 있어요. 최근에는 Multi-task classification 모델을 moderation에 잘 사용하기 위한 연구를 공개했고, Active Learning, Noisy Label, Ondevice Audio ML 토픽으로도 논문의 형태로 저희 연구를 공개했어요. 이 논문들은 모두 하이퍼커넥트®의 서비스들을 개선하기 위해 문제를 해결하던 중, 저희가 발견한 독창적인 방법들을 공개한 사례입니다!

Enkhee AI 업계에서 일반적으로 컴퓨터 비전 엔지니어, 자연어 처리 엔지니어, 추천 엔지니어 등 각 도메인 별로 특화 된 엔지니어를 채용하는 경우가 많은데요. 저희의 경우에는 한 분야에 국한짓기 보다는 다양한 문제를 해결할 수 있는 사람을 뽑고 있어요. 그 이유는 머신러닝에 대한 이해도가 탄탄하신 분이라면, 어떠한 도메인도 가리지 않고 잘 할 수 있다고 보기 때문이에요. 그래서 저희는 이미 기존에 해보지 않았던 새로운 도메인, 새로운 환경에 대해 빠르게 적응하시고 문제를 해결하실 수 있는 능력을 가장 많이 보고 있습니다. 물론 넓고 얕은 지식을 갖기 보다는, 깊게 파본 경험도 당연히 필요로 하겠죠.

Enkhee 더불어 저희는 AI 기술을 통해 서비스를 제공하는 조직이기 때문에, 머신러닝 모델이 효율적이고 안정적으로 서빙될 수 있도록 하는 많은 작업들을 필요로 해요. 따라서 소프트웨어 엔지니어링 스킬도 중요하게 보고 있습니다. 하이퍼커넥트®에 오시면 모델의 latency, throughput 최적화, 안정적인 모델 배포 등 다양한 경험을 해보면서 엔지니어링 역량도 같이 성장시킬 기회가 많으니 많은 관심 부탁드려요!

Hunter Enkhee가 잘 설명해 주셨는데, 저는 여기에 더해 커뮤니케이션 역량도 강조하고 싶어요! 머신러닝 시스템을 잘 운영하려면 데이터가 발생하고 모델의 결과가 서비스에 반영되는 파이프라인을 종합적으로 잘 이해해야 합니다. 특히 Trust & Safety 스쿼드는 사용자가 겪고 생성하는 모든 데이터에 대해 관심이 있고 모델이 분류하는 정책과 Human moderator와 협업도 고려해야 하기 때문에 정말 많은 팀과 협업해야 해요. 따라서 여러 조직의 상황을 종합적으로 고려하면서 일할 수 있는 능력도 중요하게 보고 있습니다.

Hunter 저희 스쿼드가 요구하는 바가 많다고 느껴질 수도 있는데요. 저는 오히려 많이 성장할 수 있는 기회라고 생각해요. 안전한 서비스를 만들기 위해 머신러닝 시스템을 구상하다보면, 모델링 역량 뿐만 아니라 시스템 디자인과 AI 기술이 비즈니스에 어떻게 기여하는지에 대한 이해도도 높일 수 있어요. 저희 스쿼드에 오시면 다양한 경험을 하면서 즐겁게 일할 수 거예요!