magazine
2024.11.19

모더레이터들의 전쟁, 소셜 미디어 안전 대책의 현장 | Release #375

2024-11-social-media-moderators-cover-image

Cover photo by あお🐐

우리가 일상적으로 사용하는 소셜 미디어. 그 무대 뒤에서는 AI와 인간 모더레이터들이 유해 콘텐츠 삭제에 힘쓰고 있습니다. 그러나 그 업무 내용은 가혹하며, 정신 건강에 심각한 영향을 미치는 것으로 문제시되고 있습니다.

이번에는 모더레이터의 현황과 AI 기술의 한계, 그리고 미래의 가능성에 대해 탐구합니다.

가혹한 현실에 직면하는 모더레이터들

〈TikTok〉이나 〈Facebook〉 같은 플랫폼에서는 아동 학대나 폭력 행위를 포함한 유해 콘텐츠가 매일같이 게시됩니다. AI가 먼저 콘텐츠를 스크리닝하지만, 많은 경우 인간 모더레이터가 최종 판단을 내립니다. 이 작업의 영향으로 그들 중 많은 이들이 정신적 트라우마를 겪게 됩니다.

2024-11-social-media-moderators-image-4

Photo by akira

2020년에는 〈Meta〉가 정신적 손상을 입은 모더레이터에게 5,200만 달러의 보상을 했지만, 문제 해결에는 이르지 못했습니다. 일부 전직 모더레이터들은 노동조합을 결성하여 대우 개선을 호소하고 있습니다.

AI 기술의 진화와 그 한계

AI는 인간이 보기 전에 방대한 데이터를 분석하고 유해한 게시물을 필터링하는 기술로 활용되고 있습니다. 그러나 뉘앙스나 문맥의 판단에는 한계가 있어, AI만으로는 적절한 대응이 어려운 경우도 있습니다.

또한, AI의 과도한 필터링으로 인한 표현의 자유 침해나 부적절한 콘텐츠의 누락이 과제로 지적됩니다. 한 전문가는 "AI와 인간 모더레이터의 협력이 필수적"이라고 지적합니다.

모더레이션의 미래와 과제

미래의 모더레이션에는 AI와 인간이 서로의 강점을 보완하는 구조가 요구됩니다. AI가 신속하고 효율적으로 작업을 수행하는 한편, 인간 모더레이터가 문맥이나 감정적 요소를 고려하여 판단을 내립니다. 이 협력을 통해 사용자가 안전하게 이용할 수 있는 온라인 공간의 실현이 기대됩니다.

2024-11-social-media-moderators-image-10

Photo by Liysphoto

또한, 모더레이터의 정신 건강 대책이나 노동 환경 개선도 과제입니다. 궁극적으로는 기술과 인간의 힘을 융합한 새로운 접근이 요구되고 있는지도 모릅니다.