Meta, proprietarul Instagram, spune că nu permite conținut care promovează sinuciderea sau automutilarea pe platformele sale și folosește tehnologie pentru a se asigura că algoritmul nu îl recomandă.
TikTok, care este deținut de compania chineză ByteDance, afirmă că nu permite conținut care prezintă sau promovează sinuciderea sau automutilarea, iar dacă se constată că cineva este în pericol, cei care analizează conținutul pot alerta forțele de ordine locale.
Platformele de socializare sunt o formă de divertisment asemănătoare televiziunii în direct, în timp ce aplicații precum Discord devind din ce în ce mai populare în rândul adolescenților.
Dar creșterea a ridicat dileme cunoscute cu privire la modul în care se pot lua măsuri drastice împotriva conținutului nedorit, fără a interfera cu marea majoritate a conținutului inofensiv sau fără a încălca dreptul la confidențialitate al utilizatorilor.
La sfârșitul lunii noiembrie, TikTok a ridicat de la 16 la 18 ani cerința privind vârsta minimă pentru livestreaming, dar în mai puțin de 30 de minute Financial Times a reușit să vizioneze mai multe livestreaming-uri în care erau implicate fete care păreau să aibă sub 18 ani.
Compania a analizat capturi de ecran ale transmisiunilor și a declarat că nu există suficiente dovezi care să arate că deținătorii de conturi erau minori.
Tehnologia de estimare a vârstei, care funcționează prin scanarea fețelor, poate oferi un nivel suplimentar de verificare, însă unele companii de socializare spun că nu este încă suficient de fiabilă.
Transmisiunile live creează conținut nou care se schimbă în mod constant, ceea ce înseamnă că procesul de moderare trebuie să fie capabil să analizeze conținutul video și audio care se dezvoltă rapid la scară largă, cu un număr potențial de milioane de persoane care urmăresc și răspund în timp real.
Controlarea acestor materiale se bazează încă în mare măsură pe intervenția umană – fie de către alți utilizatori care le vizualizează, fie de către moderatorii angajați de platforme sau de către agențiile de aplicare a legii.Sunt necesari moderator umani pentru a se asigura că niciun flux life nu este interzis în mod greșit.
Aici poate interveni inteligența artificială, antrenată pentru a analiza întegul context, de la textul de pe ecran până la locația livestreamer-ului și depistarea celor mai sophisticate deepfake-uri.
TikTok folosește o combinație de tehnologie și moderare umană pentru transmisiunile în direct și susține că are peste 40.000 de persoane însărcinate cu menținerea platformei în siguranță.
Departamentul de Securitate Internă al SUA, care a primit anul trecut peste 6.000 de rapoarte privind exploatarea sexuală a copiilor pe internet, investighează, de asemenea, abuzuri în transmisiuni în direct, în principal prin intermediul unor agenți sub acoperire care sunt anunțați atunci când o transmisiune este pe cale să aibă loc.
În 2021, guvernul britanic a alocat 555.000 de lire sterline pentru Safety Tech Challenge Fund, care acordă bani pentru proiecte tehnologice care explorează noi modalități de a opri răspândirea materialelor de abuz asupra copiilor în comunicațiile online criptate.
Dar tehnologia disponibilă nu este perfectă și, adesea, trebuie aplicate simultan mai multe forme diferite de moderare, ceea ce poate consuma cantități mari de energie în materie de putere de calcul și poate avea costuri semnificative.
Acest lucru a dus la o avalanșă de start-up-uri tehnologice care au intrat în domeniul moderării, antrenând programe de inteligență artificială pentru a detecta materialele dăunătoare în timpul transmisiunilor în direct.