Since it launched in 2017, C3P’s Project Arachnid has detected 20+ million suspected images of child sexual abuse for analyst review, and issued more than five million removal notices to industry.

Key Findings

  • Project Arach­nid has detect­ed and ver­i­fied more than 5.4 mil­lion images and has issued removal notices to more than 760 ESPs world-wide.
  • The vast major­i­ty of CSAM detect­ed by Project Arach­nid is not phys­i­cal­ly host­ed on the dark web. How­ev­er, the dark web does act as the main con­duit for direct­ing indi­vid­u­als on where to find it on the clear web.
  • Project Arach­nid is an effec­tive tool that has achieved a medi­an con­tent removal time of 24 hours. How­ev­er, alarm­ing­ly 10% of actioned media took more than sev­en weeks (42 days) before becom­ing inaccessible.
  • Over­all, images depict­ing old­er teenagers (post-pubes­cent) take sig­nif­i­cant­ly longer to remove than images with younger vic­tims (pre-pubes­cent).
  • Near­ly half (48%) of all images Project Arach­nid has issued a removal notice on, had pre­vi­ous­ly been flagged to the ser­vice provider.
  • Close to half of all media detec­tions (48%) are linked to a file-host­ing ser­vice oper­at­ed by one French telecom­mu­ni­ca­tions com­pa­ny — Free.fr.
  • The rate at which Project Arach­nid detects sus­pect media far out­paces the human resources avail­able to assess the con­tent. As of the writ­ing of this report, C3P is fac­ing a back­log of more than 32.8 mil­lion sus­pect media that have yet to be assessed.

Recommendations

Root­ed in C3P’s exten­sive expe­ri­ence in issu­ing removal notice, the fol­low­ing set of rec­om­men­da­tions are intend­ed to assist pol­i­cy mak­ers in devel­op­ing effec­tive reg­u­la­to­ry frame­works to com­bat CSAM and harm­ful-abu­sive con­tent online:

  1. Enact and impose a duty of care, along with finan­cial penal­ties for non-com­pli­ance or fail­ure to ful­fill a required duty of care.
  2. Impose cer­tain legal/contractual oblig­a­tions in the terms of ser­vice for elec­tron­ic ser­vice providers and their down­stream customers.
  3. Require auto­mat­ed, proac­tive con­tent detec­tion for plat­forms with user-gen­er­at­ed content.
  4. Set stan­dards for con­tent that may not be crim­i­nal, but remains severe­ly harm­ful-abu­sive to minors.
  5. Man­date human con­tent mod­er­a­tion standards.
  6. Set require­ments for proof of sub­ject or par­tic­i­pant con­sent and uploader verification.
  7. Estab­lish plat­form design stan­dards that reduce risk and pro­mote safety.
  8. Estab­lish stan­dards for user-report­ing mech­a­nisms and con­tent removal obligations.

Issues with Current Responses

While there are many ways in which this epi­dem­ic is not being addressed appro­pri­ate­ly, the frame­work has iden­ti­fied sev­er­al key areas of concern:

  • A rigid adher­ence to nar­row crim­i­nal law def­i­n­i­tions. Crim­i­nal def­i­n­i­tions do not account for the wide range of harmful/abusive images that are avail­able, and are too restric­tive when mak­ing deci­sions about image removal. This means a sig­nif­i­cant pro­por­tion of harmful/abusive images remain online.
  • The vary­ing lev­els of com­mit­ment to safe­guard­ing chil­dren demon­strat­ed by tech­nol­o­gy com­pa­nies (e.g., some are swift to remove mate­r­i­al once they are noti­fied, and oth­ers enter into debates or ignore notices all together).
  • Fail­ure to remove all images in an abu­sive series. Numer­ous images are cre­at­ed in con­nec­tion with an abu­sive series, some of which do not (in iso­la­tion) tech­ni­cal­ly meet a crim­i­nal law thresh­old, but are still a part of the con­tin­u­um of abuse expe­ri­enced by the child. For exam­ple, a series may start with an image of a child being clothed and then the images progress to the child being sex­u­al­ly abused. The clothed image is still a memo­ri­al­iza­tion of the child’s abuse.
  • Incon­sis­tent and sub­jec­tive assess­ment process­es by indus­try. For some indus­try mem­bers any signs of phys­i­cal matu­ri­ty will result in an image not being removed in spite of hav­ing received the removal request from a trusted/verified hotline.
  • Phys­i­cal abuse images/videos are often not addressed. The phys­i­cal abuse is extreme and some­times includes ele­ments of bondage or even phys­i­cal torture.
  • Arbi­trary appli­ca­tion of terms of ser­vice by indus­try. Com­pa­nies inter­pret and apply these rules with­out any real avenues for review or appeal by mem­bers of the pub­lic. Oper­at­ing inde­pen­dent of any mean­ing­ful over­sight has inevitably result­ed in arbi­trary deci­sions asso­ci­at­ed with image removal.
 

 

Faits saillants

Pro­jet Arach­nid a détec­té et véri­fié plus de 5,4 mil­lions d’images et adressé des deman­des de sup­pres­sion à plus de 760 FSÉ dans le monde.
La grande majorité des images d’abus pédo­sex­uels détec­tées par Pro­jet Arach­nid ne sont pas physique­ment hébergées sur le Web clan­des­tin. En revanche, le Web clan­des­tin sert tout de même de véhicule prin­ci­pal pour diriger les inter­nautes vers des endroits où trou­ver de telles images sur le Web vis­i­ble.
Pro­jet Arach­nid fait la preuve de son effi­cac­ité avec un délai de sup­pres­sion médi­an de 24 heures. Il est toute­fois trou­blant de con­stater que 10 % des images sig­nalées sont restées en ligne plus de sept semaines (42 jours) avant de devenir inac­ces­si­bles.
Dans l’ensemble, les images d’adolescents plus âgés (à l’état post-pub­ère) met­tent beau­coup plus de temps à être sup­primées que les images de vic­times plus jeunes (à l’état prépub­ère).
Près de la moitié (48 %) des images pour lesquelles Pro­jet Arach­nid a envoyé une demande de sup­pres­sion avaient déjà été sig­nalées au four­nisseur de ser­vices.
Près de la moitié (48 %) des images détec­tées sont liées à un ser­vice d’hébergement de fichiers exploité par un opéra­teur de télé­com­mu­ni­ca­tions français — Free.fr.
Le rythme auquel Pro­jet Arach­nid détecte les images sus­pectes dépasse de loin les ressources humaines disponibles pour les exam­in­er. Au moment de la rédac­tion du présent rap­port, le CCPE accuse un arriéré de plus de 32,8 mil­lions d’images sus­pectes à examiner.

Recommandations

Sur la base des mil­lions de deman­des de sup­pres­sion qu’il a envoyées, le CCPE for­mule les recom­man­da­tions suiv­antes dans le but d’aider les décideurs poli­tiques à éla­bor­er des cadres régle­men­taires effi­caces pour lut­ter con­tre les images d’abus pédo­sex­uels et les images préju­di­cia­bles ou vio­lentes sur Internet :

Instau­r­er et impos­er un devoir de dili­gence assor­ti de sanc­tions finan­cières en cas de man­que­ment.
Impos­er cer­taines oblig­a­tions légales aux four­nisseurs de ser­vices élec­tron­iques en amont et à leurs clients en aval.
Oblig­er les plate­formes qui héber­gent des con­tenus générés par les util­isa­teurs à utilis­er des out­ils automa­tisés de détec­tion proac­tive des images.
Établir des normes quant aux con­tenus qui, sans néces­saire­ment être illé­gaux, restent préju­di­cia­bles ou vio­lents à l’égard de per­son­nes mineures.
Impos­er des normes de mod­éra­tion humaine.
Fix­er des exi­gences pour la véri­fi­ca­tion du con­sen­te­ment des sujets et de l’identité des util­isa­teurs.
Établir, au niveau de la con­cep­tion même des plate­formes, des normes des­tinées à réduire les risques et à pro­mou­voir la sécu­rité.
Établir des normes quant aux mécan­ismes de sig­nale­ment d’u­til­isa­teurs et des oblig­a­tions de sup­pres­sion d’images.

 

L’inadéquation des approches actuelles

Les moyens déployés pour com­bat­tre cette épidémie sont à bien des égards inadéquats et notre cadre soulève plusieurs grandes préoccupations :

  • L’industrie s’en tient stricte­ment aux déf­i­ni­tions étroites du droit pénal. Les déf­i­ni­tions pénales ne tien­nent pas compte du vaste éven­tail d’images préju­di­cia­bles ou vio­lentes en cir­cu­la­tion et s’avèrent trop strictes pour servir de base à des déci­sions sur la sup­pres­sion des images. Par con­séquent, une grande pro­por­tion d’images préju­di­cia­bles ou vio­lentes restent en ligne.
  • La vari­abil­ité du niveau d’engagement man­i­festé par les entre­pris­es de tech­nolo­gie à l’égard de la pro­tec­tion des enfants (cer­taines don­nent suite rapi­de­ment aux deman­des de retrait tan­dis que d’autres les con­tes­tent ou les ignorent carrément).
  • L’industrie omet de sup­primer toutes les images d’une série con­sacrée à un abus. Beau­coup d’images sont pro­duites dans le con­texte d’un abus, et bien que cer­taines (pris­es isolé­ment) ne répon­dent pas en principe à une déf­i­ni­tion pénale, elles s’insèrent quand même dans le con­tin­u­um de l’abus subi par l’enfant. Par exem­ple, une série peut s’ouvrir sur l’image d’un enfant vêtu et en venir à mon­tr­er des scènes d’abus sex­uel con­tre cet enfant. L’image de l’enfant vêtu n’en reste pas moins un rap­pel de l’abus qu’il a subi.
  • L’industrie manque de cohérence et d’objectivité dans ses analy­ses. Pour cer­tains mem­bres de l’industrie, tout signe de matu­rité physique exclu­ra la sup­pres­sion de l’image même si elle fait l’objet d’une demande de sup­pres­sion venant d’une cen­trale de sig­nale­ment fiable et vérifiée.
  • Les pho­tos et les vidéos de vio­lence physique sont sou­vent ignorées. Il y a par­fois des scènes de vio­lence physique extrême (lig­o­tage, tor­ture physique).
  • Les con­di­tions d’utilisation de l’industrie sont appliquées de façon arbi­traire. Les entre­pris­es inter­prè­tent et appliquent ces règles sans aucune véri­ta­ble pos­si­bil­ité de révi­sion ou d’appel par les mem­bres du pub­lic. N’étant pas soumis­es à sur­veil­lance adéquate, les entre­pris­es pren­nent inévitable­ment des déci­sions arbi­traires en ce qui a trait à la sup­pres­sion d’images.