Since it launched in 2017, C3P’s Project Arachnid has detected 20+ million suspected images of child sexual abuse for analyst review, and issued more than five million removal notices to industry.
Key Findings
- Project Arachnid has detected and verified more than 5.4 million images and has issued removal notices to more than 760 ESPs world-wide.
- The vast majority of CSAM detected by Project Arachnid is not physically hosted on the dark web. However, the dark web does act as the main conduit for directing individuals on where to find it on the clear web.
- Project Arachnid is an effective tool that has achieved a median content removal time of 24 hours. However, alarmingly 10% of actioned media took more than seven weeks (42 days) before becoming inaccessible.
- Overall, images depicting older teenagers (post-pubescent) take significantly longer to remove than images with younger victims (pre-pubescent).
- Nearly half (48%) of all images Project Arachnid has issued a removal notice on, had previously been flagged to the service provider.
- Close to half of all media detections (48%) are linked to a file-hosting service operated by one French telecommunications company — Free.fr.
- The rate at which Project Arachnid detects suspect media far outpaces the human resources available to assess the content. As of the writing of this report, C3P is facing a backlog of more than 32.8 million suspect media that have yet to be assessed.
Recommendations
Rooted in C3P’s extensive experience in issuing removal notice, the following set of recommendations are intended to assist policy makers in developing effective regulatory frameworks to combat CSAM and harmful-abusive content online:
- Enact and impose a duty of care, along with financial penalties for non-compliance or failure to fulfill a required duty of care.
- Impose certain legal/contractual obligations in the terms of service for electronic service providers and their downstream customers.
- Require automated, proactive content detection for platforms with user-generated content.
- Set standards for content that may not be criminal, but remains severely harmful-abusive to minors.
- Mandate human content moderation standards.
- Set requirements for proof of subject or participant consent and uploader verification.
- Establish platform design standards that reduce risk and promote safety.
- Establish standards for user-reporting mechanisms and content removal obligations.
Issues with Current Responses
While there are many ways in which this epidemic is not being addressed appropriately, the framework has identified several key areas of concern:
- A rigid adherence to narrow criminal law definitions. Criminal definitions do not account for the wide range of harmful/abusive images that are available, and are too restrictive when making decisions about image removal. This means a significant proportion of harmful/abusive images remain online.
- The varying levels of commitment to safeguarding children demonstrated by technology companies (e.g., some are swift to remove material once they are notified, and others enter into debates or ignore notices all together).
- Failure to remove all images in an abusive series. Numerous images are created in connection with an abusive series, some of which do not (in isolation) technically meet a criminal law threshold, but are still a part of the continuum of abuse experienced by the child. For example, a series may start with an image of a child being clothed and then the images progress to the child being sexually abused. The clothed image is still a memorialization of the child’s abuse.
- Inconsistent and subjective assessment processes by industry. For some industry members any signs of physical maturity will result in an image not being removed in spite of having received the removal request from a trusted/verified hotline.
- Physical abuse images/videos are often not addressed. The physical abuse is extreme and sometimes includes elements of bondage or even physical torture.
- Arbitrary application of terms of service by industry. Companies interpret and apply these rules without any real avenues for review or appeal by members of the public. Operating independent of any meaningful oversight has inevitably resulted in arbitrary decisions associated with image removal.
Faits saillants
Projet Arachnid a détecté et vérifié plus de 5,4 millions d’images et adressé des demandes de suppression à plus de 760 FSÉ dans le monde.
La grande majorité des images d’abus pédosexuels détectées par Projet Arachnid ne sont pas physiquement hébergées sur le Web clandestin. En revanche, le Web clandestin sert tout de même de véhicule principal pour diriger les internautes vers des endroits où trouver de telles images sur le Web visible.
Projet Arachnid fait la preuve de son efficacité avec un délai de suppression médian de 24 heures. Il est toutefois troublant de constater que 10 % des images signalées sont restées en ligne plus de sept semaines (42 jours) avant de devenir inaccessibles.
Dans l’ensemble, les images d’adolescents plus âgés (à l’état post-pubère) mettent beaucoup plus de temps à être supprimées que les images de victimes plus jeunes (à l’état prépubère).
Près de la moitié (48 %) des images pour lesquelles Projet Arachnid a envoyé une demande de suppression avaient déjà été signalées au fournisseur de services.
Près de la moitié (48 %) des images détectées sont liées à un service d’hébergement de fichiers exploité par un opérateur de télécommunications français — Free.fr.
Le rythme auquel Projet Arachnid détecte les images suspectes dépasse de loin les ressources humaines disponibles pour les examiner. Au moment de la rédaction du présent rapport, le CCPE accuse un arriéré de plus de 32,8 millions d’images suspectes à examiner.
Recommandations
Sur la base des millions de demandes de suppression qu’il a envoyées, le CCPE formule les recommandations suivantes dans le but d’aider les décideurs politiques à élaborer des cadres réglementaires efficaces pour lutter contre les images d’abus pédosexuels et les images préjudiciables ou violentes sur Internet :
Instaurer et imposer un devoir de diligence assorti de sanctions financières en cas de manquement.
Imposer certaines obligations légales aux fournisseurs de services électroniques en amont et à leurs clients en aval.
Obliger les plateformes qui hébergent des contenus générés par les utilisateurs à utiliser des outils automatisés de détection proactive des images.
Établir des normes quant aux contenus qui, sans nécessairement être illégaux, restent préjudiciables ou violents à l’égard de personnes mineures.
Imposer des normes de modération humaine.
Fixer des exigences pour la vérification du consentement des sujets et de l’identité des utilisateurs.
Établir, au niveau de la conception même des plateformes, des normes destinées à réduire les risques et à promouvoir la sécurité.
Établir des normes quant aux mécanismes de signalement d’utilisateurs et des obligations de suppression d’images.
L’inadéquation des approches actuelles
Les moyens déployés pour combattre cette épidémie sont à bien des égards inadéquats et notre cadre soulève plusieurs grandes préoccupations :
- L’industrie s’en tient strictement aux définitions étroites du droit pénal. Les définitions pénales ne tiennent pas compte du vaste éventail d’images préjudiciables ou violentes en circulation et s’avèrent trop strictes pour servir de base à des décisions sur la suppression des images. Par conséquent, une grande proportion d’images préjudiciables ou violentes restent en ligne.
- La variabilité du niveau d’engagement manifesté par les entreprises de technologie à l’égard de la protection des enfants (certaines donnent suite rapidement aux demandes de retrait tandis que d’autres les contestent ou les ignorent carrément).
- L’industrie omet de supprimer toutes les images d’une série consacrée à un abus. Beaucoup d’images sont produites dans le contexte d’un abus, et bien que certaines (prises isolément) ne répondent pas en principe à une définition pénale, elles s’insèrent quand même dans le continuum de l’abus subi par l’enfant. Par exemple, une série peut s’ouvrir sur l’image d’un enfant vêtu et en venir à montrer des scènes d’abus sexuel contre cet enfant. L’image de l’enfant vêtu n’en reste pas moins un rappel de l’abus qu’il a subi.
- L’industrie manque de cohérence et d’objectivité dans ses analyses. Pour certains membres de l’industrie, tout signe de maturité physique exclura la suppression de l’image même si elle fait l’objet d’une demande de suppression venant d’une centrale de signalement fiable et vérifiée.
- Les photos et les vidéos de violence physique sont souvent ignorées. Il y a parfois des scènes de violence physique extrême (ligotage, torture physique).
- Les conditions d’utilisation de l’industrie sont appliquées de façon arbitraire. Les entreprises interprètent et appliquent ces règles sans aucune véritable possibilité de révision ou d’appel par les membres du public. N’étant pas soumises à surveillance adéquate, les entreprises prennent inévitablement des décisions arbitraires en ce qui a trait à la suppression d’images.