CEP Policy Paper: “The EU Digital Services Act (DSA) – Recommendations For An Effective Regulation Against Terrorist Content Online”

Authors: Alexander Ritzmann (CEP Senior Advisor), Prof. Dr. Hany Farid (University of California, Berkeley, and CEP Senior Advisor), Dr. Hans-Jakob Schindler (CEP Senior Director)

September 2020

Download (PDF)

In March 2020, CEP Germany carried out a sample analysis to test the extent to which YouTube, Facebook and Instagram block “manifestly illegal” terrorist content upon notification. Our findings raise doubts that the currently applied compliance systems of these companies achieve the objectives of making their services safe for users. As a result, CEP proposed requirements for effective and transparent compliance regimes with a focus on automated decision-making tools and lessons learned from the regulation of the financial industry. This Policy Paper combines all the relevant lessons learned and gives concrete recommendations on how to make the DSA also an effective regulation against terrorist content online.

Presentation (Video): Illegal Content online – Recommendations for the EU Digital Services Act (DSA)

The Counter Extremism Project (CEP) held a webinar discussion on the upcoming European regulation of extremist content online in the context of the Digital Services Act 14 July 2020.

In my input give concrete suggestions on how to increase the effectiveness of content moderation systems to tackle illegal extremist content more effectively, including requirements for platforms to provide explainable and comprehensible transparency of their systems.

Relevant lessons learned from the German Network Enforcement Act (NetzDG) were also discussed.

Vortrag (Video): Digitale Gesprächsrunde von CEP & Das NETTZ zum Digital Services Act

Die Europäische Kommission hat das Konsultationsverfahren für den Digital Services Act (DSA) vor kurzem eröffnet. Der DSA soll die europäische Internet-Regulierung revolutionieren und könnte das NetzDG in Frage stellen. Um was genau geht es beim DSA? Was sind die wichtigsten Debatten (Haftung von Plattformen, Content Moderation, Ex-Ante-Regeln gegen Marktmachtmissbrauch, verpflichtende Interoperabilität für dominante Social-Media-Plattformen, etc.)? Wie lange braucht so ein Gesetz im europäischen Prozess? Wie kann sich die Zivilgesellschaft und ihre Positionen im Konsultationsverfahren einbringen?

Alexander Ritzmann, Senior Advisor bei CEP präsentiert Forderungen an Transparenz und Content Moderation bei Sozialen Medien.

Link zum Video

 

Vorträge (Video) zur Weiterentwicklung des Netzwerkdurchsetzungsgesetzes (NetzDG)

1) Die Bundesregierung will Hass und Extremismus im Internet bekämpfen und hat dazu zwei Gesetzesentwürfe zur Veränderung des Netzwerkdurchsetzungsgesetzes (NetzDG) in den Deutschen Bundestag eingebracht. Wäre das aktualisierte Gesetz ein dafür geeignetes Instrument? Wie können Nutzer*innenrechte wirksam gestärkt werden? Wie kann der Einsatz automatisierter Systeme transparent und nachvollziehbar gemacht werden? Um diese und weitere Fragen zu diskutieren, veranstaltete CEP gemeinsam mit Das NETTZ ein Webinar am 22. April 2020. Hanna Gleiß, Projektleitung von Das NETTZ, stellte die dazu von verschiedenen zivilgesellschaftlichen Organisationen gemeinsam verfasste Stellungnahme vor. Alexander Ritzmann, Senior Advisor bei CEP, präsentierte im Anschluss den von CEP durchgeführten „NetzDG Stresstest“ und Empfehlungen zur Weiterentwicklung des NetzDG. Das anschließende Q&A fand unter Chatham House Rule statt und ist daher nicht Teil des Videos. Weitere Informationen: Homepage des CEP-Büros in Berlin: https://www.counterextremism.com/german

Link zum Vortrag  (beginnt nach Minute 12:30)

 

2)  Trotz veröffentlichter „Transparenz-Berichte“ der Sozialen-Medien-Unternehmen ist kaum nachvollziehbar oder überprüfbar, wie Inhalte auf den Online-Plattformen manipuliert werden. Was hat es mit Empfehlungs-Algorithmen und Upload-Filtern bei “politischer Werbung”, “Hassrede” oder “terroristischen Inhalten” auf sich? Was brauchen User*innen, Zivilgesellschaft, Politik und Researcher*innen um wirklich nachvollziehen zu können, wie der Diskurs auf den Online-Plattformen gelenkt wird? Benötigen wir spezifische (gesetzliche) Standards für Transparenz? Wer kann und soll die Online-Plattformen kontrollieren und wie genau kann das umgesetzt werden? Gemeinsam mit Das NETTZ lud CEP am 19. Mai 2020 ein, diese Themen zu diskutieren.

Input von: Alexander Ritzmann, Senior Advisor bei CEP Germany und dort verantwortlich für “Online-Extremismus/Terrorismus”

Link zum Vortrag 

CEP Policy Brief (also in English): „Terroristische Inhalte Online – Grundlagen für nachvollziehbare Transparenz beim Einsatz automatisierter Entscheidungssysteme (ADM-Systeme) auf Social Media-Plattformen“

Autoren: Alexander Ritzmann (CEP Senior Advisor), Prof. Dr. Hany Farid (University of California, Berkeley, und CEP Senior Advisor)

Download (PDF)

ENGLISH VERSION: Download (PDF)

Um die Rechte der Nutzer*innen in Sozialen Medien wirklich schützen zu können, muss zunächst nachvollziehbare Transparenz über die angewandten Moderations- und Filtersysteme gegeben sein. Gemeinsam mit Professor Hany Farid, einem der weltweit führenden Experten im Feld Künstliche Intelligenz/Maschinelles Lernen (University of California, Berkeley) haben wir einige Grundsätze und Fragestellungen entwickelt, die als Vorgaben für die Transparenzberichte des NetzDG 2.0 dienen könnten.

 

NetzDG 2.0 – Recommendations for the amendment of the Network Enforcement Act (NetzDG) and Investigation into the actual blocking and removal processes of YouTube, Facebook and Instagram

Policy Paper, Counter Extremism Project (CEP) Berlin, March 2020,

Autors: Alexander Ritzmann (Senior Advisor), Dr. Hans-Jakob Schindler (Senior Director) und Marco Macori (Research Fellow)

The paper can be downloaded  here.

The Counter Extremism Project (CEP) Berlin conducted a new study between January 31st and February 14th to test big tech’s compliance with Germany’s 2018 NetzDG online content moderation law. The law in its current form requires online platforms to remove “manifestly illegal” content within 24 hours only after it has been reported by users. CEP’s study revealed that YouTube, Facebook, and Instagram removed a mere 43.5 percent of clearly extremist and terrorist content, even after that material was reported for their illegal nature under the NetzDG.

As first reported by Die Welt, the study found that of the 92 “manifestly illegal” instances of online content flagged by CEP, only 43.5 percent were blocked or deleted by the platforms. Of those companies studied, YouTube has been least compliant with the law’s requirements. The company blocked only 35 percent of the 80 videos that were reported and should have been blocked. Facebook and Instagram deleted or blocked all of the flagged content, but Facebook did not remove any content that was explicitly not flagged—even though that content contained the same reported illegal symbols. CEP Berlin’s findings suggest that this “notice and takedown” method for removing illegal content can only be effective if platforms are being searched continuously and systemically for such material.

German lawmakers are currently discussing several amendments to the NetzDG. The study underlines recommendations which CEP Berlin has published in a recent NetzDG policy paper. In particular, it is clear that passive and reactive approaches to removal illegal content are insufficient. Further, the low blocking percentage of reported content shows that more transparency and auditability from tech companies is needed to explain and improve the inadequate compliance rate.

 

„NetzDG 2.0: Empfehlungen zur Weiterentwicklung des Netzwerkdurchsetzungsgesetzes (NetzDG) und Untersuchung zu den tatsächlichen Sperr- und Löschprozessen von YouTube, Facebook und Instagram“

Policy Paper, Counter Extremism Project (CEP) Berlin, 12.03.2020, 

Autoren: Alexander Ritzmann (Senior Advisor), Dr. Hans-Jakob Schindler (Senior Director) und Marco Macori (Research Fellow)

Das Papier kann hier heruntergeladen werden.

In den kommenden Monaten soll des Netzwerkdurchsetzungsgesetz (NetzDG) novelliert werden. Im angehängten CEP Policy Paper werden konkrete Empfehlungen für das neue „NetzDG 2.0“ ausgesprochen, die auch auf einem von CEP durchgeführten Stresstest zur Verfahrenslogik des aktuellen NetzDG beruhen.
Die Ergebnisse des Stresstests weisen darauf hin, dass die dem NetzDG zu Grunde liegende Verfahrenslogik von „notice and take down“ (Sperrung/Löschung nach Beschwerde) unzureichend funktioniert und für die Reduzierung rechtswidriger Inhalte online nicht ausreichend ist. Die Stichprobe lässt zudem Zweifel daran aufkommen, ob die Erfolgsmeldungen der Internet-Unternehmen der Realität entsprechen.
Die Empfehlungen lauten deshalb:
– Mehr Transparenz und Nachvollziehbarkeit von Prozessen und Technologien, die zur Umsetzung von NetzDG-Vorgaben und Community-Richtlinien eingesetzt werden, sind dringend nötig.
– Für eine systematische und kontinuierliche Suche nach offensichtlich illegalen Inhalten sollten beispielsweise Jugenschutz.Net und/oder Akteure der Zivilgesellschaft beauftragt und dementsprechend finanziert werden.
– Automatisierte Bilderkennungs-Algorithmen (z.B. Upload-Filter) für Logos und Symbole verbotener Organisationen sollten (stärker) eingesetzt und reguliert werden.