Published March 8, 2025 | Version v1
Dataset Open

Evaluation of automated media content manipulation detection tools

Authors/Creators

  • 1. Kharkiv National University of Internal Affairs/ Харьковский национальный университет внутренних дел / Харківський національний університет внутрішніх справ
  • 2. ROR icon Kharkiv National University of Internal Affairs
  • 3. Харківський національний університет внутрішніх справ

Description

Tools for automated detection of media content manipulation
Objective: To evaluate the effectiveness of tools that use AI algorithms to determine whether an image has been created or edited with the help of AI.
Input:
1.    15 original unedited photo images (https://tinyurl.com/3y2pp67s) - Exist;
2.    15 images created by artificial intelligence (https://tinyurl.com/27z9dnc9) - Generated by AI.
Steps.
1.    Select an image from the dataset.
2.    Use a tool for automated detection of manipulation of media content.
3.    Fixing the result of the tool evaluation.
Expected results. The tools should give the correct classification of the image according to its type ("existing", "generated by AI").
Results. The evaluation results of each tool are summarised in a table.

Methods (Ukrainian)

Засоби автоматизованого виявлення маніпуляцій з медіа-контентом
Мета: оцінити ефективність інструментів, які за допомогою алгоритмів ШІ визначають чи було створено або редаговано зображення за допомогою ШІ.
Вхід: 
1.    15 оригінальних нередагованих фотозображень (https://tinyurl.com/3y2pp67s)  - Exist;
2.    15 зображень, які створені штучним інтелектом (https://tinyurl.com/27z9dnc9) – Generated by AI.
Кроки.
1.    Вибір зображення з набору даних.
2.    Використання інструменту автоматизованого виявлення маніпуляцій з медіа-контентом.
3.    Фіксація результату оцінки інструменту.
Очікувані результати. Інструменти повинні дати правильну класифікацію зображення відповідно до його типу («існує», «згенеровано ШІ»).
Результати. Результати оцінювання кожного інструменту зводяться у таблицю.

Files

Files (19.5 kB)