Государственные программы анализа медиаматериалов Агентства перспективных исследований в области обороны США (DARPA)

Государственные программы анализа медиаматериалов

Агентства перспективных исследований в области обороны США (DARPA)

С целью предотвращения размещения ложной информации и распознавания дипфейков DARPA реализует программы по выявлению возможностей сопоставления физических, речевых, текстовых, эмоциональных данных, технических характеристик оборудования и элементов аудио и видеоинформации. Рассмотрено семь основных программ в области обработки информации.

Программа MediFor (Media Forensics) направлена на разработку инструментов распознавания дипфейков на основе:

сопоставления физических данных в изображениях. Например, по данным о количестве морганий за единицу времени или выравниванию лица в системе координат по лицевым ориентирам (скулы, кончик носа и др.) можно определить сгенерированное изображение;

соответствия пикселей в изображениях. Для этого проводится анализ монолитности всего видеофайла для выявления элементов постобработки видео;

облегчения нейронных сетей. Это способствует сокращению образцов обучения;

моделирования зависимостей между областями изображения, то есть, мелкие детали изображения скоординированы со всеми мелкими деталями в различных частях изображения;

анализа структуры помех светочувствительных датчиков цифровых камер из-за заводских дефектов. Подмена изображений изменяет помехи и помогает выявить сгенерированное изображение;

умышленного искажения входного образца изображения, которое улучшает обучение нейронной сети;

соответствия эмоциональности речи, движений и мимики.

Программа SemaFor (Semantic Forensics) предлагает варианты экспертизы содержания аудио и видео материалов для защиты от дезинформационных атак в режиме реального времени.

Исследования в рамках программы SemaFor направлены на моделирование выражения лица и движений. В сгенерированных изображениях синхронизация движений лица, головы и верхней части туловища нарушена. Эти исследования позволят создать биометрические модели известных личностей и выявлять фальшивые материалы с их участием.

Кроме этого, проведены исследования по сохранению формы объекта, границ и краев изображений и снижению помех (сдвиги в освещении, разрешение сенсора, изменение спектра), которые влияют на распознавание фальшивых изображений.

Программа AIDA (Active Interpretation of Disparate Alternatives)

Программа направлена на разработку семантического механизма, который генерирует альтернативные интерпретации событий, ситуаций и тенденций из множества неструктурированных источников и формирует гипотезы по заданным сценариям. Например, для события «Исчезновение Д. Хашогги» оператор задает гипотезу-сценарий «Д. Хашогги был убит» и программа подбирает под этот сценарий все сообщения, отвечающие гипотезе, такие как «Д. Хашогги не выходил из консульства и там умер» и др. Это позволяет найти альтернативные варианты развития событий.

Программа предполагает следующие элементы анализа:

сценарный анализ текста на основе сопоставления информации о событиях. В основе сценариев лежит семантический, морфологический и синтаксический анализ;

лингвистический анализ эмоциональных состояний, включая анализ текста, речи и визуальных сигналов, и дополнительные входные данные в виде информации о говорящем и контекст;

анализ структурированной и неструктурированной информации главных гипотез о событиях, ситуациях и тенденциях в различных областях.

Иные программы DARPA в области обработки информации

Программа LORELEI (Low Resource Languages for Emergent Incidents) направлена на разработку алгоритма анализа грамматики малых языков и мониторинга событий и ситуаций на территориях с редкими языками.

Программа BOLT (Broad Operational Language Translation) осуществляет перевод неформального текста и речи в личном и онлайн общении на операционный язык. Это позволяет понимать собеседников и различать общественные настроения на любом языке.

Программа DEFT (Deep Exploration and Filtering of Text) осуществляет автоматизированную глубокую обработку естественного языка для анализа текстовой информации, обеспечения понимания связей в тексте, которые не очевидны для человека, и выявления смысловых аномалий.

Программа SOCIALSIM (Computational Simulation of Online Social Behavior) позволяет моделировать эволюционное развитие информационной среды на основе информации из открытых источников. Это позволяет анализировать поведение потенциальных противников и предотвращать дезинформационные кампании.

Информация по финансированию программ в области обработки информации в открытых источниках недоступна.

Бюджет Агентства DARPA за 2020 финансовый год составил 3,5 млрд долл. США. Из них на фундаментальные исследования 486,4 млн, на прикладные исследования 1 млрд 469 млн, на развитие передовых технологий 1 млрд 519 млн, на операционную деятельность 82 млн.

На деятельность Информационного бюро инноваций (подразделение, которое курирует разработки в области обработки информации) в 2020 г. было выделено 442,5 млн долл. США (около 32 млрд руб.), что на 63,5 млн больше, чем в 2018 году.

К реализации проектов привлекаются научные коллективы Техасского Университета в Остине, Общественного Исследовательского Университета Пердье (Индиана), Университета Дж. Хопкинса, Университета в Олбани, Университета Мэриленда, Института науки и техники Кванджу и др.

Подробное исследование размещено на rdc.grfc.ru