
Ribbit - веб-приложение для автоматической идентификации и классификации видов ануранов

Ribbit - это веб-приложение для гражданской науки, которое использует машинное обучение с передачей нескольких снимков для записи, идентификации и классификации звонков лягушек и жаб, предоставляя данные на основе краудсорсинга в Глобальный информационный фонд биоразнообразия(GBIF) для устранения пробелов в данных, особенно на Глобальном Юге. Приложения для идентификации обладают значительным потенциалом для автоматического мониторинга биоразнообразия in situ (Global Partnership on Artificial Intelligence, 2022; Tuia et al., 2022; Nieto-Mora et al., 2023). Наше приложение посвящено ануранам, поскольку они являются важнейшими индикаторами экосистем(Estes-Zumpf et al., 2022), более 40 % видов которых находятся под угрозой исчезновения, а их уникальные вокализации идеально подходят для акустической идентификации. Бета-тестирование показало, что приложение обладает потенциалом для предоставления данных в GBIF, а также дает возможность "гражданским" ученым участвовать в экологическом мониторинге. Создавая платформу с открытым доступом для маркировки данных о биоразнообразии, Ribbit позволяет природоохранным организациям разрабатывать стратегии защиты уязвимых популяций и сохранения важнейших экосистем.
Премия Tech4Nature
Наш проект стартовал в августе 2024 года. Мы использовали два маркированных набора аудиоданных из iNaturalist sounds и Anuraset для обучения модели машинного обучения для классификации ануранов (лягушек и жаб) на основе аудиозаписей видового зова. Оба набора данных содержали аномально распределенные данные, а именно уменьшенное количество экземпляров редких или находящихся под угрозой исчезновения ануранов. Чтобы учесть эту аномалию и обеспечить модель достаточным количеством данных для правильной идентификации редких и находящихся под угрозой исчезновения видов, что крайне важно для достижения цели 4 GBF, мы дополнили данные iNaturalist неануральными звонками, такими как звонки летучих мышей или сверчков, которые отличались по частоте от звонков ануранов. На новом расширенном наборе данных мы применили трансферное обучение с несколькими выстрелами(Ghani et al. (2023)). В частности, мы использовали модель Birdnet (предварительно обученную модель EfficientNet B1) для создания вкраплений для видов ануранов и точной настройки модели с помощью линейного зондирования наших данных. Наша модель идентифицировала 71 вид ануранов, включая уязвимые виды, такие как австралийская южная лягушка-колокольчик, Ranoidea raniformis, с точностью 91 % в топ-5 наиболее вероятных видов и 72 % в топ-1 наиболее вероятных видов, что сравнимо с показателями Ghani et al. Наше веб-приложение Ribbit было запущено в декабре 2024 года с использованием этой модели, показавшей наилучшие результаты, и отзывы пользователей были в основном положительными, поскольку тесты показали, что чаще всего регистрируемые виды попадали в топ-1. Наш проект уникален тем, что это первое приложение для гражданской науки, ориентированное на ануранов и использующее искусственный интеллект для идентификации лягушек.
Школа информации Калифорнийского университета в Беркли
Контекст
Решаемые задачи
Ribbit решает важнейшие экологические, социальные и экономические проблемы в области мониторинга биоразнообразия. С экологической точки зрения приложение устраняет пробелы в сборе данных (цель 14 GBF), особенно на глобальном юге. Поскольку более 40 % видов ануранов находятся под угрозой исчезновения(Estes-Zumpf et al., 2022), традиционные методы мониторинга не позволяют зафиксировать комплексное состояние экосистем и изменения биоразнообразия.
В социальном плане Ribbit демократизирует научные исследования, предоставляя доступные инструменты экологического мониторинга для гражданских ученых. Расширяя возможности гражданских ученых, приложение разрушает барьеры между профессиональными исследованиями и вовлечением сообщества, создавая значимые возможности для участия отдельных людей в исследованиях биоразнообразия.
С экономической точки зрения оно предлагает экономически эффективную альтернативу ресурсоемким традиционным методам мониторинга. Ribbit использует краудсорсинговый сбор данных и передовое машинное обучение, снижая затраты на исследования и расширяя возможности сбора данных для исследователей и природоохранных организаций.
Расположение
Процесс
Краткое описание процесса
Поскольку основной нашей задачей является смягчение последствий утраты биоразнообразия, остальные компоненты стратегически поддерживают эти усилия. Подход "гражданской науки" напрямую решает проблемы биоразнообразия, создавая комплексный механизм сбора данных, который заполняет критические пробелы в знаниях. Благодаря инновационным технологиям проект превращает индивидуальный вклад в мощный научный ресурс для экологического мониторинга.
Гражданская наука и вовлеченность сообщества способствуют сбору данных, объединяя местных участников с глобальными усилиями по сохранению природы. Ribbit, как инструмент образования, позволяет гражданам превратиться из пассивных наблюдателей в активных хранителей окружающей среды. Демократизация данных, собранных в приложении, служит критической инфраструктурой, усиливающей воздействие проекта. Сделав научные исследования доступными и основанными на широком участии, это решение разрушает традиционные барьеры между профессиональными исследователями и членами сообщества. Благодаря открытому доступу собранные данные могут быть использованы природоохранными организациями, исследователями и политиками, создавая прямой путь от наблюдений граждан к значимым природоохранным действиям.
Строительные блоки
Демократизация данных
Подход Ribbit к демократизации данных представляет собой тщательно контролируемый процесс научного вклада граждан. Используя существующие публичные наборы данных из iNaturalist sounds и Anuraset, приложение создает надежную основу для акустического мониторинга биоразнообразия. Эти исходные наборы данных обеспечивают всестороннюю базу для обучения машинному обучению, гарантируя высокое качество исходных моделей для идентификации ануранов.
Инновационная стратегия сбора данных в приложении не ограничивается сбором информации, а реализует строгий процесс контроля качества данных, предоставляемых пользователями. Каждая запись, предоставленная пользователем, проходит тщательную проверку перед тем, как попасть в Глобальный информационный фонд биоразнообразия (GBIF). Такой подход превращает пассивный сбор данных в активный, совместный научный процесс, в котором граждане могут внести значимый вклад в природоохранные исследования, решая задачу 14 ГБФ "Интеграция биоразнообразия в процесс принятия решений на всех уровнях".
Очень важно, что Ribbit придерживается строгих протоколов конфиденциальности и защиты данных. Признавая деликатный характер экологических данных, особенно касающихся редких видов и точной информации о местонахождении, в приложении реализованы механизмы строгого согласия пользователей. Ни одна пользовательская информация не будет передана или распространена без явного, осознанного согласия автора, что обеспечивает защиту как экологических объектов, так и частной жизни гражданских ученых.
Благоприятные факторы
- Доступные технологии: веб-приложение работает на настольных и мобильных устройствах, и пользователи могут загружать свои данные при отсутствии Интернета.
- Надежные механизмы контроля качества: расширенная оценка научного качества записей.
- Этическое управление данными: приоритет конфиденциальности пользователей и экологической чувствительности.
- Периодическое переобучение модели: модель обновляется каждые шесть месяцев, при этом обучение проводится на новых видах, которые включаются в приложение и проверяются аннотаторами.
Извлеченный урок
Начиная этот проект, мы знали о нехватке данных о биоразнообразии ануранов на глобальном юге. Однако мы были удивлены тем, что по мере того, как мы пытались повысить доступность нашего приложения и добавить качественные данные, возникли пробелы в языковом представлении. В настоящее время наш проект доступен на четырех языках (английском, испанском, португальском, арабском), что повышает его доступность. Мы воспользовались API Википедии, чтобы получить общую информацию о наших видах на этих четырех языках, и заметили, что если на английском и арабском языках данных было много, то на испанском и португальском информация была скудной и еще более скудной. Поэтому мы предполагаем, что будущая задача будет заключаться в привлечении различных ученых, например испано- и португалоговорящих, чтобы сократить "пробел в данных Википедии". Устранение этого пробела станет важнейшим шагом в дальнейшей демократизации и повышении доступности нашего решения.
Ресурсы
Гражданская наука и вовлечение сообществ
Было доказано, что приложения для "гражданской науки" помогают в мониторинге биоразнообразия и одновременно привлекают любителей природы(Callaghan et al., 2019). Например, приложение FrogID, разработанное Австралийским музеем, позволяет пользователям записывать голоса лягушек, идентичность которых проверяется людьми. На сегодняшний день в FrogID опубликованы работы, связанные с мониторингом инвазивных видов(Rowley and Callaghan, 2023), информационным обеспечением оценок красных списков МСОП(Gallagher et al., 2024), оценкой воздействия пожаров (Mitchell et. al., 2023), пониманием последствий урбанизации(Callaghan et al., 2020) и изучением поведения лягушачьих призывов(Liu et al., 2022). Наша цель - добиться таких же результатов с помощью Ribbit, с видами ануранов по всему миру и в более короткие сроки. На сегодняшний день команда FrogID накопила более 18 000 звонков, которые можно значительно сократить с помощью нашего приложения, так как время обработки значительно сокращается благодаря применению алгоритмов машинного обучения.
В ходе первого раунда бета-тестирования нашего приложения 50 пользователей предоставили записи для идентификации. Отзывы были положительными: эксперты отметили, что записанный ими вид совпал с видом, предсказанным Ribbit, а любителям природы понравилась функция "Лягушка дня", которая знакомит их с новым видом ануранов или позволяет заново познакомиться со знакомыми ануранами по названию и наиболее распространенной вокализации вида (цель GBF 11).
Благоприятные факторы
- Простота использования: проанализировав отзывы пользователей, мы провели итерации, чтобы улучшить пользовательский опыт и доступность.
- Знакомство с известными приложениями для гражданской экологии: используя FrogID, Merlin, eBird и iNaturalist в качестве эталонов, мы имитировали ключевые функции приложений для быстрого освоения новыми пользователями.
- Для тех пользователей, которые никогда не имели опыта работы с приложениями для гражданской науки, мы постарались сделать приложение как можно более удобным. Кроме того, наш раздел FAQ содержит советы о том, "как стать лягушкой", в том числе о том, где и когда можно встретить исчезающие виды.
Извлеченный урок
- Трудно найти баланс между разными типами пользователей. В то время как ученые выступали за использование научных названий, любители природы не привязывались к ним и предпочитали общепринятые названия. Однако получить общие названия для всех наших видов на всех четырех языках оказалось непросто. Это еще одна возможность для развития: краудсорсинг общих названий по всему миру.
В будущем мы также хотим создать больше визуального контента, чтобы помочь пользователям, которые хотят использовать приложение, но не знают, как это сделать; этот контент включает в себя информацию о том, что нужно включить в раздел дополнительных наблюдений в приложении, как проверить, является ли лягушка, предложенная приложением, той, которую видит пользователь, и т. д.
Ресурсы
Смягчение потерь биоразнообразия
Сохранение экосистем - это ключ к сдерживанию изменения климата и поддержанию экосистемных услуг (цель 11 ГБФ), которые тесно связаны с более чем 50% мирового ВВП. В этом столетии более 1 миллиона видов находятся под угрозой исчезновения, однако выбор территорий для их сохранения затруднен существующим дефицитом данных, которые ориентированы на наблюдения в северных регионах мира. Увеличение объема данных о биоразнообразии в странах Юга мира имеет решающее значение для сохранения исчезающих видов, которые встречаются с высокой плотностью в горячих точках биоразнообразия в странах Юга мира. Амфибии идеально подходят для акустической идентификации благодаря их разнообразным вокализам и являются важнейшими индикаторами экосистем(Estes-Zumpf et al., 2022), при этом более 40 % видов находятся под угрозой исчезновения(Cañas et al., 2023). Увеличение количества данных о более чем 7 000 видах амфибий по всему миру позволит укрепить усилия по сохранению и сократить пробелы в знаниях об уязвимых экосистемах. Используя платформу "гражданской науки" для смягчения последствий утраты биоразнообразия, мы поможем установить на местах ответственное отношение к этим важнейшим средам обитания (цель 20 ГБФ).
Другие гражданские приложения продемонстрировали потенциал гражданской науки в деле смягчения последствий утраты биоразнообразия. eBird, крупнейший проект гражданской науки, связанный с биоразнообразием, насчитывает 100 миллионов наблюдений за птицами от пользователей со всего мира. Эти наблюдения помогают "документировать распределение, численность, использование среды обитания и тенденции развития птиц с помощью собранного списка видов в простых научных рамках".(Sánchez-Clavijo et. al., 2024).
iNaturalist, еще одно приложение для гражданских исследователей, использующее алгоритмы компьютерного зрения для идентификации видов, также доказало свою эффективность в борьбе с утратой биоразнообразия. На сегодняшний день приложение насчитывает более 200 000 000 наблюдений, причем 6 миллионов наблюдений в месяц по всему миру. В iNaturalist наблюдения исследовательского уровня передаются в GBIF, который, в свою очередь, использует эти знания для принятия политических решений, проведения исследований и создания сообществ(GBIF, 2023).
В настоящее время в нашем приложении обнаружен 71 вид лягушек и жаб по всему миру. Хотя многие из них отнесены к наименее опасным (LC) по классификации МСОП, у нас есть один вид, находящийся под угрозой исчезновения по классификации МСОП, - южная лягушка-колокольчик(Ranoidea raniformis). Отсутствие видов, находящихся под угрозой исчезновения, подчеркивает необходимость участия различных специалистов в биоакустическом экологическом мониторинге. Увеличение количества данных об уязвимых видах может послужить основой для принятия политических решений, основанных на данных. Местные сообщества и коренные народы станут ключевым активом в увеличении числа видов, включенных в приложение, поскольку их знания о местной среде позволяют нам отслеживать виды в отдаленных регионах.
Благоприятные факторы
- Устранение пробелов в данных: получение большего объема данных от гражданских ученых, особенно из местных общин и коренных народов.
- Обеспечение рационального природопользования: доступность для широкого круга пользователей.
Извлеченный урок
Изначально мы поставили перед собой цель сократить пробелы в данных по Глобальному Югу. Однако получить доступ к достаточному количеству звонков по редким, криптическим и исчезающим видам на Глобальном Юге, чтобы обучить нашу модель, оказалось непросто. Поэтому, чтобы повысить эффективность модели, мы обратили внимание на как можно большее количество видов по всему миру. Привлечение пользователей по всему миру приведет к увеличению количества записей в регионах с недостатком данных, таких как Глобальный Юг, что позволит нам в будущем переобучить нашу модель, получив больше данных об исчезающих, редких и криптических видах.
Вовлечение пользователей прекрасно согласуется с многочисленными целями, наиболее очевидной из которых является цель 20 ГБФ: Укрепление потенциала, передача технологий и научно-техническое сотрудничество в области биоразнообразия. Но и другие цели являются ключевыми в этом блоке: увеличивая количество точек данных, мы сможем выявлять инвазивные чужеродные виды, что соответствует цели 6 GBF, а также защищать дикие виды от незаконной торговли, скрывая их местоположение от пользователей. Это соответствует Цели 5 ГБФ, которая направлена на"Обеспечение устойчивого, безопасного и законного сбора и торговли дикими видами".
Образовательные инструменты
Амфибии находятся под большей угрозой и сокращаются быстрее, чем птицы или млекопитающие. Популяции амфибий сокращаются под воздействием множества факторов, таких как изменение климата, грибок хитрида и другие антропогенные факторы, например, незаконная торговля видами. Однако уровень угрозы для амфибий, несомненно, недооценен, поскольку 1294 вида (22,5%) слишком плохо известны для оценки, в то время как птиц всего 78 (0,8%)(Stuart et al., 2004).
Этот дефицит знаний подчеркивает жизненно важное значение образовательных инструментов, таких как Ribbit, для демократизации научных исследований. Снижая барьеры для экологического мониторинга, такие приложения, как Ribbit, превращают пассивных наблюдателей в активных участников природоохранной деятельности. Образовательные технологии позволяют гражданским ученым вносить непосредственный вклад в понимание и защиту уязвимых экосистем, устраняя критические ограничения в исследованиях путем расширения сбора данных в малоизученных регионах.
Эти инновационные платформы повышают осведомленность общественности о проблемах биоразнообразия и одновременно предоставляют доступные пути для научного взаимодействия. В отличие от приложений, ориентированных на птиц, с хорошо развитой исследовательской инфраструктурой, для сохранения ануранов не хватает комплексных платформ гражданской науки. Ribbit восполняет этот критический пробел, позволяя людям стать важнейшими участниками исследований амфибий, переломить ситуацию с нехваткой данных и поддержать глобальные усилия по сохранению природы с помощью совместной, технологически подкрепленной заботы об окружающей среде. Это первое приложение, содержащее информацию о более чем 800 видах амфибий на четырех языках, включая название вида, фотографию, информацию CITES (не являются ли виды предметом незаконного оборота или использования в коммерческих целях, что соответствует целям 5 и 9 ГБФ), статус МСОП (находятся ли виды под угрозой исчезновения, что соответствует цели 4 ГБФ) и общую информацию о поведении и размножении животных.
Благоприятные факторы
- Экспертиза предмета: один из членов нашей команды (Хулиана Гомес Консуэгра) тесно сотрудничал с другими экспертами, изучавшими грибок хитрид.
- Создание доступного веб-приложения: интуитивно понятный дизайн веб-приложения позволяет менее опытным наблюдателям участвовать и учиться.
Извлеченный урок
Хотя наша цель - просвещение любителей природы, мы хотим избежать роста незаконного оборота видов. По этой причине мы решили не давать пользователям доступ к данным друг друга. Таким образом, местонахождение исчезающего вида не будет видно торговцам людьми в приложении. Пользователи имеют доступ только к своим собственным данным. После того как данные передаются в GBIF, они скрываются, так что ни лягушка, ни точное местоположение пользователя не будут раскрыты широкой общественности. Таким образом, мы обеспечиваем экологическую безопасность нашего приложения.
Воздействие
Ribbit демонстрирует положительное воздействие на окружающую среду, социальную и экономическую сферы. В экологическом плане Ribbit был обучен на 71 отдельном виде ануранов, что позволило создать комплексный инструмент для мониторинга популяций амфибий, находящихся под угрозой исчезновения. В ходе бета-тестирования было успешно зарегистрировано и классифицировано 16 различных видов ануранов, при этом модель точно определяла виды в топ-5 наиболее вероятных совпадений в 91 % случаев, что сравнимо с другими решениями по трансферному обучению для биоакустики (Ghani et al., 2023). Используя набор данных из ~67 000 уникальных звонков Anura, Ribbit позволяет выявлять потенциальные изменения среды обитания и популяций в малоизученных регионах.
В социальном плане бета-тестирование Ribbit охватило 50 участников, создав новый путь для научных исследований под руководством сообщества. Платформа демократизирует сбор данных, снижая барьеры для участия в экологических исследованиях. 95 % опрошенных пользователей готовы поделиться своими записями с GBIF, внося свой вклад в глобальные данные о биоразнообразии.
С экономической точки зрения, Ribbit значительно снижает затраты на мониторинг. Традиционный мониторинг биоразнообразия в 50 местах обошелся бы примерно в 118 413 долларов США, включая оборудование, рабочую силу и анализ данных. В отличие от этого, ежемесячные операционные расходы Ribbit оцениваются в 48 543,77 долларов США, включая инфраструктуру AWS и квалифицированный персонал. Этот экономически эффективный подход позволяет специалистам сосредоточить ресурсы на природоохранных мероприятиях, основанных на собранных данных.
Бенефициары
Ribbit приносит пользу гражданским ученым благодаря участию в исследованиях, местным сообществам - благодаря экологическому мониторингу, а исследователям в области охраны природы - благодаря сбору дополнительных данных об ануранах в ранее малоизученных, но богатых биоразнообразием экосистемах.
Кроме того, объясните потенциал масштабируемости вашего решения. Можно ли его тиражировать или распространить на другие регионы или экосистемы?
Решение Ribbit демонстрирует значительный потенциал масштабируемости благодаря инновационному подходу к машинному обучению, специально разработанному для адаптации и совершенствования при получении все более разнообразных данных. Модель машинного обучения на основе нескольких снимков может быть систематически распространена на другие экосистемы, богатые амфибиями, по всему миру, с особой применимостью в горячих точках биоразнообразия в тропических и субтропических регионах.
Основная технологическая архитектура по своей сути является адаптируемой, что позволяет легко интегрировать акустические данные из различных географических контекстов. По мере сбора записей звонков ануранов из различных экосистем, модель машинного обучения может быть дополнена и постепенно становится все более сложной, повышая точность идентификации и расширяя возможности распознавания видов. Этот механизм совершенствования означает, что каждый новый вклад данных не только пополняет научные знания, но и улучшает работу технологической платформы.
Потенциал для тиражирования распространяется на множество областей. Платформа может быть адаптирована для других групп животных, отличающихся по акустическим характеристикам, что позволит использовать аналогичные подходы для мониторинга насекомых или млекопитающих. Кроме того, технология позволяет разрабатывать модули для конкретных регионов, которые могут быть адаптированы к местным экологическим условиям, создавая гибкие исследовательские инструменты, отвечающие конкретным экологическим потребностям. Способствуя развитию совместных исследовательских сетей, которые могут обмениваться данными и усовершенствованиями моделей, Ribbit обеспечивает основу для расширения научного понимания, преодолевая институциональные и географические границы.
Благодаря открытому доступу и модульной конструкции решение особенно хорошо подходит для глобального масштабирования. Ставя во главу угла доступность для пользователей, научную строгость и непрерывное обучение, Ribbit обеспечивает воспроизводимую модель мониторинга биоразнообразия с использованием технологий, которая может быть адаптирована к различным потребностям экологических исследований.
Глобальная рамочная программа по биоразнообразию (ГРП)
Цели устойчивого развития
История

Проведение полевых исследований в тропических лесах Колумбии может оказаться непростой задачей. Относительная влажность воздуха в 100 % означает, что для выживания вашего полевого оборудования необходимо хранить его в кремнеземе. Отсутствие электричества означает, что ваши записывающие устройства могут не успеть зарядиться до следующей сессии записи. И, в зависимости от времени, когда вы отправлялись в поле, из-за продолжающейся гражданской войны безопасность была на высоком уровне. Все эти ситуации я испытал на себе в 2007 году, когда получал степень магистра биологии и исследовал поведение ядовитых лягушек при возвращении на родину. В мои ежедневные обязанности входило ходить по часу в каждую сторону, каждый день, на место и обратно; устанавливать колонки, воспроизводящие звуки лягушек, чтобы посмотреть, как самцы арлекиновой ядовитой лягушки будут реагировать на изменения в окружающей среде. Моим единственным спутником был Яз, местный житель, история жизни которого вдохновила меня. Он прошел путь от сбора листьев коки для вооруженных повстанческих группировок до работы в НПО и создания своего эко-домика, куда люди могут отправляться в экспедиции по наблюдению за лягушками. Когда я узнал о его последнем начинании, я подумал: А что, если совместить экзотическую поездку в тропический лес с вкладом в науку? Поэтому я обратился к своим коллегам-биологам и предложил им свою идею создания приложения для гражданских исследований, которое бы автоматически идентифицировало зовущую лягушку. Ниже приведен отзыв одного из них:
"Я хочу поздравить вас с разработкой Ribbit. Я занимаюсь изучением биоразнообразия в Колумбии, и мне довелось воочию наблюдать, какое влияние оказала система eBird на мониторинг и социальное присвоение птиц в Колумбии, и люди всегда спрашивают... почему только птицы? Обычно я отвечаю, что их легче всего встретить и идентифицировать людям, не являющимся учеными, но благодаря таким приложениям, как Ribbit, это не должно быть так всегда!
Полагаться на звуки при идентификации, которые гораздо проще записать обычным телефоном, чем пытаться сфотографировать лягушку в дикой природе, - отличная идея, и, как и в случае с eBird, чем больше людей будут пользоваться приложением, тем лучше будет информация, которую оно предоставит. В таких мегаразнообразных странах, как Колумбия, вопрос о том, какие виды где/когда обитают, все еще остается сложным, поэтому все данные, полученные с помощью Ribbit, будут полезны для решения этой задачи.
Продолжайте упорно работать и дайте нам знать, если мы сможем чем-то помочь".
Лина М Санчес-Клавихо, доктор философии
Главный научный сотрудник
Отдел научной информации
Институт Гумбольдта
Свидетельствует: Хулиана Гомес Консуэгра, руководитель группы Ribbit