Ribbit - 用于自动识别和分类无尾类物种的网络应用程序

完整解决方案
哥伦比亚乔科地区睡在树叶上的新格拉纳达交叉带树蛙(Smilisca phaeota)
Juliana Gómez Consuegra

Ribbit 是一款公民科学网络应用程序,它利用少拍转移机器学习来记录、识别青蛙和蟾蜍的叫声并对其进行分类,为全球生物多样性信息基金(GBIF)提供众包数据,以解决数据缺口问题,尤其是在全球南部地区。识别应用程序为原地 生物多样性自动监测提供了巨大潜力(全球人工智能合作伙伴关系,2022年Tuia等人,2022年Nieto-Mora等人,2023年)。我们的应用程序重点关注无尾类动物,因为它们是至关重要的生态系统指标(Estes-Zumpf 等,2022 年),超过 40% 的物种濒临灭绝,它们独特的发声方式非常适合声学识别。测试人员发现,该应用程序具有为 GBIF 提供数据的潜力,同时还能增强公民科学家参与生态监测的能力。通过为生物多样性数据标签创建一个开放式访问平台,Ribbit 使保护组织能够制定保护脆弱种群和关键生态系统的战略。

最后更新 10 Oct 2025
83 意见
自然科技奖
奖项类别
保护濒危物种
技术类型
软件
相关技术
声学监测
软件解决方案,包括智能手机应用程序
人工智能和机器学习
数据和信息共享
技术说明

我们的项目始于 2024 年 8 月。我们利用来自iNaturalist sounds Anuraset的两个标注音频数据集来训练机器学习模型,以便根据物种叫声的音频记录对无尾类动物(青蛙和蟾蜍)进行分类。这两个数据集都包含异常分布的数据,即稀有或濒危无尾类动物的实例减少。为了解释这种异常现象,并确保模型有足够的数据来正确识别这些稀有和濒危物种(这对实现 GBF 目标 4 至关重要),我们使用 iNaturalist 的非无尾类叫声(如蝙蝠或蟋蟀的叫声)对数据进行了扩充,这些叫声的频率与无尾类叫声不同。有了新的扩充数据集,我们就实施了少点转移学习(Ghani 等人(2023 年))。具体来说,我们使用 Birdnet 模型(预先训练好的 EfficientNet B1 模型)来生成有尾类物种的嵌入,并使用数据的线性探测对模型进行微调。我们的模型识别了 71 种无脊椎动物,包括像澳大利亚南方钟蛙(Ranoidea raniformis)这样的易危物种,在最有可能识别的前 5 个物种中,识别准确率为 91%,在最有可能识别的前 1 个物种中,识别准确率为 72%。我们的网络应用程序 "Ribbit "于 2024 年 12 月推出,使用了这一性能最佳的模型,用户反馈大多是积极的,因为测试表明所记录的物种经常位于前 1 位。我们项目的独特之处在于,它是首个利用人工智能识别青蛙的以无脊椎动物为重点的公民科学应用程序。

捐助者和资金

加州大学伯克利分校信息学院

背景
应对的挑战
生物多样性的丧失
入侵物种
公众和决策者缺乏认识
监督和执行不力

Ribbit 可应对生物多样性监测工作中的重大环境、社会和经济挑战。在环境方面,该应用程序解决了数据收集方面的差距(GBF 目标 14),尤其是在全球南部。由于超过 40% 的无脊椎动物面临灭绝的危险(Estes-Zumpf 等,2022 年),传统的监测方法无法全面捕捉生态系统的健康状况和生物多样性的变化。

在社会方面,Ribbit 通过为公民科学家提供便捷的生态监测工具,实现了科学研究的民主化。通过增强公民科学家的能力,该应用程序打破了专业研究与社区参与之间的障碍,为个人创造有意义的参与机会,为生物多样性研究做出贡献。

在经济上,它为资源密集型的传统监测方法提供了一种具有成本效益的替代方法。Ribbit 利用众包数据收集和先进的机器学习,降低了研究成本,同时扩大了研究人员和保护组织的数据收集能力。

实施规模
全球
生态系统
农林业
耕地
果园
牧场
温带落叶林
温带常绿林
热带落叶林
热带常绿林
泳池、湖泊、池塘
河流、溪流
湿地(沼泽、沼泽、泥炭地)
温带草原、热带稀树草原、灌木林
热带草原、热带稀树草原、灌木林
全地区发展
建筑物和设施
连接性基础设施、网络和走廊
绿色屋顶/绿墙
绿地(公园、花园、城市森林)
城市湿地
主题
生物多样性主流化
外来入侵物种
外联与交流
自然保护技术
地点
东非和南非
加勒比地区
中美洲
南美洲
北美
北亚和中亚
西亚、中东
东南亚
南亚
东亚
西欧和南欧
北欧
东欧
大洋洲
过程
过程概述

减少生物多样性损失是我们的核心目标,其他组成部分从战略上支持这一努力。公民科学方法通过创建一个全面的数据收集机制,填补关键知识空白,从而直接应对生物多样性挑战。通过创新技术,该项目将个人贡献转化为强大的生态监测科学资源。

公民科学和社区参与推动了数据收集工作,将当地参与者与全球保护工作联系起来。作为一种教育工具,Ribbit 使公民从被动的观察者转变为积极的环境管理者。应用程序中收集的数据的民主化是扩大项目影响的关键基础设施。通过使科学研究具有可访问性和参与性,该解决方案打破了专业研究人员与社区成员之间的传统障碍。这种开放访问的方法确保了收集到的数据能够为保护组织、研究人员和政策制定者所利用,为从公民观察到有意义的环境行动创造了直接途径。

积木
数据民主化

Ribbit 的数据民主化方法是一个精心策划的公民驱动型科学贡献过程。通过利用 iNaturalist 声音和 Anuraset 现有的公共数据集,该应用程序为声学生物多样性监测奠定了坚实的基础。这些初始数据集为机器学习训练提供了全面的基线,确保为无脊椎动物识别建立高质量的初始模型。

该应用程序的创新数据收集策略不仅限于收集信息,还对用户提供的数据实施了严格的质量控制流程。每一份公民提交的记录都将经过仔细的验证,然后才有可能提交给全球生物多样性信息基金(GBIF)。这种方法将被动的数据收集转变为主动、协作的科学过程,使公民能够为保护研究做出有意义的贡献,从而实现 GBF 目标 14,即 "将生物多样性纳入各级决策"。

至关重要的是,Ribbit 保持严格的数据隐私和保护协议。考虑到生态数据的敏感性,特别是有关稀有物种和精确位置信息的数据,该应用程序实施了严格的用户同意机制。未经贡献者的明确知情同意,任何用户数据都不会被共享或分发,从而保护了生态主体和公民科学家的隐私。

有利因素

  • 无障碍技术:网络应用程序可在台式机和移动设备上运行,用户可在没有互联网的情况下上传数据。
  • 强大的质量控制机制:先进的科学质量记录评估。
  • 道德数据管理:优先考虑用户隐私和生态敏感性。
  • 定期对模型进行再训练:模型每六个月更新一次,对纳入应用程序并经注释者验证的新物种进行训练。
经验教训

在启动该项目时,我们意识到全球南部存在无尾类生物多样性数据缺口。然而,令我们感到惊讶的是,当我们试图提高应用程序的可访问性并增加定性数据时,却发现在语言表述方面存在差距。目前,我们的项目有四种语言版本(英语、西班牙语、葡萄牙语和阿拉伯语),从而提高了可访问性。我们使用维基百科应用程序接口获取了这四种语言中关于我们物种的一般信息,并注意到虽然英语和阿拉伯语中的数据非常丰富,但西班牙语中的信息却非常稀少,葡萄牙语中的信息则更加稀少。因此,我们设想未来的挑战将涉及让讲西班牙语和葡萄牙语的科学家等不同科学家参与进来,以缩小 "维基百科数据差距"。解决这一差距将是我们的解决方案进一步民主化和提高可访问性的关键行动。

公民科学和社区参与

事实证明,公民科学应用程序有助于生物多样性监测,同时还能吸引自然爱好者参与其中(Callaghan 等人,2019 年)。例如,澳大利亚博物馆推出的应用程序 FrogID 允许用户记录青蛙叫声,并由人工验证员核实其身份。迄今为止,FrogID 已发表的论文涉及监测入侵物种(Rowley 和 Callaghan,2023 年)、为 IUCN 红色名录评估提供信息(Gallagher 等人,2024 年)、评估火灾影响(Mitchell 等人,2023 年)、了解城市化影响(Callaghan 等人,2020 年)以及研究青蛙叫声行为(Liu 等人,2022 年)。我们的目标是在更短的时间内,利用 Ribbit 和世界各地的无尾类物种取得类似的成果。迄今为止,FrogID 团队已经积压了超过 18,000 个呼叫,使用我们的应用程序可以大大减少这些呼叫,因为机器学习算法的实施大大缩短了处理时间。

在我们应用程序的第一轮测试中,有 50 位用户提交了录音以供识别。他们的反馈是积极的:主题专家指出,他们记录的物种与 Ribbit 预测的物种相符;自然爱好者喜欢 "每日一蛙 "功能,该功能向他们介绍了一个新的无脊椎动物物种,或让他们通过该物种的名称和最常见的叫声重新认识熟悉的无脊椎动物(GBF 目标 11)。

有利因素
  • 易用性:通过分析用户反馈,我们不断改进,以提高用户体验和易用性。
  • 熟悉已有的公民生态科学应用程序:以 FrogID、Merlin、eBird 和 iNaturalist 为参考,我们模仿了应用程序的主要功能,以便新用户快速上手。
  • 对于那些从未使用过公民科学应用程序的用户,我们将重点放在使应用程序尽可能方便用户使用上。此外,我们的 "常见问题 "部分还包括 "如何青蛙 "的提示,包括在何时何地找到叫声物种。
经验教训
  • 很难在不同类型的用户之间取得平衡。科学家主张使用学名,而自然爱好者则不喜欢这些名称,他们更喜欢通用名称。然而,事实证明,用四种语言为我们的所有物种获取通用名称具有挑战性。这是另一个发展机遇:在全球范围内众包常用名称。
  • 未来,我们还希望创建更多可视化内容,以指导那些希望使用该应用程序但不确定如何使用的用户;这些内容包括在应用程序的可选观察部分应包括哪些内容、如何验证应用程序推荐的青蛙是否是用户看到的青蛙等。

减少生物多样性损失

保护生态系统是遏制气候变化和维持生态系统服务(《全球生物多样性框架公约》目标 11)的关键,而生态系统服务全球 50% 以上的 GDP 密切相关。本世纪将有 100 多万种物种面临灭绝的威胁;然而,由于现有的数据缺口偏重于全球北部的观测,因此选择保护哪些地区具有挑战性。增加全球南部的生物多样性数据量对于保护濒危物种至关重要,因为这些物种在全球南部的生物多样性热点地区密度很高。两栖动物的发声方式多种多样,是声学识别的理想选择,也是至关重要的生态系统指标(Estes-Zumpf 等人,2022 年),超过 40% 的物种面临灭绝风险(Cañas 等人,2023 年)。增加全球 7000 多种两栖动物的标注数据将加强保护工作,减少脆弱生态系统的知识缺口。通过使用公民科学平台来帮助减少生物多样性的损失,我们将帮助当地建立起对这些重要栖息地的环境管理(GBF 目标 20)。

eBird 是与生物多样性相关的最大公民科学项目,拥有来自世界各地用户的 1 亿条鸟类观测数据。这些观察结果有助于 "在一个简单的科学框架内,通过收集的物种清单记录鸟类的分布、丰度、栖息地使用和趋势"。(Sánchez-Clavijo 等人,2024 年)。

iNaturalist 是另一款使用计算机视觉算法进行物种识别的公民科学应用程序,在减少生物多样性损失方面也被证明是成功的。迄今为止,该应用程序在全球范围内的观测次数已超过 200,000,000 次,每月观测次数达 600 万次。在 iNaturalist 上,研究级的观测数据会与 GBIF 共享,而GBIF 则会将这些知识用于政策决策、研究和社区建设(GBIF,2023 年)。

目前,我们的应用程序可识别全球 71 种青蛙和蟾蜍。虽然其中许多物种被世界自然保护联盟(IUCN)认定为 "最不受关注物种"(LC),但我们确实拥有一个世界自然保护联盟濒危物种--南方钟蛙(Ranoidea raniformis)。由于缺乏濒危物种,因此需要不同的从业人员参与生物声学生态监测。增加有关脆弱物种的数据点有助于利用数据驱动的洞察力为决策提供信息。当地社区和原住民将是增加应用中物种数量的关键资产,因为他们的当地知识使我们能够跟踪偏远地区的物种。

有利因素
  • 缩小数据差距:从公民科学家,特别是当地社区和土著人民那里获取更多数据。
  • 促进环境管理:让不同用户都能使用。
经验教训

我们最初设定的目标是减少全球南部地区的数据缺口。然而,要获得足够多的全球南部稀有、隐蔽和濒危物种的数据来训练我们的模型,证明是一项挑战。因此,为了提高模型性能,我们将注意力转向了全球范围内尽可能多的物种。让世界各地的用户参与进来,将为全球南部等数据匮乏地区带来更多记录,使我们能够在未来利用更多濒危、稀有和隐蔽物种的数据重新训练我们的模型。

这种用户参与完全符合多个目标,其中最明显的是 GBF 目标 20:加强生物多样性的能力建设、技术转让和科技合作。但其他目标也是这一基石的关键所在:通过增加数据点,我们将能够识别外来入侵物种,从而实现 GBF 目标 6,以及通过向用户隐瞒野生物种的位置,保护野生物种免遭非法贸易。这与全球生物多样性框架目标 5 一致,该目标旨在"确保野生物种的可持续、安全和合法采伐与贸易"

教育工具

与鸟类或哺乳动物相比,两栖动物受到的威胁更大,数量减少的速度更快。两栖动物数量的减少是由多种因素造成的,如气候变化、糜烂性真菌以及物种贩运等其他人为因素。然而,两栖动物面临的威胁程度无疑被低估了,因为有 1294 种(22.5%)两栖动物鲜为人知,无法进行评估,而鸟类只有 78 种(0.8%)(Stuart 等人,2004 年)。

这种知识赤字凸显了 Ribbit 等教育工具在科学研究民主化方面的极端重要性。通过降低生态监测的门槛,Ribbit 等应用程序将被动的观察者转变为积极的保护参与者。教育技术使公民科学家能够直接为了解和保护脆弱的生态系统做出贡献,通过在研究不足的地区扩大数据收集来解决关键的研究局限。

这些创新平台提高了公众对生物多样性挑战的认识,同时为科学参与提供了便捷的途径。与拥有完善研究基础设施的以鸟类为重点的应用程序不同,震旦类动物保护缺乏全面的公民科学平台。Ribbit 填补了这一重要空白,使个人有能力成为两栖动物研究的重要贡献者,扭转了数据缺乏的趋势,并通过协作、技术驱动的环境管理支持全球保护工作。它是第一个包含 800 多种两栖动物信息的应用程序,有四种语言版本,包括叫声类型、照片、CITES 信息(物种是否被贩卖或用于商业目的,涉及 GBF 目标 5 和 9)、IUCN 状态(物种是否濒危,涉及 GBF 目标 4)以及动物行为和繁殖的一般信息。

有利因素
  • 学科专业知识:我们团队的一名成员(Juliana Gómez Consuegra)与其他研究糜烂性真菌的专家密切合作。
  • 创建可访问的网络应用程序:网络应用程序的直观设计使经验不足的观察者也能参与和学习。
经验教训

虽然我们的目标是教育自然爱好者,但我们也希望避免物种贩运的增加。因此,我们决定不允许用户互相访问对方的数据。这样,濒危物种的位置就不会在应用程序上被贩卖者看到。用户只能访问自己的数据。一旦与 GBIF 共享数据,数据就会被遮盖,因此青蛙和用户的精确位置都不会向公众公开。这样,我们就能确保我们的应用程序对环境负责。

影响

Ribbit 在环境、社会和经济领域都产生了积极影响。在环境方面,Ribbit 针对 71 种不同的无尾目动物进行了训练,为监测濒危两栖动物种群创造了一个综合工具。Beta 测试成功记录并分类了 16 种不同的无尾类动物,该模型 91% 的时间都能准确识别出最有可能匹配的前 5 个物种,与其他生物声学迁移学习解决方案不相上下(Ghani 等人,2023 年)。利用包含约 67,000 个独特 Anura 发声的数据集,Ribbit 能够识别潜在的栖息地转移和未充分研究地区的种群变化。

在社会方面,Ribbit 的测试版有 50 名参与者,为社区驱动的科学研究开辟了一条新途径。该平台使数据收集民主化,减少了参与生态研究的障碍。95%的受访用户愿意与 GBIF 分享他们的记录,为全球生物多样性数据做出贡献。

在经济上,Ribbit 大大降低了监测成本。对 50 个地点进行传统的生物多样性监测,包括设备、人工和数据分析在内的成本约为 118,413 美元。相比之下,Ribbit 的每月运营成本估计为 48,543.77 美元,包括 AWS 基础设施和熟练人员。这种具有成本效益的方法使实践者能够根据收集到的数据将资源集中用于保护行动。

受益人

通过参与研究,Ribbit 使公民科学家受益;通过生态监测,使当地社区受益;通过在以前研究不足但生物多样性丰富的生态系统中收集更多的无尾类动物数据,使保护研究人员受益。

此外,请说明您的解决方案的扩展潜力。能否复制或扩展到其他地区或生态系统?

Ribbit 的解决方案通过其创新的机器学习方法展示了巨大的可扩展性潜力,该方法专门设计用于适应和改进日益多样化的数据输入。这种寥寥数语的转移学习模型可以系统地扩展到全球其他两栖动物丰富的生态系统,尤其适用于热带和亚热带地区的生物多样性热点地区。

核心技术架构具有内在的适应性,可以无缝整合来自不同地理环境的声学数据。随着从不同生态系统中收集到更多不同的有尾类叫声记录,机器学习模型可以得到补充,逐渐变得更加复杂,从而提高其识别准确性,扩展其物种识别能力。这种改进机制意味着,每一份新的数据不仅能增加科学知识,还能完善技术平台的性能。

该平台具有在多个领域推广的潜力。该平台可适用于其他声学特征明显的动物群体,从而为昆虫或哺乳动物提供类似的监测方法。此外,该技术还允许开发针对特定地区的模块,这些模块可根据当地生态环境进行定制,从而创造出灵活的研究工具,满足特定的环境需求。通过促进合作研究网络,共享数据和改进模型,Ribbit 提供了一个跨越机构和地域界限的框架,以扩大对科学的理解。

该解决方案的开放存取方法和模块化设计使其特别适合全球推广。通过优先考虑用户的可访问性、科学的严谨性和持续的学习,Ribbit 为技术驱动的生物多样性监测提供了一个可复制的模式,可满足不同的生态研究需求。

全球生物多样性框架 (GBF)
GBF 目标 4 - 阻止物种灭绝、保护遗传多样性并管理人类与野生动物的冲突
全球生物多样性框架》目标 5--确保野生物种的可持续、安全和合法采伐与贸易
GBF 目标 6 - 将外来入侵物种的引入量减少 50%,并将其影响降至最低
GBF 目标 9:可持续地管理野生物种,造福人类
GBF 目标 11 - 恢复、维护和加强大自然对人类的贡献
全球生物多样性框架》目标 14:将生物多样性纳入各级决策过程
全球生物多样性框架》目标 20:加强生物多样性方面的能力建设、技术转让和科技合作
可持续发展目标
可持续发展目标 15--陆地生活
故事
哥伦比亚雨林中野外生物学家的照片
Juliana Gómez Consuegra,2007 年,哥伦比亚雨林 El Amargal 生物研究站。
Juliana Gómez Consuegra

在哥伦比亚雨林中进行野外研究是一项挑战。相对湿度高达 100% 意味着您的野外设备需要放在硅胶中才能存活。缺电意味着您的录音设备可能无法在下一次录音时及时充电。此外,由于内战仍在继续,安全问题也很严重,这取决于你去现场的时间。2007 年,我正在攻读生物学硕士学位,研究毒蛙的归巢行为。我每天的任务包括:每天步行一个小时往返于野外现场;安装扬声器,播放蛙声,以观察雄性哈氏毒蛙对环境变化的反应。我唯一的同伴是亚兹,他是当地的一名社区成员,他的人生故事对我很有启发。他从为武装叛乱组织刮古柯叶,到在非政府组织工作,再到创建自己的生态小屋,供人们进行观蛙探险。当我得知他最近的努力时,我心想:如果我们能把一次充满异国情调的热带雨林之旅与对科学的贡献结合起来呢?于是,我联系了我的生物学家同事,向他们提出了我的想法,即开发一款能自动识别青蛙叫声的公民科学应用程序。以下是其中一位同事的反馈:

"我想祝贺你开发出 Ribbit。我是一名在哥伦比亚工作的生物多样性科学家,有机会亲眼目睹了 eBird 对哥伦比亚鸟类监测和社会占有的影响,人们总是问......为什么只有鸟类?我的回答通常是,因为对于非科学家来说,鸟类是最容易接触和识别的,但通过 Ribbit 这样的应用程序,就不必永远如此了!

依靠声音进行识别是一个非常好的主意,用普通手机录制声音要比在野外拍摄青蛙的真实照片容易得多,而且就像 eBird 一样,使用该应用程序的人越多,它提供的信息就越好。在哥伦比亚这样的生物多样性大国,像什么物种在什么时间生活在什么地方这样 "简单 "的问题仍然是一个挑战,因此 Ribbit 生成的所有数据都将有助于应对这一挑战。

请继续努力,如果我们能提供任何帮助,请告诉我们。

Lina M Sánchez-Clavijo 博士

首席研究员

科学信息办公室

洪堡研究所

见证人Juliana Gómez Consuegra,Ribbit 团队负责人

与撰稿人联系
其他撰稿人
Haissam Akhras
加州大学伯克利分校
埃里卡-中林
加州大学伯克利分校
Lia Cappellari
加州大学伯克利分校
法鲁克-甘杜尔
加州大学伯克利分校
珍娜-罗斯-斯帕克斯
加州大学伯克利分校