为什么要用3D的方式采集动物行为数据?

 

 

动物的行为发生在三维(3-dimensional,3D)的世界中:绝大多数动物具有多个关节点,基于这些关节点动物身体可以发生3D形变,排列组合成丰富的姿态(pose);动物可以通过站立、跳跃、浮游、飞翔等方式突破常规活动的地平面,从而在其他维度活动。因此,很多与动物运动功能损伤上的异常、神经精神疾病造成的刻板行为,只能在3D的观测场景下,才能发现行为生物标记物(behavior bio-marker)的本质。以3D动物姿态作为行为特征,不仅能够更为全面表征动物行为,还具有冗余性低、易传输、宜进一步处理的特性。

 

 

01

传统的2D行为采集的局限性

 

 

视野遮挡

传统的方法往往通过单个摄像机记录动物行为学数据,所能记录也只能是该视野所能覆盖到2D行为信息。古人云“横看成岭侧成峰,远近高低各不同”,这首诗言简意赅的说明了视角不全带来的重大问题。我们始终无法从动物背后判断动物是否在梳理毛发,或者是从顶部观察到足底的步态。

图1 单一视角观察所带来的问题

 

维度信息损失

尽管都知道动物行为需要多视角的采集3D数据,但硬件的稳定性和成本,软件的可行性和效率不是一蹴而就的。通过对比不同的动物行为特征的表示方式,可以感受到传统的2D行为采集造成的维度信息损失。

1)单点轨迹:对单视角中动物的质心进行连续追踪。这种方式适用于各种迷宫范式,用于分析动物的位置偏好,速度变化等信息。只能知道动物在哪里,而无法知道动物在干什么。

 

2)轮廓追踪:将动物从实验背景中分割出来。即能够实现单点轨迹中的位置偏好,速度变化等信息的获取,也能在一定程度上推测动物身体抖动、弯曲、头尾活动的模式。但无法具体到肢体的活动状态

 

3)3D骨架:通过多视角拍摄,深度学习识别身体特征点,计算机视觉进行三维重建来获取动物多身体点的骨架。很显然,我们无法从身体单点和轮廓的变化中推测动物在干什么,但通过3D骨架,我们很容易知道动物各个身体部位的位置,变化状态以及所进行的行为动作。

 

 

02

3D行为采集的优势

 

3D行为采集通过对动物关节点3D坐标的追踪,尽可能全面、可靠的保留动物全身活动的所有数据。那么基于这些数据,可以使经典的行为分析更加精准、可靠,还能实现以往无法进行的一些研究范式。

 

更精准、全面的数据

1. 步态研究

步态分析常用于研究运动功能异常的一些动物模型,例如帕金森症、疼痛等模式动物。传统的步态分析,需要动物行走在压力传感器上,然后用摄像机从底部拍摄压力传感器感应到的动物足迹。在进一步的分析中,计算动物行走过程中足部支撑时间、摆动时间,步幅长度等参数。但这种些仪器只能拍摄步态,而无法研究其他行为。

基于3D行为采集系统,无需特殊的传感器就可以获取身体10多个骨骼点的坐标。基于这些数据,不仅可以分析动物在自由状态下的步态,还能同时分析动物的其他行为[1]。

 

2. 行为自动识别

自动的识别动物在行为实验中动物所发生特定动作(例如:梳理-grooming,站立-rearing,嗅探-sniffing等)的频次,在以往一直是需要突破的技术难题。因为研究人员经常通过统计这些动作发生的频次来判断动物是否患有疾病、药物是否有效、调控是否发生显著作用。基于2D方式采集到的行为数据,由于维度信息的缺失,行为识别的准确率无法保证。因此,研究人员们只能通过人工计数这种费时又枯燥的方式。

而基于3D行为数据,从数据源头保证了数据的全面性和无偏性,动物行为的自动识别也即将成为现实[2]。

 

3. 神经行为同步

神经行为学研究的终极目标是理解动物行为如何受大脑神经活动的控制[3]。要实现这一目标不仅需要全面的记录神经活动的数据,还要全面的记录到行为的数据。因此,很容易理解,传统的2D行为数据与先进的大规模神经活动记录不匹配。而3D行为数据正在补齐这个短板。BehaviorAtlas三维行为采集系统与超维景自由移动双光子神经活动记录同步,发现了运动皮层的细胞与动物行为的耦合性。

 

新的行为学数据标准

采用3D骨架作为动物行为数据的表征,不仅能够在行为学研究发现上带来好处,还因为其全新的数据表示方式,有望推动动物行为学进入到一个新的时代

 

1. 3D骨架数据-数据量更小

3D动物姿态表征提升了行为特征的全面性,具有极高的信息密度。相比原始的多视角全景视频,3D行为数据具有极小的存储体积(相比原始视频,其存储体积可以压缩数百倍)。在未来构建生物多样性的大样本表型数据库中,它完全可以作为原始的行为表征,方便人们查询与使用。

 

2. 数据的标准性和一致性

以往以视频行为存储的行为数据,因视角、分辨率、图像格式的不同,这些数据匹配的认为先验知识是很难具备通用性的。而3D动物姿态轨迹以真实3D空间作为参考系、以数值的形式作为原始特征,具备高度通用性。因此,未来可以形成一个以3D动物姿态轨迹的标准数据库,使得新的分析技术,新的研究结果可以快速的进行共享。

 

3. 匿名性

在临床案例数据中,阻碍数据分享的一个重要因素是要保护患者的隐私。因此很难将原始的视频数据上传。而3D行为数据在尽可能保留行为特征的同时,不携带患者的身份相关的信息。这也是3D行为数据有望成为新的行为学数据标准的一个重要原因。

 

 

04

BehaviorAtlas

三维行为分析系统

 

一湾生命科技自主研发的BehaviorAtlas三维行为分析系统(戳蓝字了解详情),通过至少4个视角同步采集动物行为视频,进一步基于深度学习和计算机视觉技术重建动物三维骨架的重建。并且BehaviorAtlas的3D骨架追踪方案无需在动物身体添加任何物理标记点,使动物活动更加不受外界干扰。我们通过全方位的量化评估,证明了3D行为采集相比传统2D行为采集的巨大优势。

 

我们采用了4种相机组合,分别是2相机对角(2C180),2相机90°夹角(2C90),3相机(3C),4相机(4C)。结果表明,在只使用2个相机时,无论是对角放置(2C180)还是90°夹角(2C90)放置,仍存在一定几率的不可靠性(likelihood在0.999左右)。而在3个及4个相机时(3C和4C),likelihood接近于1。3C和4C不存在显著差异,说明在环境简单的旷场中,3个视角就可以可靠的进行三维重建;2C90和3C之间存在显著差异,说明仅2个视角无法达到精准的三维重建。进一步评估利用不同相机组合重建的三维轨迹的一致性(图2c),结果也表明超过3视角将会获得更稳定的三维重建。而2C180由于对角放置,相比2C90视角互补更少,因此重建的一致性较差。最后,对不同相机组合下各个身体部位重建的一致性评估(图2d),发现小鼠的尾中和尾尖的方差更大,这是由于尾巴目标较小且不明显,证明评估数据与实际情况一致。

图2

注:a4视角的DLC二维姿态估计的likelihood分布。P1:主相机;S1:第一副相机;S2:第二副相机;S3:第三副相机。箱型图上的每个点表示每例测试数据的平均likelihood(共采用了16例测试数据,每例数据的所有帧及所有身体点进行平均)。b不同相机组合的下DLC二维姿态估计的likelihood分布。c 采用不同相机组合的数据重建三维轨迹的平均方差。d 不同的相机组合下,各个身体部位的三维重建平均方差,按x、y、z分别呈现(Mean±SD)。

 

 

 
 

参考资料

 

Weber R Z, Mulders G, Kaiser J, et al. Deep learning based behavioral profiling of rodent stroke recovery[J]. BioRxiv, 2021.

 

Huang K, Han Y, Chen K, et al. A hierarchical 3D-motion learning framework for animal spontaneous behavior mapping[J]. Nature communications, 2021, 12(1): 1-14.

 

Han Y, Huang K, Chen K, et al. MouseVenue3D: A Markerless Three-Dimension Behavioral Tracking System for Matching Two-Photon Brain Imaging in Free-Moving Mice[J]. Neuroscience Bulletin, 2022, 38(3): 303-317.

 

 

对3D方式采集动物行为数据感兴趣?长按下方二维码,添加官方客服微信,一起交流讨论吧!添加微信请备注:姓名-单位-研究方向

 

 

 
 
 
 
 

 

 

关于BehaviorAtlas

BehaviorAtlas神经行为学智能分析系列产品是深圳市一湾生命科技有限公司基于多年在神经行为学研究的积淀。结合前沿的计算机视觉、机器学习技术和神经工程学,公司自主发展了高精度动物行为三维重建和自动化表型鉴定系统、小动物眼动追踪系统、小动物虚拟现实系统。该系列通过对动物行为大数据的分析和计算,实现了对动物行为自动化、智能化、精细化的评估,最终服务于脑科学及生物医药产业。

 

 

关于BAYONE

一湾生命科技(BAYONE)成立于2020年,是一家基于AI技术、计算机视觉、神经科学,聚焦输出生命科学领域高端设备、平台和服务的公司。公司在脑科学与类脑研究领域持续深耕,自主开发了神经行为学智能分析系列产品,在国际上均处于领先水平,相关研究成果多次发表于顶级期刊,服务于众多高校、科研院所。此外,公司还为用户提供疾病模型动物造模、实验动物繁育、动物实验数据分析及药物筛选等服务。

 

目前公司已经获得2000万天使轮投资。与中国科学院深圳先进技术研究院成立了「AI智能行为分析系统及神经疾病药效评价联合实验室」,在实验动物精细行为分析、实验动物眼动追踪等系统上实现技术突破。

 

 

 

CASE SHOW

 

案例展示

 

 

 

 

 

 

BehaviorAtlas神经行为学智能分析系统--深圳市一湾生命科技有限公司    神经行为学    为什么要用3D的方式采集动物行为数据?