多动物交互行为分析系统

一 .开发背景

当我们**在网络上接触到国外先进算法 IDtracker，以及在《*强大脑》电视栏 目中看到北京大学 Dr.魏使用的开源工具 DeepLab Cut，我们无比兴奋，因为这些 跟踪技术将为运动科学以及实验室里的动物行为跟踪带来变革，开启了对动作捕 捉进行计算机建模的新时代。同时，基于被动及主动标记的技术更是让快速精准的动物运动和交互行为跟踪成为了可能。
然而，惊喜之余，我们也发现了这 2 款工具的一些缺陷，一是效率低下，电脑资 源消耗很严重，不能实时分析， 二则这 2 个工具不能同时呈现， 三则因为这 2 个工具开源的属性，不可避免的存在诸多隐藏的 bug 及准确率无法有效保证 。 基于以上这些现象，并综合我们多年积累的图像 AI 算法经验，SocialTrack AI 多动物交互行为分析软件应运而生， 同时软件着力重点解决了以上“痛点 ”。

二.产品介绍
SocialTrack AI 是我们使用人工智能 AI 算法的**款软件，可以定量和定性地测量单个场地中多只动物的攻击行为与社交行为。该软件在开放场中捕获并跟踪这些动物（小鼠或大鼠） ，并自动确定它们之间的各种攻击行为或社交互动行为。
该系统可以自动确定是否有任何两只动物正在积极地接近对方，一只正在追逐另 一 只， 或者与另一 只在打架（攻击） 。 另外， 当动物之间没有直接互动时， SocialTrack AI 可以将动物视为不动，或独立探索而不考虑其他动物。它还可以测量一只动物正在观看或跟踪另一只动物的动作的凝视事件。
SocialTrack AI 在分析两只动物之间的攻击性社会行为方面具有几个独特而重要 的功能。首先，当多只动物在颜色与个体大小没有明显差异的情况下，通过我们 强大的AI 功能即可实时准确区分动物的 ID 编号，知道他们谁是谁，系统就可以 区分两种动物而无需人工着色（标记） 它们 。 即使两只动物聚在一起然后分开， 系统也会自动确定谁是谁 。该系统即使在多动物接触时也可以自动区分两只动物，这是一个极其重要的功能。
SocialTrack AI 不仅在实时区分动物 ID 号上的表现**非凡， 它在标记识别每只 动物的关键体位点上的表现同样惊人，可以同时且实时跟踪多只老鼠的鼻尖、眼 睛（耳朵）、轮廓重心、后肢（四肢）及尾巴等，即使多只老鼠交互在一起的时候，也能尽可能的保持完整性。

三.应用
•  攻击性（ Aggression）
• 社交凝视/焦虑（Social Staring/Anxiety）
•  居民入侵者分析（Resident Intruder Analysis）

四.技术特点
1.能够在同一场景下区分 2 只或者2 只以上动物的身份编号，4 只及以上需单独训练模型；
2.可以自动识别动物骨骼关键点，包括但不限于鼻尖、眼睛（耳朵） 、轮廓重心、后肢（四肢）及尾巴；
3.软件支持实时分析和离线分析 2种模式；
4.第三方信号触发功能，可与光遗传、钙成像等实验同步记录；
5.全自动识别、分析功能，实验过程不需用户介入；
6.支持时间分段数据输出；
7.同一场景下的多只动物无需染色标记、个体大小无差异，都能够实时跟踪；
8.强大的排除干扰功能，对变化光照和非均匀光照自适应，支持自适应实验场景的动物模型训练，可应用于多场景；
9.提供已分析实验的双击复验、数据可视化及智能纠错的功能，方面后期实验校准；
10.批处理模式允许无需用户介入连续处理多个视频；
11.可免费训练个性化、定制化实验场景的动物模型；

五.测试指标
常规指标 ：每只老鼠的运动路程、平均速度、静止时间等指标
特色指标 ：反应老鼠之间的攻击行为和社交行为：Body Sniffing、Head Sniffing、 Anogenital Sniffing、Above (Crawling)、Following、Attack、WalkAlone、StandAlone、
StandTogether 等