面部微表情情绪分析审讯系统

系统模块组成

主要的功能模块

1、VAG 接入服务

2、IVS  智能分析服务

3、CMS 中央管理服务

4、SDK 服务端

5、流媒体服务

6、Web 管理客户端

产品特色

支持全面多模态情绪感知算法

5种情绪特征全采集(面部微表情，面部微动作，眼动视线，心率，身体姿态)，8种主要表情，22种特定表情微动作识别。根据在公安刑侦领域实战经验，眼动视线以及心率检测对于发现可疑人员的异常情绪有重大效果，也是本产品在多模态异常情绪分析融合算法方面的重大突破。参见下图。

配置设备信息: 配置接入的视频通道信息以及接入授权；

实时视频接入/离线文件导入: 从音视频采集设备接入引流智多模态情绪分析平台；

算法并行分析计算: 对视频流进行特征提取，并推送给算法模型利用高性能算力进行多路并行分析；

超过告警阈值进行实时报警: 当算法计算结果和告警配置进行比对，一旦触发告警，则通过系统实时消息总线进行通知；

记录报警信息(快照，时间，可疑值，状态等)用于查询和统计分析；

实时推送告警信息给订阅该消息的用户，包括系统通知，短信等，告警时的快照以及相关视频存储至系统存储系统；

研判系统用户按照权限查看导出系统报表。

平台介绍

1.基础管理平台

登录功能、预览模式、审讯模式、被询问人实时状态显示，告警提示，数据波形图、告警回溯、历史回放记录、审讯记录管理、人员管理、后台控制管理等。

2.测谎问题库系统

测谎问题库定制，可针对用户场景，结合讯问专家与一线的研究与积累，针对青岛地区场景进行定制；

3.实时识别系统：

审讯过程异常情况智能识别，抓拍、录像及告警。在审讯过程中，通过识别人脸的分类和微表情，对其进行图标数据和告警数据显示，数据计算达到每秒15帧，心率识别算法输出响应时间0.07s。

4.面部表情分析系统

通过摄像头识别人脸，建立档案进行匹配。通过深度学习的方式进行人脸图像分类和微表情的识别。支持一路视频的8种微情绪分析（自然状态、高兴、悲伤、愤怒、惊讶、害怕、厌恶、轻蔑）。提取人脸68个特征点，利用深度卷积网络进行微表情识别。

5.心率分析系统

通过摄像头识别面部表情计算出心率信息。通过采集到的红、绿、蓝三色通道的亮度变化包含动脉信息，将其进行计算处理后获得输入信号，对其信号进行计算分析得出心率。分析时间每秒15帧，心率识别算法输出响应时间0.07s。

6.声强分析系统

通过声强数据提取韵律性特征来识别语音中的情感。利用声强、短期能量、基频、声强导数、短期能量导数、基频导数等23个特征值进行计算。

7.实时告警系统

实时显示当前的告警情况，包括告警指标、告警快照、视频信息、音频信息、问题自动切分音频系统。

8.历史回溯系统

审讯人可回看告警信息和告警视频，用于回放查看。审讯记录的历史回溯，包括媒体信息、告警信息、智能数据明细信息、笔录等。

9.审计报表统计系统

基于智能算法对审讯过程生成评估报告，包含问询概况、问询信息、告警统计、总结。支持定制化报告模板，在线笔录编辑及导出功能，支持在线打印输出。

10.角色权限管理功能

本系统提供完善的权限管理功能，可通过角色和用户两种方式编辑权限功能，支持创建系统角色，并为角色分配权限。超级管理员为不同的用户创建账号并分配角色，使不同的用户根据权限的不同分配不同的权限，每个用户或角色拥有基础的看、增、删、改功能，可根据模块或角色的需要增加、编辑其他权限。

11.人员管理功能

可对被测人的个人信息进行编辑功能，拥有新增、编辑、删除功能。

12.模板定制化功能

结论报告模板定制，可针对用户审讯要求定制结论报告模板。

13.案件信息定制化功能

案件信息可根据询问场景和内容设定，实际录入本次案件的信息。

14.专家评判功能

即按照一定的专家评判规则对生理指标进行综合评估后输出被检测对象的心理紧张程度。并以图像或者数据的方式显示其分析评判结果。

15.数据存储功能

在实际询问的场景中，及时保存、历史回溯的要求越来越高，需确保数据能够在任何状态下连续运转。自动存储就是在业务连续运转的前提下自动存储整合信息，以保护信息不丢失，同时管理复杂的信息，降低成本。本系统在系统数据存储方面支持高压缩比，在保证视频质量的情况下可存储更多视频。

16.日志功能

系统自动记录所有操作记录，用于安全审核查看。