艺卡智能移动拍摄系统的研发与应用

　　【摘要】 沈阳广电传媒集团研发的艺卡智能移动拍摄系统(以下简称艺卡)于2018年8月研发成功，10月在公共频道200演播室试运行，2018年9月广电总局规划院广电计量检测中心对该系统进行了测试和验证。本文对艺卡涉及的相关技术、系统架构及系统软件进行了详述。艺卡的成功研发与应用，为广播电视制作智能化提升推进提供有益的借鉴。

　　【关键词】 演播室智能拍摄 精准拍摄 拍摄主体跟踪 无轨移动 微距运动拍摄和动态跟踪拍摄

　　推荐阅读：《模式识别与人工智能》

　　一.引言

　　目前，广播电视节目制作已经进入一个全新的阶段，广电专用机器人在综艺晚会、新闻演播间、体育赛事、VR制作等很多方面大显身手。常见的专用机器人主要是轨道机器人。轨道机器人受轨道和线缆的限制，拍摄空间有限。且这些智能拍摄设备基本都是国外进口，尚无具有完全自主知识产权的国产产品，一般价格较高，让很多广播电视台和制作单位难以承受，导致技术推广受限，应用有限。

　　艺卡以国产机器人为摄像机承载载体，自主研发软件控制系统，实现机器人智能拍摄，实现精准拍摄、拍摄主体跟踪、无轨移动、微距运动拍摄和动态跟踪拍摄等功能。为实现广播电视拍摄智能化，提高电视节目制播效率，对广播电视行业科技进步起到极大的推动作用。

　　二.艺卡智能移动拍摄系统涉及的相关技术

　　艺卡通过复合机器人和摄像机12个参数的协同控制实现精准拍摄。本系统创造性的将复合机器人和摄像机组成一个完整的移动拍摄系统，其中复合机器人由传统的AGV机器人和机器臂机器人两种工业机器人复合而成。在实现移动拍摄时，要保持摄像机在运动过程中对拍摄目标主体的清晰度和合适的曝光度，需要AGV机器人、机器臂机器人、摄像机协同工作，机器人和机器臂的运动姿态与摄像机的光圈大小、焦距等参数有着紧密的关系，存在著极大的参数相关性，且这种参数相关性并非单一的相关，而是多参数相互交叉的复合相关。需要将多维度的参数进行融合，建立统一、复杂的数学模型，设计协同并发算法才能实现精准拍摄。在本系统中AGV具有直线运动、速度(加速度)、转动3个维度的参数;机器臂具有6个轴向的角度(角速度)6个维度的参数;摄像机主要具有焦距、光圈、推拉3个维度的参数，上述12个维度的参数经过协同控制软件模块进行统一协同控制，达到精准拍摄，实现了人工拍摄无法达到的效果。

　　1.机械机构单元实施方式

　　机械机构是智能移动机器人的骨架，由机器臂和AGV车对接而成。机械臂采用的型号是新松SR5CL型，为6轴机械臂，机械臂由本体和控制系统组成。本体包含电机、减速机等驱动手臂运动的部件;控制系统保证机械臂的正确方向及承受由于工件的重量所产生的弯曲和扭转的力矩。机械臂包括6个自由度，可实现机器人伸缩、旋转和升降等动作。AGV车使用新松仓储地标感测智能车，有蔽障、路径规划的能力。

　　支撑机器人所有的模块，动力与驱动单元为智能移动机器人提供动力来源;环境感知单元负责对周围的环境进行感知识别及各种参数的收集，然后通过转换成控制模块可以识别的光电信号，输入到控制单元进行数据处理;执行机构单元为智能移动机器人执行部分，能根据控制中心的命令执行命令，完成任务;信息处理与控制单元作为整个机械系统的核心部分，将来自传感器部分采集到的信息进行集中汇总存储，对所有信息分析、规划、决策并输出命令，使机器人有目的运行。

　　2.操作系统

　　智能移动拍摄系统的控制部分由沈阳广电传媒集团自主研发的“艺卡智能移动拍摄远程控制系统”实现。远程控制系统从软件架构上可归纳为三个层面，底层为指令执行层，主要向中间层反馈当前拍摄系统状态，并根据收到的指令执行相应动作;中间层为协同控制层，根据系统输入信息计算智能拍摄系统的控制指令，是软件控制系统的核心部分;顶层为拍摄场景设计层，为操作人员提供软件控制系统的人机交互界面，用于设计拍摄动作，也可以根据预设值自动生成机器人的拍摄动作。

　　远程控制系统从实现功能上可划分为5个模块：人体检测跟踪模块、机器人运动控制模块、场景编排设计模块、相机镜头控制模块和主控模块。人体检测跟踪模块完成摄像机拍摄视频中目标人体位置的持续检测和跟踪;机器人运动控制模块根据主控模块的指令，控制调整机器人的拍摄角度，位置和运动轨迹;场景设计编排模块根据预设拍摄需求自动生成机器人的拍摄动作，并根据拍摄动作发送控制指令。相机镜头控制模块根据收到的控制指令调整镜头的各项参数。主控模块实现上述功能模块的消息同步与协同控制，通过消息机制无延迟收发信息，使机器人完成拍摄任务，也为后续模块升级和功能扩展提供了接口。

　　3.主要功能特点

　　该系统具有精准拍摄、拍摄主体跟踪、无轨移动、微距运动拍摄和动态跟踪拍摄等五大特点，是机器人技术和人工智能技术在广电领域的创新应用。

　　4.关键技术及创新点

　　(1)拍摄主体跟踪技术

　　基于人工智能的拍摄主体识别技术，实现了精确聚焦的目标跟踪。

　　本系统创造性的将人工智能的理念和算法应用到拍摄目标识别中，能够根据不同的目标主体进行轮廓识别，将识别的轮廓区域通过平面重心提取算法，提取拍摄主体的重心点后，AGV 和机器臂以此进行高速修正，将摄像机聚焦到目标重心，随后计算出恰当的摄像机焦距参数值，反馈至协同控制模块，不断调整机器人、摄像机，从而实现了精确聚焦的目标跟踪。

　　(2)精准拍摄技术

　　使用高精度的移动轨迹标定技术，实现了同一轨迹多次高精度重复拍摄。

　　系统所使用的机器人和机器臂具有毫米级的精度，保证了摄相机拍摄点位的精度。在移动拍摄的过程中，将摄像机的运动轨迹通过 12 个维度的参数进行数学分割，分割成基于时间轴的切分点，同时对点间的参数变化进行拟合算法标定，即运动轨迹标定。然后记忆存储，存为拍摄场景。在每次同轨拍摄时，通过自动定点复位和校正措施，从而实现毫米级的运动轨迹重复拍摄。