APP下载

基于RK3399平台的3D人脸建模设计与实现

2023-07-10关耀枢汪金辉

电子产品世界 2023年6期
关键词:走线人脸摄像头

关耀枢 汪金辉

关键词:医美;3D建模;RK3399;DSP

近几年,医美行业迅猛发展,但目前存在获客成本高、转化率低、潜在客户整形前顾虑较多等痛点,因此基于行业现状以及发展前景,开发一款基于人脸高精度扫描,得到客户面部数字化彩色三维高还原人脸模型,通过对模型进行面部特征分析,并按客户需求进行预整形并呈现最终效果的一体解决方案,才能很好地满足消费者的需求,带来更好的应用体验,占领魔镜产品的中高端市场,提高用户黏性,提升品牌认知度。本项目采用瑞芯微新一代应用处理器方案RK3399+DSP 芯片RK1608,RK3399 芯片是一款低功耗、高性能的处理器,集成双核Cortex-A72+ 四核Cortex-A53 CPU,集成ARM NEON 技术,可增强较多的多媒体应用体验。另外集成高性能Mali-T860 MP4 GPU,嵌入式3DGPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX 11.1,并且带有MMU 的专用二维引擎将最大限度地提高显示性能并提供非常平稳的操作。RK1608 用于对MIPI CSI 信号进行DSP 加速等预处理。方案支持各主流的多媒体解码、USB3.0、SD3.0、TYPE C 信源输入;视频解码支持H.264/H.265/VP9 等,支持H.264/MVC/VP8 1080P@30Hz 视频编码,同时可支持多屏异显。采用RTK 的codec ALC5616,功放采用ESMT 的模拟功放ESMT52050,同时该项目还具有网络、多路USB、串口、RS232 接口等功能,完全满足医美行业需要的各种性能要求,使产品具备强劲的竞争力。

1 3D人脸建模硬件设计

1.1 硬件系统架构

本项目采用瑞芯微的RK3399+RK1608 集成方案,在核心處理模块,RK3399 需要将3D CAMERA 采集的USB 数据解码后再编码成MIPI DSI 信号发送到RK1608,2D 摄像头直接将MIPI CSI 信号送入RK1608,经RK1608 做DSP 加速以及预处理后送入RK3399 做ISP 处理,此时需要通过HDMI OUT 转LVDS 进行屏显。方案同时兼容3 个2D 摄像头输入设计,可扩展性极强。在信号输入部分,由于芯片内部没有集成PHY,网络信号MDI/MDIX 经PHY 芯片转换成RMII 信号送入主芯片处理。3G/4G 信号需经模块转换成USB 信号送入主芯片。SD 以及TYPEC 信号直接送入主芯片处理。USB 信号因兼容设计,部分经过HUB 后送入主芯片。在信号输出部分,本方案兼容两路屏输出(LVDS+EDP),支持双屏异显或者同显,支持HDMI OUT;音频信号,因RK3399 芯片接口只有I2S 输出,需要外接CODEC芯片进行转换成模拟音频信号,为兼容大功率要求,模拟音频信号送入功放进行放大后输出,另外耳机以及MIC 均由codec 芯片进行处理。系统框图如图1 所示。

1.2 系统电源框图

系统采用单12 V 供电,通过PMIC RK808-D 产生核心系统部分供电,通过其他DCDC/LDO 产生其他部分供电,如SY837/SY838/SY8120 系列IC 等,TYPE C供电需要考虑外部3D 摄像头瞬间抽电需求,因此预留单独DCDC 供电给TYPE C 接口。整体系统电源框图如图2 所示。

1.3 核心摄像头选型以及设计要素

本方案采用intel 3D 摄像头+12MPFF 2D camera(sony IMX378),1 200万像素高清拍摄,100 万像素纹理贴图,3 万深度信息,完美呈现人脸细节,实现3D 精准建模。因RK3399 自带ISP 处理,支持MIPI CSI 信号输入,因此2D 摄像头采用MIPI 接口接入到RK3399,考虑到整机尺寸较大,2D 摄像头走线较长,约360 mm,而MIPICSI 信号因信号幅度低,容易受干扰,业内普遍建议线材长度不能长于70mm。同时该摄像头Sensor 功耗较大,对于MIPI 走线(软FPC 铜线)要求非常高。因此我们对线材进行了优化,包括信号走线阻抗控制,供电走线线宽以及铜厚处理等措施确保2D 摄像头信号质量,考虑到人脸建模过程中的用户体验感,我们设计2D 摄像头的焦距在45 cm 左右。3D 结构光模组采用TYPE C 接口,因此RK3399 主板同样采取TYPE C 接口以保证线材的通用性,支持正反插设计,支持固定电压供电。在结构设计上,需要保证3D 结构光模组与2D 摄像头的相对位置固定,并且3D结构光模组的视角范围要小于2D 摄像头以确保3D结构光的贴图数据完整。

2 3D人脸建模软件设计

2.1 软件系统架构

软件系统采用安卓8.1,自主开发医美整形APP,主要核心是将Camera 经过RK1608 处理后的数据通过3D 建模算法形成3D 人脸模型。通过人脸模型可以进行人脸美学分析、整形模拟。其次我们也可以导入客制化的AI 肌肤检测SDK,实现肌肤检测功能,并可推荐相关产品。除了整形模拟、人脸美学分析、AI 肌肤检测,我们还自研商城模块,可根据人脸分析结果,智能推荐医美商品,并可后台配置,在线升级等功能。软件系统架构如图3 所示。

2.2 3D建模软件流程图

设备开机后,系统先进行初始化以及自检,正常后直接进入3D 建模APP,此时2D、3D 摄像头开启,系统通过2D 摄像头生成的预览流实时侦测是否有人脸处于合适位置。当系统检测到人脸处于合适位置时,提示用户可以开始建模,用户点击确认后,系统打开补光灯,同时开始扫描用户人脸数据,采样频率为30 Hz,待扫描完成后系统会将精确的2D/3D 数据进行贴图,生成人脸3D 数据模型,接下来用户就可以根据3D 模型做整形模拟分析等。流程图如下图4 所示。

3 结束语

随着大家对更高生活品质的要求,医美市场前景非常广阔,本文简要介绍了医美魔镜的市场现状以及行业痛点,详细阐述了通过RK3399 平台开发来实现3D 人脸建模设计的设计流程以及注意要素,对后续其他品类医美魔镜开发具备一定借鉴意义。

猜你喜欢

走线人脸摄像头
浙江首试公路非现场执法新型摄像头
摄像头连接器可提供360°视角图像
有特点的人脸
一种大承重集装袋
三国漫——人脸解锁
基于太赫兹技术的新一代摄像头及其在安防领域的应用探讨
浅析PCB中DDR3等长线的设计
PCB板内阻抗测试需求与技术
马面部与人脸相似度惊人
空调器机内配线走线若干问题的探讨