表情大作战

Inspiration

灵感来源于Sensetime情绪识别sdk，我们想使用情绪识别技术做款有创意的产品，联想到用手势玩的“石头剪刀布”，于是想到可以以表情替代手势来玩双人比拼游戏！

What it does

3种游戏模式：【双人单机对战】【双人双机面对面对战模式】【双人双机远距离联网对战】 5种表情：幸福、悲伤、恐惧、平静、愤怒，各种表情相互克制，心机比拼其乐无穷！ 流程：自拍——表情对战——定制爆笑表情包展示

How we built it

我们基于IOS开发手机APP，使用OC语言进行前端开发，整个APP全部进行本地化部署，引入了OpenCV的IOS端SDK和Sensetime人脸识别SDK。整个APP共6个界面，三种模式，目前开发了双人单机对战模式，双人进行合照后，通过Sensetime SDK中的表情识别进行识别照片中的人脸表情的识别，根据预先指定的表情关系克制规则判断胜负，并使用C++/OpenCV设计算法，自动生成了表情包进行展示与保存。

• 黄思佳负责产品架构设计、产品原型设计
• 但宜霖负责进行App Icon、图片的设计与绘制
• 陈志浩负责iOS端Native App的编写 -李睿光利用C++/openCV实现表情包自动生成 ## Challenges we ran into
• OpenCV IOS SDK、Sensetime SDK的iOS端本地部署，以及将C、C++与OC混编；
• iOS端使用AVFoudation库进行相机的定制化；
• 获取人脸位置后，利用C++/OpenCV进行图像处理、表情包自动生成。

Accomplishments that we're proud of

我们开发了完整的App，项目开发完成度高，结合企业（Sensetime）API、OpenCV，进行人脸获取、表情包的自动生成功能。

What we learned

学习了Sensetime SDK的使用； 学习了iOS开发中进行图像等方面应用的处理方法。

What's next for 表情大作战

1. 对已有模式进行细节调整、优化，进行程序整体架构上的优化以增加可扩展性；
2. 对项目进行远程服务器部署；
3. 完成剩余模式的开发，即使用蓝牙、联网进行多机连接对战；

Built With

• c++
• objective-c
• opencv
• sentime-sdk