表情包已经成为聊天过程中必不可少的工具,但自己为图片添加文字制作表情包效率较低,因此我们试图研究自动为图片添加文字制作表情包的方法。

What it does

根据用户照片识别人脸特征属性(性别、颜值、表情、是否睁眼、是否张嘴等),给出最佳的配套文字并自动生成表情包。

How I built it

本表情包生成器(微信小程序)采取 cs 架构,利用微信小程序作为客户端,利用青云相关技术配合 Python flask 框架实现服务端。本程序要求用户从手机上传一张图片,利用 SenseTime 的表情识别功能获取图片的相关信息,对参数设置50%的阈值后,利用简单求和算法,从 MySQL 数据库中匹配相关表情文字,利用 Python 的 PIL 库完成文字的添加,最后返回给用户。

Challenges I ran into

本来希望全部使用微信小程序解决问题,但小程序开发平台在电脑和手机端实现方法似乎不同,导致手机端调用商汤 科技的 API 出现 403 Forbidden 的问题,最终改为自己搭建后台。 另外,在配文字时经常会出现文字颜色和图片底色相近无法看清的问题。

What's next for MemeGenerator

如果已有表情包数据库,可以先将所配文字相同的表情分为一类,经过有监督的机器学习以后可以更容易地得到图片的最佳配文。

Built With

Share this project:

Updates