谛听安全|内容审核系统的搭建设计思路

对于信息产品和内容产品,内容评审是必不可少的环节之一。审核既是产品风险的控制手段,又是维护网络生态环境的重要环节。本文阐述了构建内容审核系统的设计思路和程序,希望能对大家有所帮助。

如果运营同学通过简单的流程梳理,不难发现所涉及的对象包括发送用户、接收用户和内容审核(管理员等)。在设计时有两个方向:一方面简单地考虑对象的处理机制。 在另一方面,考虑关联对象被连接以说明产品设计。

用户的信息可以分类为年龄,性别,地理位置,设备,IP地址,使用时间,交易信息,用户发布等。以上信息均属于用户的数据,用户数据是用户分析的基础,有些数据能在一定程度上反映用户信用。

而用户评分系统是对用户的基础数据进行分析和数字化,可以通过权重累加,也可以通过总分相加。比如:发布过一个企业违规内容的用户,则分值降低等。但是仅仅通过分值进行系统分析可能不够,因为某些分值高的用户还是有可能发布不好的内容。

因此在设计搭建时,需要再学习其他管理策略研究处理,比如高中低风险以及用户提供制度、黑白名单制度等。例如,在检测到用户发布非法内容后,则将与评分值解耦,定义为高风险用户,该用户将被多次放入手动审计机制中。

       谛听安全|内容审核系统的搭建设计思路_第1张图片

说完了上述内容,简单讲一下敏感词的策略。以下将简单概述一下内容审核中不同的敏感词策略,常见有:

1. 关键词:

禁止关键词:一经识别即拦截。疑似关键词:可以支持更多策略,可以设置阈值。

处理方式有涉嫌送审、未送审拦截、黑名单拦截。设置阈值是指设置一定的数量,如果检测到超过一定次数,就会进行相应的处理。

2. 黑白名单:顾名思义,黑名单数据一律通过拦截、白名单企业一律不检测系统拦截。

3. 用户频率: 主要根据用户发送的方式和次数计算用户频率,形成用户频率统计数据。根据用户的频率可以处理: 发送到复查、直接截取、截取加黑。

4. 白指纹:根据指纹的唯一性质,为内容文件通过消息摘要算法生成MD5,配置为黑名单,一旦发现相同的MD5被拦截。白名单也是同理策略。

对于信息产品的各个企业来说,有时审计的内容不能100%准确,所以用户可以通过以上各方式来处理。国内优质人工智能数据服务平台谛听安全,凭借数十年的产品内容经验,积累了更全面的审计维度,从平台的内容安全与运营角度出发,为不同行业的用户提高平台环境与运营活跃度,并且具有行业领先的非法过滤能力,从而为用户提供更可靠、更高质量的服务质量与速度。

你可能感兴趣的