随着互联网的不断发展，网络安全隐患也逐渐的暴露出来，为了整顿互联网环境，国家的监管力度也是不断提升，内容审核的标准也在不断提升，暴力、血腥、政治、黄赌毒及危机青少年不良社会导内容向已成为重点关注区域。
今天，萌萌客外包客服服务商的小编给大家带来的内容就是——内容审核中的文本审核的技术与逻辑是什么。
文本可能是一个签名、一个词组，一段文本甚至是一篇文章，还有些文字附带在图片上，如一张海报，一张头像图等。从内容上分，内容应该分为三种，文字，图形与语言。在文字上来说，国内图书有中图法，国外有亚马逊分类法，高斯分类等。
对于图片中存在的文字，识别最多使用的还是OCR(文本识别技术)。对于长短文本及变形变异字体中，会使用到垃圾文本处理技术(在AI技术来讲：CRF分词，NLP，n-gram算法，随机森林算法)随机森林指的是利用多棵树对样本进行训练并预测的一种分类器，通过对文本的处理进行归类，自动预测文本内容的形式。
当你要做预测的时候，新的观察值随着决策树自上而下走下来并被赋予一个预测值或标签。一旦森林中的每棵树都给有了预测值或标签，所有的预测结果将被归总到一起，所有树的投票返回做为最终的预测结果。简单来说，99.9%不相关的树做出的预测结果涵盖所有的情况，这些预测结果将会彼此抵消。少数优秀的树的预测结果将会脱颖而出，从而得到一个好的预测结果。
在对于上下段落中，突然出现的垃圾文本或不相关的文字或词组，会采用上下语义识别技术(LSTM深度神经网络，word-embedding)。此算法技术，会判断此句话中是否跟上下文结合，是否是一段无效的垃圾文本，最常见场景是我们在评论区随意敲打着一串自己都看不懂的文本。此技术很适合用于评论区的灌水，刷屏，甚至辱骂性的文字内容。
对于图片的识别，目前单靠机器识别，还无法满足审核的需求，目前机器识别技术只能辅助人工审核，暂无法全面机器审核。AI机器审核只相当于人类三岁的智商，还处于弱智能时代，所以为了增强内容审核安全及无延迟的用户体验，还是需要人工团队来审核的。
内容审核除了有文本审核之外，还包括图像审核、视频审核、语音审核、直播审核和人脸审核。文本审核的技术与逻辑相信通过上面萌萌客外包客服服务商的小编的介绍您已经清楚了，下次小编带您看看内容审核中其他几类的技术与逻辑都是什么样的。
【萌萌客:www.mmker.cn】提供专业的电商在线客服外包服务、电话客服及内容审核等服务，帮您简单客服难题。
