?最近幾年，網(wǎng)信辦對(duì)互聯(lián)網(wǎng)行業(yè)監(jiān)管趨嚴(yán)，重拳打擊了很多涉政治敏感、黃賭毒以及三俗內(nèi)容的產(chǎn)品。互聯(lián)網(wǎng)無(wú)法外之地，在此背景下，加強(qiáng)公司內(nèi)容安全管控機(jī)制，建立完善的內(nèi)容審查制度，構(gòu)建以反垃圾反作弊為核心的風(fēng)控機(jī)制和流程顯得尤為重要。

不重視風(fēng)控機(jī)制的公司，損失慘重：

重則如頭條系的內(nèi)涵段子直接永久關(guān)停，一個(gè)擁有2億注冊(cè)用戶日活過(guò)千萬(wàn)，估值幾十億的APP，在一紙監(jiān)管令下灰飛煙滅。如果早點(diǎn)采取風(fēng)控措施，加強(qiáng)用戶審核和ugc內(nèi)容審核，或許可以改寫(xiě)永久關(guān)停的命運(yùn)。

輕則被責(zé)令下架整改，封禁賬號(hào)：

“2019年4月11日，針對(duì)視覺(jué)中國(guó)網(wǎng)站傳播違法有害信息的情況，天津市互聯(lián)網(wǎng)信息辦公室依法約談網(wǎng)站負(fù)責(zé)人，責(zé)令該網(wǎng)站立即停止違法違規(guī)行為，全面徹底整改?！薄獊?lái)源：天津網(wǎng)信辦

本文不談視覺(jué)中國(guó)侵權(quán)及商業(yè)模式問(wèn)題，導(dǎo)致監(jiān)管出手的是傳播違法有害信息，為了文章安全暫不放那幾張敏感侵權(quán)照片。

“2019年4月12日，一向受股民喜愛(ài)的連股評(píng)社區(qū)「雪球」APP也無(wú)法幸免，APP被多平臺(tái)下架整改7天，發(fā)帖和評(píng)論功能暫停，雖然官方回復(fù)是“因系統(tǒng)升級(jí)，發(fā)帖評(píng)論暫?！薄?/p>

2018年12月以來(lái)，國(guó)家網(wǎng)信辦會(huì)同有關(guān)部門，針對(duì)涉黃涉賭、惡意程序、違規(guī)游戲、不良學(xué)習(xí)類移動(dòng)APP開(kāi)展專項(xiàng)整治行動(dòng)，關(guān)停下架違法違規(guī)APP33638款，攔截惡意網(wǎng)站鏈接234萬(wàn)余個(gè)，社交平臺(tái)清理低俗不良信息2474萬(wàn)余條、封禁違規(guī)賬號(hào)364萬(wàn)余個(gè)，APP亂象得到有效遏制，網(wǎng)絡(luò)生態(tài)持續(xù)向好?！薄獊?lái)源：網(wǎng)信中國(guó)

在當(dāng)前互聯(lián)網(wǎng)強(qiáng)監(jiān)管壓力之下，已經(jīng)有很多公司重視風(fēng)控，比如：頭條和快手都擴(kuò)招了幾千人專門做內(nèi)容審核，如何有效提升風(fēng)控水平，降低風(fēng)控成本，是風(fēng)控產(chǎn)品經(jīng)理的新課題。

下面重點(diǎn)聊三個(gè)話題：三大風(fēng)險(xiǎn)、兩大審核機(jī)制、六大風(fēng)控產(chǎn)品。

一、三大風(fēng)險(xiǎn)

根據(jù)風(fēng)險(xiǎn)標(biāo)的及場(chǎng)景不同，這類內(nèi)容型產(chǎn)品的風(fēng)險(xiǎn)主要分為三類：賬號(hào)風(fēng)險(xiǎn)、內(nèi)容風(fēng)險(xiǎn)和數(shù)據(jù)隱私風(fēng)險(xiǎn)。

1. 賬號(hào)風(fēng)險(xiǎn)

主要從虛假用戶識(shí)別、惡意注冊(cè)以實(shí)名認(rèn)證等維度設(shè)計(jì)風(fēng)控策略。

賬戶體系風(fēng)控是攔截羊毛黨黑產(chǎn)的第一道關(guān)口，某些創(chuàng)業(yè)公司為刷數(shù)據(jù)融資，私下里會(huì)和羊毛黨串聯(lián)起來(lái)刷注冊(cè)量、刷訂單以及活躍度等指標(biāo)。這是飲鴆止渴的做法，不在本文討論范圍內(nèi)。

2. 內(nèi)容風(fēng)險(xiǎn)

主要從牌照、版權(quán)等資質(zhì)條件，以及文字、圖片以及視頻三大維度的進(jìn)行風(fēng)險(xiǎn)管控。

傳統(tǒng)媒體從事新聞資訊和視頻節(jié)目，需要有《互聯(lián)網(wǎng)新聞信息服務(wù)許可證》、《網(wǎng)絡(luò)視聽(tīng)節(jié)目許可證》等牌照，是否具備相關(guān)牌照也是平臺(tái)內(nèi)容風(fēng)險(xiǎn)的一部分。

道路千萬(wàn)條，合法經(jīng)營(yíng)第一條。經(jīng)過(guò)這么多年發(fā)展，以頭條和一點(diǎn)資訊為代表的聚合類資訊平臺(tái)已經(jīng)解決了牌照問(wèn)題，版權(quán)問(wèn)題也不再是障礙。

內(nèi)容本身的文字、圖片和視頻是風(fēng)險(xiǎn)管控的重點(diǎn)。

以頭條為代表的資訊聚合平臺(tái)本身不產(chǎn)生新聞資訊，但是通過(guò)算法平臺(tái)進(jìn)行分發(fā)觸達(dá)消費(fèi)者，一樣需要承平臺(tái)應(yīng)有的責(zé)任。雖然頭條通過(guò)收購(gòu)曲線拿到視頻牌照，解決了牌照風(fēng)險(xiǎn)。但是短視頻爆發(fā)得太快，如何在牌照庇護(hù)下做好視頻內(nèi)容管控，是頭條類企業(yè)面臨的新課題。

上文中，引發(fā)監(jiān)管出手的主要是內(nèi)容風(fēng)險(xiǎn)——即APP里出現(xiàn)政治敏感詞匯、黃賭毒或者不當(dāng)時(shí)政新聞內(nèi)容。

在發(fā)展初期，APP用戶少的時(shí)候還能進(jìn)行用戶審查和內(nèi)容管控，隨著用戶爆發(fā)式增長(zhǎng)。在推崇算法至上的企業(yè)里，天真認(rèn)為技術(shù)是中立的，算法無(wú)罪，任由大量黃賭毒垃圾內(nèi)容飼養(yǎng)算法和用戶，最終走向失控的局面。

在人工智能和算法為王的信息時(shí)代，還是要為算法劃一道底線，知道安全邊界在哪里。

同時(shí)，「人工」的作用不可小覷，在頭條和快手里出現(xiàn)了很多代表中央聲音的部級(jí)媒體大號(hào)，ai算法在人的干預(yù)下，給與了置頂權(quán)限和流量?jī)A斜，以便傳播時(shí)代聲音，弘揚(yáng)社會(huì)正能量。

3. 數(shù)據(jù)和隱私風(fēng)險(xiǎn)

包括爬蟲(chóng)反作弊機(jī)制、數(shù)據(jù)加密和防黑客攻擊等技術(shù)風(fēng)險(xiǎn)防范。

時(shí)間回放5年前，頭條剛起來(lái)的時(shí)候被幾大媒體圍攻，頭條爬蟲(chóng)無(wú)授權(quán)抓取其他媒體平臺(tái)內(nèi)容到自家平臺(tái)，涉嫌侵權(quán)違規(guī)。這在一定程度上暴露了傳統(tǒng)媒體對(duì)內(nèi)容信息保護(hù)不夠，反爬蟲(chóng)能力不強(qiáng)的弱點(diǎn)。

網(wǎng)貸市場(chǎng)上有很多針對(duì)天貓、京東和點(diǎn)評(píng)商戶的貸款產(chǎn)品，這些企業(yè)通過(guò)爬取天貓、京東和美團(tuán)的商戶數(shù)據(jù)去做營(yíng)銷或者貸款服務(wù)，電商平臺(tái)的數(shù)據(jù)反爬機(jī)制建設(shè)任重道遠(yuǎn)。

電商場(chǎng)景的風(fēng)控除了數(shù)據(jù)反爬取，更多是營(yíng)銷風(fēng)險(xiǎn)，以后文章詳細(xì)介紹。

最后，用戶在平臺(tái)進(jìn)行注冊(cè)填寫(xiě)了個(gè)人信息，平臺(tái)有責(zé)任保護(hù)用戶隱私數(shù)據(jù)不被泄露，每年網(wǎng)上都有爆出某某平臺(tái)用戶數(shù)據(jù)泄露在黑市交易。在與黑產(chǎn)對(duì)抗的過(guò)程中，平臺(tái)要投入資源加強(qiáng)風(fēng)控安全體系，做好反爬蟲(chóng)反作弊措施。

二、兩大審核機(jī)制

審核機(jī)制包括：系統(tǒng)自動(dòng)過(guò)濾和人工審核兩大模塊。

針對(duì)商戶bgc和用戶ugc平臺(tái)，首先使用系統(tǒng)自動(dòng)過(guò)濾敏感內(nèi)容，系統(tǒng)無(wú)法有效識(shí)別判斷的在進(jìn)行人工審核，這是常用的用戶和內(nèi)容審核風(fēng)控流程。

在UGC機(jī)制上， 有以下幾種策略進(jìn)行風(fēng)控控制：免登錄發(fā)言、注冊(cè)登錄后發(fā)言、匿名發(fā)言、實(shí)名認(rèn)證后發(fā)言、賬號(hào)粉絲/注冊(cè)時(shí)間超過(guò)一定限制才能發(fā)言、專家身份認(rèn)證后發(fā)言、直播聊天室主持人控麥發(fā)言等維度。

目前大部分平臺(tái)都要求注冊(cè)登錄通過(guò)手機(jī)號(hào)認(rèn)證后發(fā)言，手機(jī)號(hào)注冊(cè)通過(guò)后，借助運(yùn)營(yíng)商渠道完成弱實(shí)名認(rèn)證，這也是視頻、社交類平臺(tái)主流的賬號(hào)體系實(shí)名模式。手機(jī)號(hào)弱實(shí)名認(rèn)證有很多漏洞，平臺(tái)的反作弊風(fēng)控策略攔截效果一般。

黑產(chǎn)羊毛黨手中專門提供手機(jī)號(hào)的卡商，貓池卡池養(yǎng)幾千萬(wàn)張卡，很容易弄到一套低成本的手機(jī)號(hào)實(shí)名信息。網(wǎng)絡(luò)水軍和職業(yè)差評(píng)師是這類黑產(chǎn)卡商的大客戶。地下黑產(chǎn)羊毛黨產(chǎn)業(yè)鏈有嚴(yán)密的分工流程和組織體系，留在以后文章詳細(xì)介紹。

如果涉及交易支付環(huán)節(jié)，銀行卡四要素實(shí)名是安全性更高的實(shí)名認(rèn)證模式，作弊成本比手機(jī)號(hào)實(shí)名高幾倍，但是這只在電商平臺(tái)才用得到。ugc類平臺(tái)為了降低發(fā)帖門檻保證用戶體驗(yàn)，很少要求強(qiáng)實(shí)名認(rèn)證。

從用戶注冊(cè)登錄，到發(fā)布新聞資訊、評(píng)論和視頻等內(nèi)容，主要的審核環(huán)節(jié)包括：昵稱、頭像、實(shí)名、ugc產(chǎn)生的資訊文章、鏈接、圖片和視頻。

新聞資訊、評(píng)論和視頻點(diǎn)播要求貫徹先審后播的政策。這類產(chǎn)品形態(tài)可以執(zhí)行【事前預(yù)防/審核-事中及時(shí)阻斷-事后復(fù)核追溯】的完整風(fēng)控流程。

對(duì)于直播，只能做到【事中及時(shí)阻斷——事后復(fù)核追溯】，所以直播類應(yīng)用面臨的挑戰(zhàn)更大，更需要嚴(yán)把主播資質(zhì)審核關(guān)口，避免出現(xiàn)直播中出現(xiàn)「黃鱔門」這種涉黃涉暴力事件，直到輿情爆發(fā)直播平臺(tái)才后知后覺(jué)介入收拾爛攤子。

在審核流程上，有以下幾種風(fēng)控處理機(jī)制：

1. 刪除敏感文章、圖片和視頻：常見(jiàn)于很多微信公眾號(hào)作者，容易被河蟹。
2. 對(duì)用戶禁言，禁言時(shí)間根據(jù)嚴(yán)重程度設(shè)定：常見(jiàn)于社交平臺(tái)和聊天室。
3. 永久封禁賬號(hào)，銷號(hào)處理，對(duì)于平臺(tái)來(lái)說(shuō)這是比較嚴(yán)重的處罰，比如：咪蒙。
4. 鏈接屏蔽，比如微信屏蔽抖音和其他一些有風(fēng)險(xiǎn)的短視頻的URL鏈接，對(duì)微信來(lái)說(shuō)是一種風(fēng)險(xiǎn)策略。這里不談競(jìng)爭(zhēng)關(guān)系。

三、六大風(fēng)控產(chǎn)品

面對(duì)三大風(fēng)險(xiǎn)和兩大審核機(jī)制，需要采用如下六大風(fēng)控產(chǎn)品：設(shè)備指紋、滑塊驗(yàn)證、實(shí)名認(rèn)證、黑名單庫(kù)、敏感詞庫(kù)、半監(jiān)督機(jī)器學(xué)習(xí)算法，共同構(gòu)建強(qiáng)大的反作弊反垃圾智能風(fēng)控平臺(tái)加以應(yīng)對(duì)。

1. 設(shè)備指紋

設(shè)備指紋是指：可以用于唯一標(biāo)識(shí)出該設(shè)備的設(shè)備特征或者獨(dú)特的設(shè)備標(biāo)識(shí)，可以精準(zhǔn)識(shí)別設(shè)備，識(shí)別風(fēng)險(xiǎn)設(shè)備，對(duì)設(shè)備進(jìn)行聚集性、相似度等綜合分析 。

設(shè)備指紋主要包括如下信息：設(shè)備IMEI碼、Android_ID、序列號(hào)、SIM卡號(hào)等，是反作弊反欺詐風(fēng)控模型的重要變量，這些是暗面數(shù)據(jù)，不需要用戶填寫(xiě)即可完成采集。

用戶感知層面，如果在常用手機(jī)上開(kāi)通了支付寶免密支付，正常環(huán)境下是可以支持使用的。

如果換一個(gè)設(shè)備，或者地理環(huán)境、網(wǎng)絡(luò)環(huán)境發(fā)生變更后，需要輸入密碼或者手機(jī)驗(yàn)證碼重新進(jìn)行安全校驗(yàn)，就是因?yàn)樵O(shè)備指紋信息變了，觸發(fā)了支付寶風(fēng)控規(guī)則。

2. 滑塊驗(yàn)證

滑塊驗(yàn)證屬于驗(yàn)證碼的一種，是人機(jī)識(shí)別反作弊的關(guān)鍵一環(huán)，主要用在新用戶注冊(cè)、登錄以及風(fēng)控引擎判斷為風(fēng)險(xiǎn)操作的環(huán)節(jié)。

很多政府網(wǎng)站可以免登錄查詢相關(guān)數(shù)據(jù)，比如：企業(yè)信用信息公示系統(tǒng)。為了防止被爬蟲(chóng)大量爬取數(shù)據(jù)，也會(huì)增加驗(yàn)證碼環(huán)節(jié)，提高數(shù)據(jù)爬取成本。

簡(jiǎn)單的數(shù)字驗(yàn)證碼、圖形驗(yàn)證碼容易被爬蟲(chóng)攻破，前幾年網(wǎng)上比較火的12306的圖形識(shí)別驗(yàn)證碼被很多用戶吐槽難以識(shí)別，但也是可以利用深度學(xué)習(xí)算法破解的。筆者也曾做過(guò)相關(guān)爬蟲(chóng)產(chǎn)品，難點(diǎn)在于需要持續(xù)維護(hù)成本，驗(yàn)證碼策略變更或者網(wǎng)站改版都需要優(yōu)化代碼。

目前最難攻破的應(yīng)該是復(fù)雜的滑塊驗(yàn)證碼，對(duì)爬蟲(chóng)算法要求較高，人工智能投入不劃算。

機(jī)智的產(chǎn)品經(jīng)理想到了最簡(jiǎn)單的辦法：人肉破解驗(yàn)證碼——人工打碼平臺(tái)。羊毛黨把需要識(shí)別的驗(yàn)證碼通過(guò)api接口傳給打碼平臺(tái)，打碼平臺(tái)把驗(yàn)證碼分發(fā)給很多網(wǎng)絡(luò)上的兼職眾包人員，人工識(shí)別出結(jié)果后返給羊毛黨，完成了驗(yàn)證碼的人工破解。

3. 實(shí)名認(rèn)證

實(shí)名分為弱實(shí)名和強(qiáng)實(shí)名，弱實(shí)名一般指校驗(yàn)姓名+身份證號(hào)碼，通過(guò)運(yùn)營(yíng)商手機(jī)號(hào)驗(yàn)證即可，此種方案默認(rèn)運(yùn)營(yíng)商已經(jīng)做過(guò)實(shí)名。

單獨(dú)的姓名+身份證號(hào)碼一致性校驗(yàn)，接口成本不到1毛錢，市場(chǎng)上比較通同的是國(guó)政通。

強(qiáng)實(shí)名最常見(jiàn)的就是銀行卡四要素校驗(yàn)：姓名+身份證號(hào)碼+銀行卡號(hào)+銀行預(yù)留手機(jī)號(hào)，通過(guò)綁卡即可完成實(shí)名認(rèn)證，校驗(yàn)要素越多，實(shí)名認(rèn)證約可靠，因?yàn)樘岣吡搜蛎h作弊成本。

除了自然人實(shí)名，很多有商戶入駐的平臺(tái)還有企業(yè)實(shí)名，比如：天貓京東的第三方pop商戶入駐。

五證合一后，企業(yè)實(shí)名主要校驗(yàn)三證：工商營(yíng)業(yè)執(zhí)照、稅務(wù)登記證、組織機(jī)構(gòu)代碼證。

同時(shí)，為了確保安全，可以要求企業(yè)上傳銀行開(kāi)戶許可證、法人身份證件等信息作為增信資料。三證合一換領(lǐng)了統(tǒng)一社會(huì)信用代碼證的，校驗(yàn)統(tǒng)一社會(huì)信用代碼和企業(yè)名稱、法人姓名以及法人身份證號(hào)是否一致，即企業(yè)四要素驗(yàn)證。

市面上很多這樣的校驗(yàn)接口，在京東萬(wàn)象數(shù)據(jù)超市可以找到，成本比個(gè)人實(shí)名貴，企業(yè)四要素接口大概一塊錢一次。

4. 黑名單

黑名單是比較常見(jiàn)的風(fēng)控產(chǎn)品，具體細(xì)分類型有：失信名單、金融疑似欺詐、信貸不良、多頭申請(qǐng)和地址黑名單等維度。可以積累自身數(shù)據(jù)源，加上市面上第三方提供的黑名單數(shù)據(jù)，做多重驗(yàn)證。

對(duì)于內(nèi)容型產(chǎn)品，主要用于在賬號(hào)注冊(cè)環(huán)節(jié)，可以根據(jù)手機(jī)號(hào)、身份證號(hào)碼、以及設(shè)備id維度交叉驗(yàn)證查詢黑名單，在源頭自動(dòng)攔截羊毛黨黑產(chǎn)入駐。

5. 敏感詞庫(kù)

敏感詞庫(kù)用于過(guò)濾ugc內(nèi)容，通過(guò)NLP自然語(yǔ)言分析是否有敏感內(nèi)容，實(shí)現(xiàn)系統(tǒng)自動(dòng)過(guò)濾，主要針對(duì)文字內(nèi)容。

如果為了防止誤殺，還可以在敏感詞上面加一層過(guò)濾詞，命中敏感詞的系統(tǒng)自動(dòng)刪除。

命中過(guò)濾詞的做風(fēng)險(xiǎn)提示，有人工介入處理決定是否刪除。對(duì)于重視評(píng)論和發(fā)帖的論壇，封殺風(fēng)控策略過(guò)嚴(yán)會(huì)影響某些部門的KPI完成。

對(duì)于圖片形式的過(guò)濾，比如：頭像，以及視覺(jué)中國(guó)事件里，創(chuàng)始人柴繼軍回應(yīng)的圖片上傳審核有問(wèn)題，可以使用ocr識(shí)別技術(shù)自動(dòng)識(shí)別圖片內(nèi)容，然后結(jié)合機(jī)器學(xué)習(xí)算法和相關(guān)數(shù)據(jù)，判定圖片是否違規(guī)。

對(duì)于小公司，如果沒(méi)有圖像識(shí)別開(kāi)發(fā)實(shí)力，可以采購(gòu)圖片鑒黃違規(guī)識(shí)別接口，單次成本不到一毛錢，為了避免廣告嫌疑，此處不再粘貼接口鏈接地址。

6. 半監(jiān)督學(xué)習(xí)算法（Semi-Supervised Learning，簡(jiǎn)稱SSL）

隨著人工智能的發(fā)展，機(jī)器學(xué)習(xí)算法廣泛應(yīng)用到智能風(fēng)控領(lǐng)域。

算法是需要數(shù)據(jù)飼養(yǎng)的，根據(jù)數(shù)據(jù)樣本是否標(biāo)記，分為：監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)三種算法模型。

監(jiān)督學(xué)習(xí)數(shù)據(jù)樣本全部需要人工標(biāo)注，成本較高并且數(shù)據(jù)量級(jí)有限。無(wú)監(jiān)督學(xué)習(xí)使用無(wú)標(biāo)注數(shù)據(jù)樣本進(jìn)行機(jī)器學(xué)習(xí)，不便于提升學(xué)習(xí)效果。

人們嘗試將大量的未標(biāo)注數(shù)據(jù)樣本加入到有限的有標(biāo)注數(shù)據(jù)樣本中一起訓(xùn)練來(lái)進(jìn)行學(xué)習(xí)，期望能對(duì)學(xué)習(xí)性能起到改進(jìn)的作用，由此產(chǎn)生了半監(jiān)督學(xué)習(xí)算法SSL。

目前介紹了常用的六個(gè)風(fēng)控產(chǎn)品，在復(fù)雜的風(fēng)控架構(gòu)里肯定還有很多沒(méi)有提到的新產(chǎn)品新技術(shù)，后續(xù)有新的發(fā)現(xiàn)再補(bǔ)上。

反作弊反垃圾風(fēng)控體系建設(shè)是一項(xiàng)長(zhǎng)期復(fù)雜的工程，風(fēng)控在強(qiáng)大，也難免有黑產(chǎn)羊毛黨找到漏洞入侵。風(fēng)控的本質(zhì)不是要100%消除風(fēng)險(xiǎn)，而是要在一定成本下最大限度控制風(fēng)險(xiǎn)減少損失。

非金融級(jí)的風(fēng)控資源投入取決于每個(gè)公司對(duì)風(fēng)險(xiǎn)的重視程度，在互聯(lián)網(wǎng)強(qiáng)監(jiān)管時(shí)代，很多內(nèi)容型公司都加大對(duì)風(fēng)控的投入，以降低公司整體運(yùn)營(yíng)風(fēng)險(xiǎn)。

后續(xù)會(huì)推出金融風(fēng)控產(chǎn)品系列，金融風(fēng)控?zé)o法覆蓋的裂縫，一般通過(guò)建立風(fēng)險(xiǎn)保障基金解決盜刷賠付風(fēng)險(xiǎn)問(wèn)題。