網(wǎng)站的產(chǎn)品如何進(jìn)行防采集處理？
- 作者：新網(wǎng)
- 來(lái)源：新網(wǎng)
- 瀏覽：100
- 2018-04-10 13:28:13
很多網(wǎng)站為了用戶體驗(yàn)，通常會(huì)將一部分想看到的數(shù)據(jù)，直接加載在頁(yè)面上，讓用戶進(jìn)行查看。這時(shí)候采集者只需要解析頁(yè)面的html結(jié)構(gòu)，就能將頁(yè)面的信息全部采集下來(lái)。百度爬蟲、快照、頁(yè)面采集基本上都是用了這個(gè)原理。
<div>很多網(wǎng)站為了用戶體驗(yàn)，通常會(huì)將一部分想看到的數(shù)據(jù)，直接加載在頁(yè)面上，讓用戶進(jìn)行查看。這時(shí)候采集者只需要解析頁(yè)面的html結(jié)構(gòu)，就能將頁(yè)面的信息全部采集下來(lái)。百度爬蟲、快照、頁(yè)面采集基本上都是用了這個(gè)原理。
直接盜取
web數(shù)據(jù)庫(kù)這個(gè)就比較高級(jí)了，采集者通常會(huì)編寫一個(gè)爬蟲，讓爬蟲自動(dòng)發(fā)現(xiàn)網(wǎng)站上的查詢接口，并且模擬接口的數(shù)據(jù)標(biāo)準(zhǔn)，向接口傳輸相應(yīng)的查詢指令，最后將返回的數(shù)據(jù)進(jìn)行整理處理，就完成了相應(yīng)的資源采集。
手動(dòng)采集從字面上理解，就是通過人工進(jìn)行資源的采集，這種方式適用范圍比較靈活，可以通過資源下載、復(fù)制等人工方式進(jìn)行資源的采集。這種方式看著很low，效率很低。但往往這種采集方式，讓人無(wú)比頭疼。
PS：1個(gè)用戶在A網(wǎng)站下載了一份word資料，經(jīng)過簡(jiǎn)單編輯后，上傳到自己的網(wǎng)站上進(jìn)行使用。這個(gè)過程就無(wú)法通過技術(shù)手段進(jìn)行跟蹤(整個(gè)過程全是用戶的真實(shí)操作)，即使發(fā)現(xiàn)了這種現(xiàn)象，也無(wú)法確定對(duì)方盜取了自己的資源，因?yàn)槟銢]有切實(shí)可行的證據(jù)。此處大家可以思考一下，百度文庫(kù)的一部分內(nèi)容是怎么來(lái)的。
防采集方法策略
上文中簡(jiǎn)單介紹了部分采集者的采集手段，接下來(lái)我們聊聊該如何進(jìn)行防采集處理。
應(yīng)對(duì)下載鏈接泄露的策略
通過這個(gè)流程，我們發(fā)現(xiàn)，如果采集者可以直接拿到步驟3的下載鏈接，是可以不需要經(jīng)過步驟2的驗(yàn)證，直接下載資源。這樣我們就清楚了，要防止這種采集方式的話，我們的重點(diǎn)在于不讓用戶拿到資源的下載鏈接。那我們就可以按照下面的方式進(jìn)行處理：
將下載鏈接進(jìn)行加密
程序猿在開發(fā)過程中，基本都會(huì)進(jìn)行下載鏈接的加密處理。加密就好比一把鑰匙，沒有鑰匙就開不了鎖，加密一樣的，不知道解密方式，是無(wú)法破解你的下載鏈接，這樣便實(shí)現(xiàn)了資源的防采集。
解密是需要知道加密規(guī)則的，所以在做加密處理的時(shí)候，最好不要使用第三方機(jī)加密規(guī)則，自己做最安全。定期維護(hù)加密規(guī)則，也是有必要的。
防止采集者攔截下載鏈接
有一部分采集者，會(huì)在步驟3與步驟4之間，攔截傳輸出去的下載鏈接。這樣他不需要經(jīng)過步驟2，一樣能拿到我們返回的下載鏈接進(jìn)行下載。遇到這種情況的時(shí)候，我們可以考慮在下載url加入用戶驗(yàn)證。在瀏覽器解析url的時(shí)候，驗(yàn)證當(dāng)前用戶是否是我們的下載用戶，達(dá)到防采集的目的。除非用戶能拿到我們的賬戶信息，否則是不能采集到我們的內(nèi)容。但是這種方法無(wú)法支持?jǐn)帱c(diǎn)下載。
以上就是小編對(duì)于網(wǎng)站的產(chǎn)品如何進(jìn)行防采集處理的解答。
商品已成功加入購(gòu)物車