99插插插,亚洲伦理中文在线,站长推荐一二三区欧美,青青草在线导航

×

教你用 Python+Fiddler 爬取并下載抖音小姐姐視頻

分類:互聯(lián)網(wǎng)熱點(diǎn) 編輯:互聯(lián)網(wǎng)觀察 瀏覽量:1
2020-07-10 11:21:32

準(zhǔn)備工作:

(1)手機(jī)(安卓、ios 都可以)/ 安卓模擬器,今天主要以安卓模擬器為主,操作過程一致。

( 2 ) 抓包工具:Fiddel 下載地址:

https://www.telerik.com/download/fiddler

(3)編程工具:pycharm

一、fiddler 配置

在 tools 中的 options 中,按照?qǐng)D中勾選后點(diǎn)擊 Actions

選擇允許監(jiān)控遠(yuǎn)程鏈接,端口可以隨意設(shè)置,只要?jiǎng)e重復(fù)就行,默認(rèn) 8888

二、安卓模擬器 / 手機(jī)配置

首先查看本機(jī)的 IP:在 cmd 中輸入 ipconfig,記住這個(gè) IP

手機(jī)配置:配置已連接的 WiFi,代理選擇手動(dòng),然后輸入上圖 ip 端口號(hào)為 8888

模擬器配置:設(shè)置中長(zhǎng)按已連接 wifi,代理選擇手動(dòng),然后輸入上圖 ip 端口號(hào)為 8888

證書名稱隨便設(shè),可能還需要設(shè)置一個(gè)鎖屏密碼。

三、抖音抓包

打開抖音,然后觀察 fiddler 中所有的包

1、視頻數(shù)量,每個(gè)包中只有這么幾個(gè)視頻,那如何抓取更多呢?

這時(shí)候需要借助模擬器的模擬鼠標(biāo)翻頁(yè),讓模擬器一直翻頁(yè),這樣就不斷會(huì)出現(xiàn) json 包了。

一種方法可以手動(dòng)復(fù)制粘貼,但是這樣很 low。

所以我們使用 fidder 自帶的腳本,在里面添加規(guī)則,當(dāng)視頻 json 包刷出來后自動(dòng)保存 json 包。

自定義規(guī)則包:

鏈接:https://pan.baidu.com/s/1wmtUUMChzuSDZFYGSyUhCg

提取碼:7z0l

點(diǎn)擊規(guī)則腳本,然后將自定義規(guī)則放在如圖所示位置:

(1)第一行的網(wǎng)址:

這個(gè)是從視頻包的 url 中摘出來的,抖音會(huì)時(shí)不時(shí)更新這個(gè) url,所以不能用了也要去更新:

比如現(xiàn)在的已經(jīng)和昨天不同了,記著修改。

接下來在 pycharm 中寫腳本獲取 json 包里的視頻鏈接:

導(dǎo)包:

import os,json,requests

偽裝頭:

headers = { ‘ User-Agent ’ : ‘ Mozilla/5.0 ( Windows NT 10.0; Win64; x64 ) AppleWebKit/537.36 ( KHTML, like Gecko ) Chrome/72.0.3626.119 Safari/537.36 ’ }

邏輯代碼:

videos_list = os.listdir ( 'C:/Users/HEXU/Desktop/ 抖音數(shù)據(jù)爬取 / 抖音爬取資料 /raw_data/' ) # 獲取文件夾內(nèi)所有 json 包名

count = 1 # 計(jì)數(shù),用來作為視頻名字

for videos in videos_list: # 循環(huán) json 列表,對(duì)每個(gè) json 包進(jìn)行操作 a = open ( './ 抖音爬取資料 /raw_data/{}'.format ( videos ) ,encoding='utf-8' ) # 打開 json 包 content = json.load ( a ) [ 'aweme_list' ] # 取出 json 包中所有視頻

for video in content: # 循環(huán)視頻列表,選取每個(gè)視頻 video_url = video [ 'video' ] [ 'play_addr' ] [ 'url_list' ] [ 4 ] # 獲取視頻 url,每個(gè)視頻有 6 個(gè) url,我選的第 5 個(gè) videoMp4 = requests.request ( 'get',video_url,headers=headers ) .content # 獲取視頻二進(jìn)制代碼 with open ( './ 抖音爬取資料 /VIDEO/{}.mp4'.format ( count ) ,'wb' ) as f: # 以二進(jìn)制方式寫入路徑,記住要先創(chuàng)建路徑 f.write ( videoMp4 ) # 寫入 print ( ' 視頻 {} 下載完成 '.format ( count ) ) # 下載提示 count += 1 # 計(jì)數(shù) +1

本文來自精品專欄《爬蟲案例合集》


聲明:免責(zé)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶自發(fā)貢獻(xiàn)自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請(qǐng)發(fā)

送郵件至:operations@xinnet.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。本站原創(chuàng)內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)

需注明出處:新網(wǎng)idc知識(shí)百科

免費(fèi)咨詢獲取折扣

Loading
中文字幕日本理论片19+| 后入内射露脸人妻| 丝袜美腿大乱交| www.草逼免费视频100| 日韩精品伦理区| 久久久久99精品成人网站3d| 人妻交换在线网址| 国产亚洲精品99999在线观看| 国产亚洲欧美日韩另类在线| AV中文字幕亚洲区| 美乳丝袜伦理| 欧美日韩亚洲久久夜| 国产精丰满熟妇交尾| 久久综合潮吹| 无码人妖一区二区| 少妇精品久久综合网| 啄木鸟一区二区三区| 无码熟女一区二区| 午夜婷婷国产精品麻豆| 亚洲综合中文字幕男人的天堂| 日韩婷婷射| 91久久系列| 亚洲性感黄色片| 五月丁香欧美性爱| 国产精品伦理视频| 精品国产乱码一区二区三区四区五区| 黄色美女网站国产| 日韩老熟妇二级| 黄片免费专区| 美女内射 亚洲| 五月丁香婷婷深深爱| 祼体美女网站AV大片在线观看| 国产成年人黄色电影| 亚洲ⅩⅩⅩ| 国产中文不卡久久网| 亚洲一区在线婷婷丁香五月| 国产丁香在线精品视频| 亚洲AV久久久AV| 十八一区二区| 蜜臀av一区中文字幕| 国产一区二区成人黄片|