目錄python爬蟲爬取音樂單曲 爬蟲爬取音樂 python抓取音樂 python爬取付費(fèi)音樂 python爬取指定音樂
你說的隱藏的div內(nèi)容，應(yīng)該是動(dòng)態(tài)加載的數(shù)據(jù)吧，不在網(wǎng)頁(yè)源碼中顯示，只在加載網(wǎng)頁(yè)時(shí)才請(qǐng)求數(shù)據(jù)進(jìn)行顯示，一般情況下，這種數(shù)據(jù)都保存在一個(gè)json文件中，只要抓包分析出這個(gè)json文件的url地址，然后再根據(jù)json文件結(jié)構(gòu)進(jìn)行解析，很快就能獲取到動(dòng)態(tài)加載的div數(shù)據(jù)，下面我以爬取人人貸上面的散標(biāo)數(shù)據(jù)為例，簡(jiǎn)單介紹一下python如何爬蘆枝取div動(dòng)態(tài)加載的數(shù)據(jù)，實(shí)驗(yàn)環(huán)境win10+python3.6+pycharm5.0，主要步驟如下：
1.首先，打開散標(biāo)數(shù)族咐據(jù)，如下，爬取的信息主要包括年利率、借款標(biāo)題、期限、金額和進(jìn)度這5個(gè)字段信息：
右鍵對(duì)應(yīng)元素進(jìn)行檢查，可以看出所有的數(shù)據(jù)嵌套在div標(biāo)簽中，如下：
打開網(wǎng)頁(yè)源碼，我們按Ctrl+F查找對(duì)應(yīng)的數(shù)據(jù)，會(huì)發(fā)現(xiàn)所查找的數(shù)據(jù)都未在網(wǎng)頁(yè)源碼中，如下，即數(shù)據(jù)都是動(dòng)態(tài)加載，所以直接解析原網(wǎng)頁(yè)是找不到div嵌套的數(shù)據(jù)的：
2.接著，我們按F12調(diào)出開發(fā)者，依次點(diǎn)擊“Network”->“XHR”，F(xiàn)5刷新頁(yè)面，就會(huì)看到動(dòng)態(tài)加載的json文件，查看這個(gè)文件，內(nèi)容如下，左邊為json文件的url地址，右邊就是我們需要爬取的div數(shù)據(jù)：
3.最后對(duì)應(yīng)上面的json文件，我們就可以直接獲取并解析json了，這里主要用到requests和json這2個(gè)模塊，其中requests用于根據(jù)url地址獲取json文件，json用于解析json文件，提取出我們所需要的信息，即div動(dòng)態(tài)加載的數(shù)據(jù)，測(cè)試代碼如下，非常簡(jiǎn)單：
運(yùn)行程序，截圖如下，已經(jīng)成功爬取到div加載的數(shù)據(jù)：
至此，我們就完成了利用python爬取div動(dòng)態(tài)加載的數(shù)據(jù)?？偟膩碚f，整個(gè)過程非常簡(jiǎn)單，最主要的陪穗敏還是抓包分析，只要你有一定的爬蟲基礎(chǔ)，熟悉一下上面的代碼，多調(diào)試幾遍程序，很快就能掌握的，當(dāng)然，你也可以使用selenium進(jìn)行爬取，直接解析就行，網(wǎng)上也有相關(guān)教程和資料可供參考，非常豐富，希望以上分享的內(nèi)容能對(duì)你有所幫助吧，也歡迎大家評(píng)論、留言。
Python因語(yǔ)法簡(jiǎn)潔、上手簡(jiǎn)單、功能強(qiáng)大特點(diǎn)，橘基廣泛應(yīng)用于網(wǎng)站開發(fā)、數(shù)據(jù)分析、爬蟲、自動(dòng)化運(yùn)維、人工智能、大數(shù)據(jù)、游戲開發(fā)等領(lǐng)取。
1、做日常任務(wù)，比如、MP3、自動(dòng)化操作excel、自動(dòng)發(fā)郵件。
2、做網(wǎng)站開發(fā)、web應(yīng)慶巧用開發(fā)，很多著名的網(wǎng)站像知乎、YouTube就是Python寫的。
許多大型網(wǎng)站就是用Python開發(fā)的，譽(yù)伍鍵例YouTube、Instagram，還有國(guó)內(nèi)的豆瓣。很多大公司，包括Google、Yahoo等，甚至NASA（美國(guó)航空航天局）都大量地使用Python。
3、做網(wǎng)絡(luò)游戲的后臺(tái)，很多在線游戲的后臺(tái)都是Python開發(fā)的。
4、網(wǎng)絡(luò)運(yùn)維。
學(xué)習(xí)Python有哪些用途瞎?fàn)€御？我總結(jié)歷睜主要用于網(wǎng)絡(luò)爬蟲、數(shù)據(jù)處理磨巖、Web服務(wù)、數(shù)據(jù)分析、人工智能等五大領(lǐng)域
雖然說XPath比正則表達(dá)式用起來方便，但改梁是沒有最方便，只有更方便。我們的BeautifulSoup庫(kù)就能做到更方便的爬取想要的東西。
使用之前，還是老規(guī)矩，先安裝BeautifulSoup庫(kù)，指令如下：
其中文開發(fā)文檔：
BeautifulSoup庫(kù)是一個(gè)強(qiáng)大的Python語(yǔ)言的XML和HTML解析庫(kù)。它提供了一些簡(jiǎn)單的函數(shù)來處理導(dǎo)航、搜索、修改分析樹等功能。
BeautifulSoup庫(kù)還能自動(dòng)將輸入的文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為UTF-8編碼。
所以，在使用BeautifulSoup庫(kù)的過程中，不需要開發(fā)中考慮編碼的問題，除非你解析的文檔，本身就沒有指定編碼方式，這才需要開發(fā)中進(jìn)行編碼處理。
下面，我們來詳細(xì)介紹BeautifulSoup庫(kù)的使用規(guī)則。
下面，我們來詳細(xì)介紹BeautifulSoup庫(kù)的重點(diǎn)知識(shí)。
首先，BeautifulSoup庫(kù)中一個(gè)重要的概念就是選擇解釋器。因?yàn)槠涞讓右蕾嚨娜沁@些解釋器，我們有必要認(rèn)識(shí)一下。博主專門列出了一個(gè)表格：
從上面表格觀察，我們一般爬蟲使用lxml HTML解析器即可，不僅速度快，而且兼容性強(qiáng)大，只是需要安裝C語(yǔ)言庫(kù)這一個(gè)缺點(diǎn)（不能叫缺點(diǎn)，應(yīng)該叫麻煩）。
要使用BeautifulSoup庫(kù)，需要和其他庫(kù)一樣進(jìn)行導(dǎo)入，但你雖然安裝的是beautifulsoup4，但導(dǎo)入的名稱并不是beautifulsoup4，而是bs4。用法如下：
運(yùn)行之后，輸出文本如下：
基礎(chǔ)的用法很簡(jiǎn)單，這里不在贅述。從現(xiàn)在開始，我們來詳細(xì)學(xué)習(xí)BeautifulSoup庫(kù)的所有重要知識(shí)點(diǎn)，第一個(gè)就是節(jié)點(diǎn)選擇器。
所謂節(jié)點(diǎn)選擇器，就是直接通過節(jié)點(diǎn)的名稱選擇節(jié)點(diǎn)，然后再用string屬性就可以得到節(jié)點(diǎn)內(nèi)的文本，這種方式獲取最快。
比如，基礎(chǔ)用法中，我們使用h1直接獲取了h1節(jié)點(diǎn)，然后通過h1.string即可得到它的文本。但這種用法有一個(gè)明顯的缺點(diǎn)，就是層次復(fù)雜不適合。
所以，我們?cè)谑褂霉?jié)點(diǎn)選擇器之前，需要將文檔縮小。比如一個(gè)文檔很多很大，但我們獲取的內(nèi)容只在id為blog的p中，那么我們先獲取這個(gè)p，再在p內(nèi)部使用節(jié)點(diǎn)選擇器就非常合適了。
HTML示例代碼：
下面的一些示例，我們還是使用這個(gè)HTML代碼進(jìn)行節(jié)點(diǎn)選擇器的講解。
這里，我們先來教會(huì)大家如何獲取節(jié)點(diǎn)的名稱屬性以及內(nèi)容，示例如下：
運(yùn)行之后，效果如下：
一般來說一個(gè)節(jié)點(diǎn)的子節(jié)點(diǎn)有可能很多，通過上面的方式獲叢態(tài)取，只能得到第一個(gè)。如果要獲取一個(gè)標(biāo)簽的所有子節(jié)點(diǎn)，這里有2種方式。先來看代碼：
運(yùn)行之后，效果如下：
如上面代碼所示，我們有2種方式獲取所有子節(jié)點(diǎn)，一種是通過contents屬性，一種是通過children屬性，2者遍歷的結(jié)果都是一樣的。
既然能獲取直接子節(jié)點(diǎn)，那么獲取所有子孫節(jié)點(diǎn)也是肯定可以的。BeautifulSoup庫(kù)給我們提供了descendants屬性獲取子孫節(jié)點(diǎn)，示例如下：
運(yùn)行之后，效果如下：
同樣的，在實(shí)際的爬蟲程序中，我們有時(shí)候也需要通過逆向查找父節(jié)點(diǎn)，或者查找兄弟節(jié)點(diǎn)。
BeautifulSoup庫(kù)，給我們提供了parent屬性獲取父節(jié)點(diǎn)，同時(shí)提供了next_sibling屬性獲取當(dāng)前節(jié)點(diǎn)的下一個(gè)兄弟節(jié)點(diǎn)，previous_sibling屬性獲取上一個(gè)兄弟節(jié)點(diǎn)。
示例代碼如下：
運(yùn)行之后，效果如下：
對(duì)于節(jié)點(diǎn)選擇器，博主已經(jīng)介紹了相對(duì)于文本內(nèi)容較少的完全可以這么做。但實(shí)際的爬蟲爬的網(wǎng)址都是大量的數(shù)據(jù)，開始使用節(jié)點(diǎn)選擇器就不合適了。所以，我們要考慮通過方法選擇器進(jìn)行先一步的處理。
find_all()方法主要用于根據(jù)節(jié)點(diǎn)的名稱、屬性滲殲源、文本內(nèi)容等選擇所有符合要求的節(jié)點(diǎn)。其完整的定義如下所示：
【實(shí)戰(zhàn)】還是測(cè)試上面的HTML，我們獲取name=a，attr={"class":"aaa"}，并且文本等于text="Python板塊"板塊的節(jié)點(diǎn)。
示例代碼如下所示：
運(yùn)行之后，效果如下所示：
find()與find_all()僅差一個(gè)all，但結(jié)果卻有2點(diǎn)不同：
1.find()只查找符合條件的第一個(gè)節(jié)點(diǎn)，而find_all()是查找符合條件的所有節(jié)點(diǎn)2.find()方法返回的是bs4.element.Tag對(duì)象，而find_all()返回的是bs4.element.ResultSet對(duì)象
下面，我們來查找上面HTML中的a標(biāo)簽，看看返回結(jié)果有何不同，示例如下：
運(yùn)行之后，效果如下：
首先，我們來了解一下CSS選擇器的規(guī)則：
1..classname：選取樣式名為classname的節(jié)點(diǎn)，也就是class屬性值是classname的節(jié)點(diǎn)2.#idname：選取id屬性為idname的節(jié)點(diǎn)3.nodename：選取節(jié)點(diǎn)名為nodename的節(jié)點(diǎn)
一般來說，在BeautifulSoup庫(kù)中，我們使用函數(shù)select()進(jìn)行CSS選擇器的操作。示例如下：
這里，我們選擇class等于li1的節(jié)點(diǎn)。運(yùn)行之后，效果如下：
因?yàn)?，我們需要?shí)現(xiàn)嵌套CSS選擇器的用法，但上面的HTML不合適。這里，我們略作修改，僅僅更改
1、Web開發(fā)
由于Python是一種解釋型的腳本語(yǔ)言，開發(fā)效率高，所以非常適合用老告來做Web開發(fā)。
Python有上百種Web開發(fā)框架，有很多成熟的模板技術(shù)，選擇Python開發(fā)Web應(yīng)用，不但開發(fā)效率高，而且運(yùn)行速度快。常用的web開發(fā)框架有：Django、Flask、Tornado等。
由于后臺(tái)服務(wù)器的通用性，除了狹義的網(wǎng)站之外，很多App和游戲的服務(wù)器端也同樣用 Python實(shí)現(xiàn)。
2、網(wǎng)絡(luò)爬蟲
網(wǎng)絡(luò)爬蟲是Python比較常用的一個(gè)場(chǎng)景，國(guó)際上，google在早期大量地使用Python語(yǔ)言作為網(wǎng)絡(luò)爬蟲的基礎(chǔ)，帶動(dòng)了整個(gè)Python語(yǔ)言的應(yīng)用發(fā)展。以前國(guó)內(nèi)很多人用采集器搜刮網(wǎng)上的內(nèi)容，現(xiàn)在用Python收集網(wǎng)上的信息比以前容易很多了，如：
從各大網(wǎng)站爬取商品折扣信息，比較獲取最優(yōu)選擇;
對(duì)社交網(wǎng)絡(luò)上發(fā)言進(jìn)行收集分類，生成情緒地圖，迅仔分析語(yǔ)言習(xí)慣;
爬取網(wǎng)易云音樂某一類歌曲的所有評(píng)論，生成詞云;
按條件篩選獲得豆瓣的電影書籍信息并生成表格……
3、人工智能
Python有很多庫(kù)很方便做人工智能，比如numpy,
scipy做數(shù)值計(jì)算的，sklearn做機(jī)器學(xué)習(xí)的，pybrain做神經(jīng)網(wǎng)絡(luò)的，matplotlib將數(shù)據(jù)可視化的。在人工智能大范疇領(lǐng)域內(nèi)的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)等方面都是主流的編程語(yǔ)言，得到廣泛的支持和應(yīng)用。
人工智能的核心算法大部分還是依賴于C/C++的，因?yàn)槭怯?jì)算密集型，需要非常精細(xì)的優(yōu)化，還需要GPU、專用硬件之類的接口，這些都只有C/C++能做到。
4、數(shù)據(jù)分析
數(shù)據(jù)分析處理方面，Python有很完備的生態(tài)環(huán)境。“大數(shù)據(jù)”分析中涉及到的分布式計(jì)算、數(shù)據(jù)可視化、數(shù)據(jù)庫(kù)操作等，Python中都有成熟的模塊可以選擇完成其功能。
對(duì)于Hadoop-MapReduce和Spark，都可以直接使用Python完成計(jì)算邏輯，這無論對(duì)于數(shù)據(jù)科學(xué)家還是對(duì)于數(shù)據(jù)工程師而言都是十分便利的。
5、自動(dòng)化運(yùn)維
Python對(duì)于服務(wù)器運(yùn)維而言也有十分重要的用途。由于目前幾乎所有Linux發(fā)行版中都自帶了Python解釋器，使用Python腳本進(jìn)行批量化的文件部署和運(yùn)行調(diào)整都成了Linux服務(wù)器上很不錯(cuò)的選擇。
Python中也包含許多方便的，從調(diào)控ssh/sftp用的paramiko，到監(jiān)控服務(wù)用的supervisor，再到bazel等構(gòu)建，甚至conan等用于C++的包管理，Python提供了全方位的集合，而在這基礎(chǔ)上，結(jié)合Web，開發(fā)方便運(yùn)維的會(huì)變侍昌明得十分簡(jiǎn)單。
