電影網站的數據怎麼爬取

① 從電影網站爬取數據並進行可視化分析會用到哪些數據

從電影網站爬取數據並進行可視化分析會用到的數據如下。
1、beautifulsoup、re、urllib庫。
2、SQLite包，數據可視化方面主要用到flask框架、echarts和wordcloud等。
3、此類數據可以搭建簡單的數據可視化網站。

② Python爬蟲實戰（1）requests爬取豆瓣電影TOP250

爬取時間：2020/11/25
系統環境：Windows 10
所用工具：Jupyter NotebookPython 3.0
涉及的庫：requestslxmlpandasmatplotlib umpy

蛋肥想法： 先將電影名稱、原名、評分、評價人數、分類信息從網站上爬取下來。

蛋肥想法： print數據列表後發現電影原名、分類信息等存在不需要的字元，需預先處理；同時因為後續想做一個豆瓣電影TOP250的維度分布圖，而同一電影存在多個發行國家、類型（如「法國 美國 / 劇情 動作 犯罪」），為了簡（偷）便（懶），這里均取第一個作為記入的數據；最後將數據保存為xlsx。

蛋肥想法： 蛋肥想知道在豆瓣電影TOP250中年份、國家、類型的維度數據，為了練手，使用剛才保存成xlsx的數據，並分別畫成雷達圖、柱形圖、扇形圖。

③ 豆瓣電影數據分析

這篇報告是我轉行數據分析後的第一篇報告，當時學完了Python，SQL，BI以為再做幾個項目就能找工作了，事實上……分析思維、業務，這兩者遠比工具重要的多。一個多月後回過頭來看，這篇報告雖然寫得有模有樣，但和數據分析報告還是有挺大差別的，主要原因在於：a.只是針對豆瓣電影數據分析太過寬泛了，具體關鍵指標到底是哪些呢？；b.沒有一個確切有效的分析模型/框架，會有種東一塊西一塊的拼接感。
即便有著這些缺點，我還是想把它掛上來，主要是因為：1.當做Pandas與爬蟲(Selenium+Request)練手，總得留下些證明；2.以豆瓣電影進行分析確實很難找到一條業務邏輯線支撐，總體上還是描述統計為主；3.比起網上能搜到的其他豆瓣電影數據分析，它更為詳細，可視化效果也不錯；

本篇報告旨在針對豆瓣電影1990-2020的電影數據進行分析，首先通過編寫Python網路爬蟲爬取了51375條電影數據，採集對象包括：電影名稱、年份、導演、演員、類型、出品國家、語言、時長、評分、評論數、不同評價佔比、網址。經過去重、清洗，最後得到29033條有效電影數據。根據電影評分、時長、地區、類型進行分析，描述了評分與時長、類型的關系，並統計了各個地區電影數量與評分。之後，針對演員、導演對數據進行聚合，給出產量與評分最高的名單。在分析過程中，還發現電影數量今年逐步增加，但評分下降，主要原因是中國地區今年低質量影視作品的增加。

另外，本篇報告還爬取了電影票房網（ http://58921.com/ ）1995-2020年度國內上映的影片票房，共採集4071條數據，其中3484條有效。進一步，本文分析了國內院線電影票房年度變化趨勢，票房與評分、評價人數、時長、地區的關系，票房與電影類型的關聯，並給出了票房最高的導演、演員與電影排名。

清洗、去重後，可以看到29033條數據長度、評分、評論數具有以下特點：

結合圖1(a)(b)看，可以看到電影數據時長主要集中在90-120分鍾之間，向兩極呈現階梯狀遞減，將數據按照短(60-90分鍾)，中(90-120分鍾)，長(120-150分鍾)，特長(>150分鍾)劃分，各部分佔比為21.06%, 64.15%, 11.95%, 2.85%。

結合圖2(a)看，可以看到我們採集到的電影數據評分主要集中在6.0-8.0之間，向兩極呈現階梯狀遞減，在此按照評分劃分區間：2.0-4.0為口碑極差，4.0-6.0為口碑較差，6.0-7.0為口碑尚可，7.0-8.0為口碑較好，8.0-10.0為口碑極佳。

這5種電影數據的佔比分別為：5.78%, 23.09%, 30.56%, 29.22%, 11.34%

再將評分數據細化到每年進行觀察，可以發現，30年內電影數量與年度電影均分呈反相關，年度均分整體呈現下降趨勢，2016年電影均分最低，電影數量最多。

進一步做出每個年份下不同評級等級的電影數據佔比，可以發現，近年來，評分在[2.0,6.0)的電影數據佔比有著明顯提升，評分在[6.0,7.0)的數據佔比不變，評分在[7.0,10.0)的數據佔比減少，可能原因有：

對照圖5，可以發現，評分與時長、評論人數的分布大致呈現漏斗狀，高分電影位於漏鬥上部，低分電影位於漏斗下部。這意味著，如果一部電影的評論人數很多（特別是超過30w人觀影），時長較長(大於120min)，那麼它大概率是一部好電影。

根據各個國家的電影數量作圖，可以得到圖6，列出電影數量前十的國家可得表格2，發現美國在電影數量上占第一，達到8490部，中國其次，達6222部。此外，法國，英國，日本的電影數量也超過1000，其餘各國電影數量相對較少。這可以說明美國電影有著較大的流量輸入，在中國產生了較大的影響。

進一步分析各國電影的質量，依據評分繪制評分箱線圖可得圖7，在電影數量排名前20的國家中：

接著我們可以探索，哪個國家的電影對豆瓣評分隨年份下降的貢獻最大，考慮到電影數量對應著評分的權重。根據上述各國的電影評分表現，我們可以猜測電影數量較多的國家可能對年度均分的下降有較大影響。於是，我們再計算出這些國家的年度電影均分，並與整體均分進行比較分析。

再作出中國大陸，中國台灣，中國香港的均分箱線圖圖9(a)，可以看到，大陸電影均分低於港台電影，且存在大量低分電影拉低了箱體的位置。

分析相關性可得，大陸、香港、台灣電影年度均分與全部評分關聯度分別為R=0.979,0.919,0.822，說明濾去台灣和香港電影，大陸電影年度均分的變化趨勢與全部評分變化更接近。圖9(b)可以進一步反映這一點。

可以看到，大部分類型集中在X×Y=[10000,30000]×[6.00,7.50]的區間范圍內，劇情、喜劇、愛情、犯罪、動作類電影數量上較多，說明這些題材的電影是近三十年比較熱門的題材，其中劇情類電影佔比最多，音樂、傳記類電影平均得分更高，但在數量上較少，動作、驚悚類電影評論人數雖多，但評價普遍偏低。

除此之外，還有兩塊區域值得關註：

根據類型對電影數據進行聚合，整理得到各類型電影評分的時間序列，計算它們與整體均分時間序列的相關性，可得表格4與圖11，可以看到劇情，喜劇，懸疑這三種類型片與總分趨勢變化相關性最強，同時劇情、喜劇類電影在電影數量上也最多，因此可以認為這兩類電影對於下跌趨勢影響最大，但其餘類別電影的相關性也達到了0.9以上，說明幾種熱門的電影得分的變化趨勢與總體均分趨勢一致。

前面已經得知，中美兩國電影佔比最高，且對於均分時間序列的影響最大。在此，進一步對兩國電影進行類型分析，選取幾種主要的類型（數量上較多，且相關性較高）進行分析，分別是劇情，喜劇，愛情，驚悚，動作，懸疑類電影，繪制近年來幾類電影的數量變化柱狀圖與評分箱線圖可得圖12,13,14,15。

對導演與演員進行聚合，得到數據中共有15011名導演，46223名演員。按照作品數量在(0,2], (2,5], (5,10], (10,20], (20,999]進行分組統計導演數量，可以發現，15009名導演中有79.08%只拍過1-2部作品，46220名演員中有75.93%只主演過1-2部作品。忽略那些客串、跑龍套的演員，數據總體符合二八定律，即20%的人占據了行業內的大量資源。

在此，可以通過電影得分、每部電影評論人數以及電影數目尋找優秀的電影導演與演員。這三項指標分別衡量了導演/演員的創作水平，人氣以及產能。考慮到電影數據集中可能有少量影視劇/劇場版動畫，且影視劇/劇場版動畫受眾少於電影，但得分普遍要高於電影，這里根據先根據每部電影評論數量、作品數量來篩選導演/演員，再根據電影得分進行排名，並取前30名進行作圖，可得圖17,18。

結合電影票房網（ http://58921.com/ ）採集到的3353條票房數據，與豆瓣數據按照電影名稱進行匹配，可以得到1995-2020年在中國大陸上映的電影信息，分別分析中國內地電影的數量、票房變化趨勢，票房與評分、評價人數、時長、地區以及類型的關系，此外還給出了不同導演與演員的票房表現以及影片票房排名。

如圖19所示，國內票房數據與上映的電影數量逐年遞增，2020年記錄的只是上半年的數據，且由於受疫情影響，票房與數量驟減。這說明在不發生重大事件的情況下，國內電影市場規模正在不斷擴大。

對電影數據根據類型進行聚合，繪制散點圖21，可以發現：

提取導演/演員姓名，對導演/演員欄位進行聚合，計算每個導演/演員的票房總和，上映電影均分、以及執導/參與電影數目進行計算，作出票房總和前30名的導演/演員，可得圖22,23，圖中導演/演員標號反映了票房排名，具體每位導演/演員的上映影片數量、均分、每部電影評價人數、平均時長與總票房在表5、表6中給出。

最後根據電影票房進行排名，得到票房排名前20的電影如表格7所示，可以看到絕大部分上榜電影都是中國電影，索引序號為3、10、12、14、18、19為美國電影，這也反映了除國產電影之外，好萊塢大片占據較大的市場。

本篇報告採集了1990-2020年間豆瓣電影29033組有效數據，從豆瓣電影的評分、時長、地區、類型、演員、導演以及票房等信息進行分析評價，主要有以下結論：

④ 怎樣用python獲取電影

實驗室這段時間要採集電影的信息，給出了一個很大的數據集，數據集包含了4000多個電影名，需要我寫一個爬蟲來爬取電影名對應的電影信息。

其實在實際運作中，根本就不需要爬蟲，只需要一點簡單的Python基礎就可以了。

前置需求：

Python3語法基礎

HTTP網路基礎

===================================

第一步，確定API的提供方。IMDb是最大的電影資料庫，與其相對的，有一個OMDb的網站提供了API供使用。這家網站的API非常友好，易於使用。

第二步，確定網址的格式。

第三步，了解基本的Requests庫的使用方法。

⑤ Python中怎麼用爬蟲爬

Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：
如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。
利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：
知乎：爬取優質答案，為你篩選出各話題下最優質的內容。
淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。
安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。
拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。
雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。
爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。
掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。
對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……
但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。
在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。
1.學習 Python 包並實現基本的爬蟲過程
2.了解非結構化數據的存儲
3.學習scrapy，搭建工程化爬蟲
4.學習資料庫知識，應對大規模數據存儲與提取
5.掌握各種技巧，應對特殊網站的反爬措施
6.分布式爬蟲，實現大規模並發採集，提升效率