91久久久久久久久_欧美日韩中文_在线观看中文字幕亚洲_夜夜骑首页_精品久久伊人_天天色天天射天天操

東坡下載:內容最豐富最安全的下載站!

幫助|文件類型庫|最新更新|下載分類|排行榜

編程相關破解相關編程工具反編譯安裝制作程序源碼軟件補丁數據庫Visual Studiovc++visualbasicdreamweaver

首頁編程開發編程相關 → WebMagic 0.7.3 官方最新版

WebMagic

WebMagic0.7.3 官方最新版

  • 大。13.4M
  • 語言:中文
  • 平臺:WinAll
  • 更新:2017-07-31 14:55
  • 等級:
  • 類型:編程相關
  • 網站:暫無
  • 授權:免費軟件
  • 廠商:
  • 產地:國產軟件
好用好玩 50%(0)
坑爹 坑爹 50%(0)
軟件介紹軟件截圖相關軟件軟件教程網友評論下載地址

WebMagicjava上面經常的需要的一款爬蟲類型的工具了,現在就可以試試最新的0.7.3版本,功能以及使用上面都是完全的免費的,歡迎大家試試!

WebMagic中文版功能

WebMagic是一個簡單靈活的Java爬蟲框架;赪ebMagic,你可以快速開發出一個高效、易維護的爬蟲。webmagic采用完全模塊化的設計,功能覆蓋整個爬蟲的生命周期(鏈接提取、頁面下載、內容抽取、持久化),支持多線程抓取,分布式抓取,并支持自動重試、自定義UA/cookie等功能。

WebMagic常見問題

(1)由于我這個爬蟲的抓取有分頁,而且它的分頁通過js跳轉的,抽取出來感覺有點麻煩,我想直接得到所有的信息,發現可以通過輸入url地址請求得到所有的信息(這是網站的一個小問題,它沒有設置每頁數據記錄條數的范圍),但是需要登錄才可以進行url地址的訪問,就要使用cookie模擬登錄。

(2)下面分析有關登錄信息的cookie,我使用的是chrome,點擊如圖位置,會看到此網站的cookie,(如果已經訪問了一段時間了,可以清除所有cookie然后重新登錄再訪問,否則可能會有很多的cookie,分析起來不方便),由于只有5個cookie,直接加上就可以訪問了

WebMagic 0.7.3更新內容

本次更新增加了Downloader模塊的一些功能。

#609 修復HttpRequestBody沒有默認構造函數導致無法反序列化的bug。

#631 HttpRequestBody的靜態構造函數不再拋出UnsupportedEncodingException受檢異常。

#571 Page對象增加bytes屬性,用于獲取二進制數據。下載純二進制頁面時,請設置request.setBinarayContent(true),這樣對于二進制內容不會嘗試轉換為String,減小開銷。

#629 在HttpUriRequestConverter中會自動對一些導致URI異常的字符進行轉移或過濾。

#610 自動識別編碼時,可以識別Content-Type中charset為大寫的情況。

#627 支持為Request單獨設置頁面編碼,兼容同一站點多種編碼方式的情況。

#613 Page對象增加charset屬性,其值為request/site中設置的charset,或者為自動檢測的charset(未定義時)。

#606 升級jsonpath到2.4.0

#608 升級jsoup到1.10.3

PC官方
安卓官方手機版
IOS官方手機版

WebMagic截圖

下載地址

WebMagic 0.7.3 官方最新版

熱門評論
最新評論
昵稱:
表情: 高興 可 汗 我不要 害羞 好 下下下 送花 屎 親親
字數: 0/500 (您的評論需要經過審核才能顯示)

編輯推薦

報錯

請簡要描述您遇到的錯誤,我們將盡快予以修正。

轉帖到論壇
輪壇轉帖HTML方式

輪壇轉帖UBB方式

主站蜘蛛池模板: 久热国产视频 | 国产成人精品一区二区三区在线 | 精品一区视频 | 91精品国产综合久久久蜜臀 | 国产精品久久久久久久成人午夜 | 香蕉一区二区 | 日韩免费一区二区 | 欧美成人a | 国产精品久久久精品 | 人人爱人人澡 | 亚洲天天看 | 精品久久久久久久久久久久久久久久 | 欧美一区二区三区的 | 亚洲黄色大片 | 人人看人人草 | 中文字幕第7页 | 亚洲精品网站在线观看 | 亚洲乱码在线观看 | 天海翼在线视频 | 亚洲综合日韩 | 午夜无遮挡 | 91插插插插插 | 欧美日韩亚洲一区 | 亚洲三级黄色片 | 日韩精品成人免费观看视频 | 天美传媒在线观看 | 看免费毛片 | 黄色网页免费 | 免费性爱视频 | 九九视频在线 | 午夜黄色大片 | 亚洲成人免费网站 | 成人性色生活片 | 国产精品入口66mio男同 | av三级在线观看 | 青草视频在线观看免费 | 欧美激情一区二区三区 | 手机看片日韩 | 正在播放国产精品 | 久久久精品一区 | 欧美日韩久久久 |