能力中心 > 能力公社 > 微博關鍵詞一次性采集 開發者中心

                          微博關鍵詞一次性采集

                          依據關鍵詞進行相關微博歷史數據的采集

                          19條評分 150個項目使用過

                          基本信息

                          • 能力名稱(中文): 微博關鍵詞一次性采集
                          • 能力名稱(英文): Keyword
                          • 版本: v1.18.11.06.1000
                          • 能力入口類名: com.hylanda.processors.crawl.weibo.n.KeywordNode
                          • 開發者dog3dog2dog1
                          • 供應商平臺自營
                          • 編程語言: JAVA
                          • 授權范圍: 公開
                          • 工程分類: 數據抓取
                          • 能力分類: 普通能力
                          • 能力級別: 普通
                          • 能力狀態: 正常
                          • 標簽: 微博關鍵詞

                          收費方式

                          • 收費方式: 0.002000[按條數](按能力輸出的有效數據量計費)

                          使用說明

                          能力說明

                          功能簡介

                          根據搜索詞,按照設置的開始時間和結束時間,采集新浪微博歷史數據

                          配置參數

                          參數名稱 參數類型 是否必填 默認值 參數說明
                          請輸入搜索詞 文本 直接部署搜索詞時需要填寫,格式為一行一個(換行操作:shift+回車),建議部署上限在100以內;當能力接收上層數據流時可不填
                          開始時間 日期 格式:yyyy-MM-dd,即采集搜索詞下,發布時間在開始時間與結束時間之間的微博數據
                          結束時間 日期 格式:yyyy-MM-dd,即采集搜索詞下,發布時間在開始時間與結束時間之間的微博數據
                          流入此能力的json中提取的key 文本 url 上游能力流過來的json流中提取key名稱作為本能力的輸入

                          輸入簡介

                          輸入搜索詞,多個以換行分隔(換行操作:shift+回車),建議部署上限在100以內

                          支持如下兩種上游流入格式:

                          第一種字符串:["http://xxx.xxx.xxx"]
                          第二種json傳:{"url","http://xxx.xxx.xxx"}
                          

                          輸入數據樣例

                          搜索詞輸入示例:

                          雙十一
                          京東618
                          

                          輸出簡介

                          輸出搜索詞下,發布時間在開始時間與結束時間之間的 新浪微博數據,為json格式

                          輸出數據樣例

                          部分輸出字段簡介:

                          1.author:作者

                          2.release_date:發布時間

                          3.content:微博內容

                          4.picture_list:微博內容中的圖片地址

                          5.isforward:是否轉發(0:否;1:是)

                          輸出詳細字段信息舉例如下:

                          {
                              "uid":"1894467483",
                              "reidx_uid":"192.168.253.54-c7b13818-015e-1000-8968-a2d614332ab1",
                              "quote_count":"13",
                              "attitudes_count":"27",
                              "taskid":"1253",
                              "authorurl":"http://weibo.com/wbsearch",
                              "source_type":"4",
                              "forward_comments_count":"0",
                              "w_idstr":"4155984597163198",
                              "type":"m",
                              "author":"微博搜索",
                              "title":"#今日最熱搜#今日13件大事,周傳雄帶著《告白氣球》重回大眾視野,颶風“瑪利亞”席卷多米尼克,華僑再慨嘆“感謝祖國”,王俊凱生日會致敬周杰倫,嗨翻全場,李晨范冰冰見家長,范爸爸開心得合不攏嘴,陳小春采訪頻爆金句,搜姐笑到原地爆炸,更多精彩,請看最熱搜!",
                              "verified":"2",
                              "forward_attitudes_count":"0",
                              "forward_quote_count":"0",
                              "task_serial":"192.168.253.54-c7b13818-015e-1000-8968-a2d614332ab1",
                              "isforward":"0",
                              "comments_count":"6",
                              "w_id":"4155984597163198",
                              "topic_list":"#今日最熱搜#",
                              "media_url":"weibo.com",
                              "download_date":"2017-10-09 11:42:27",
                              "pre_format_content":"<a class="a_topic W_linkb"  target="_blank">#今日最熱搜#</a>今日13件大事,周傳雄帶著《告白氣球》重回大眾視野,颶風“瑪利亞”席卷多米尼克,華僑再慨嘆“感謝祖國”,王俊凱生日會致敬周杰倫,嗨翻全場,<em class="red">李晨范冰冰見家長</em>,范爸爸開心得合不攏嘴,陳小春采訪頻爆金句,搜姐笑到原地爆炸,更多精彩,請看最熱搜! </p>",
                              "user_url":"http://weibo.com/u/1894467483",
                              "url":"http://weibo.com/1894467483/FnupJu3ts",
                              "format_content":"<a class="a_topic W_linkb"  target="_blank">#今日最熱搜#</a>今日13件大事,周傳雄帶著《告白氣球》重回大眾視野,颶風“瑪利亞”席卷多米尼克,華僑再慨嘆“感謝祖國”,王俊凱生日會致敬周杰倫,嗨翻全場,<em class="red">李晨范冰冰見家長</em>,范爸爸開心得合不攏嘴,陳小春采訪頻爆金句,搜姐笑到原地爆炸,更多精彩,請看最熱搜! </p>",
                              "from_flag":"sina_weibo1.3",
                              "content":"#今日最熱搜#今日13件大事,周傳雄帶著《告白氣球》重回大眾視野,颶風“瑪利亞”席卷多米尼克,華僑再慨嘆“感謝祖國”,王俊凱生日會致敬周杰倫,嗨翻全場,李晨范冰冰見家長,范爸爸開心得合不攏嘴,陳小春采訪頻爆金句,搜姐笑到原地爆炸,更多精彩,請看最熱搜!",
                              "post_source":"搜狗高速瀏覽器",
                              "w_mid":"4155984597163198",
                              "refer_url":"http://s.weibo.com/weibo/%25E6%259D%258E%25E6%2599%25A8%25E8%258C%2583%25E5%2586%25B0%25E5%2586%25B0%25E8%25A7%2581%25E5%25AE%25B6%25E9%2595%25BF&typeall=1&suball=1×cope=custom:2017-09-25-20:2017-09-25-21&Refer=g",
                              "picture_list":"http://wx1.sinaimg.cn/large/70eb479bly1fjw5chyu0pj20v9bhqqvb.jpg",
                              "PubFlag":"0",
                              "rel_type":"m",
                              "release_date":"2017-09-25 21:50:00",
                              "media_name":"新浪微博",
                              "profile_image_url":"http://tva4.sinaimg.cn/crop.0.0.150.150.50/70eb479bjw8ev5ms9l5mnj20460463yo.jpg",
                              "topic_url_list":"http://huati.weibo.com/k/%E4%BB%8A%E6%97%A5%E6%9C%80%E7%83%AD%E6%90%9C?from=526"
                          }
                          

                          字段明細表

                          輸入圖片說明

                          相關能力

                          參考指標

                          • 數據質量:準確率:95%

                          • 處理性能:7200條/小時

                          CPU:4 內存:4G 線程數:4

                          附加說明

                          • 關鍵詞搜索出的相關雜質數據(正文內沒有與關鍵詞完全匹配的詞),能力已實現過濾。

                          • 采全率:90%以上 注:采全率指實際采到的數據,占關鍵詞在首頁上可以搜索到正文數據的比例。

                          • 準確率:95%以上 注:正文字段,以在列表頁顯示的正文為準,不是以打開正文鏈接后顯示的內容為準。 可能出現“展開全文…”字樣。目前采集機制導致,不算字段效果問題

                          • 采集速度:2任務/秒;7200任務/小時 任務量需根據部署的關鍵詞個數,歷史采集時間段,關鍵詞熱門程度等因素預估 任務量= 關鍵詞個數 * 實際翻頁數 翻頁數計算方法:默認按天拆分,若1天內翻頁數超過50,再按小時拆分;若一小時內翻頁數超過50,再按地區拆分

                          • 改版后響應速度:工作時間4小時內;非工作時間一天內。

                          隱藏參數說明

                          最新版本

                          • 最新版本: v1.18.11.06.1000
                          • 更新日志: 更新知識

                          用戶評論

                           
                          贵州11选5胆拖计算器