能力中心 > 能力公社 > 微博評論 開發者中心

                          微博評論

                          依據微博鏈接采集評論數據

                          暫無評分 210個項目使用過

                          基本信息

                          • 能力名稱(中文): 微博評論
                          • 能力名稱(英文): Comment
                          • 版本: v1.18.11.19.1700
                          • 能力入口類名: com.hylanda.processors.crawl.weibo.n.CommentNode
                          • 開發者dog3dog2dog1
                          • 供應商平臺自營
                          • 編程語言: JAVA
                          • 授權范圍: 公開
                          • 工程分類: 數據抓取
                          • 能力分類: 普通能力
                          • 能力級別: 普通
                          • 能力狀態: 正常
                          • 標簽

                          收費方式

                          • 收費方式: 0.003000[按條數](按能力輸出的有效數據量計費)

                          使用說明

                          能力說明

                          功能簡介

                          根據新浪用戶微博鏈接一次性采集該條微博下的所有評論數據(網頁上給的評論的數跟實際展示的評論的數量對不上,給的評論本身就比網頁顯示的數少,以網頁真實的評論數量為準,詳情見輸出簡介)

                          配置參數

                          參數名稱 參數類型 是否必填 默認值 參數說明
                          請輸入微博鏈接 文本 直接部署鏈接時需要填寫,格式為一行一個(換行操作:shift+回車),建議部署上限在100以內;當能力接收上層數據流時可不填
                          流入此能力的json中提取的key 文本 url 上游能力流過來的json流中提取key名稱作為本能力的輸入
                          請設置翻頁上限 文本 -1 可以設置轉發頁面的獲取上限值,防止長時間采集某個特別火爆的評論。(-1為默認,不設置上限)

                          輸入簡介

                          輸入新浪微博鏈接,多個以換行分隔(換行操作:shift+回車),建議部署上限在100以內

                          可從該能力配置中進行填寫,也可用通過上游能力輸入。通過上游能力輸入時,建議使用 采集格式轉換 能力對輸入的數據進行格式規整。

                          輸入數據樣例

                          輸入新浪微博鏈接輸入示例如下,部署時請參照以下兩種格式:

                          http://weibo.com/2453133954/FptqAxh2M
                          https://weibo.com/6049346849/FvrhztDaS

                          注:輸入非微博的鏈接會輸出至失敗隊列,每100條輸出一次,提示輸出簡介鏈接不符,非該網址鏈接
                          輸出新浪用戶微博下對應的微博評論,為json格式

                          支持如下兩種上游流入格式:

                          第一種字符串:["http://xxx.xxx.xxx"]
                          第二種json傳:{"url","http://xxx.xxx.xxx"}

                          輸出簡介

                          輸入圖片說明

                          部分輸出字段簡介:

                          1.c_url:被評論的源微博鏈接

                          2.author:評論作者

                          3.user_url:評論作者微博鏈接

                          4.release_date:發布時間

                          5.content:評論內容

                          輸出數據樣例

                          輸出詳細字段信息舉例如下:

                          {
                              "uid":"5666811389",
                              "f_authoruid":"1310558230",
                              "reidx_uid":"7fd62c38-015e-1000-8dca-418b1bd0eac0",
                              "c_user_url":"http://weibo.com/u/",
                              "taskid":"1756",
                              "source_type":"4",
                              "mainauthoruid":"1310558230",
                              "w_idstr":"4180642399313565",
                              "type":"c",
                              "url_crc":"3481759222",
                              "author":"0尋鴨0",
                              "title":"也就是個官方支持,沒有官方支持哪里會有孔家的千年傳承,早就不知道消失在歷史的哪個角落了",
                              "authorimg":"http://tvax4.sinaimg.cn/crop.0.0.996.996.50/006bvmvHly8fkxsn5hsjmj30ro0rpwh2.jpg",
                              "task_serial":"192.168.253.54-7fd62c38-015e-1000-8dca-418b1bd0eac0",
                              "isforward":"1",
                              "url_dup":"http://weibo.com/1310558230/FxP373uyW#4180642399313565#7fd62c38-015e-1000-8dca-418b1bd0eac0",
                              "forward_url":"http://weibo.com/1310558230/FxP373uyW",
                              "w_id":"4180642399313565",
                              "media_url":"weibo.com",
                              "download_date":"2017-12-05 13:23:29",
                              "user_url":"http://weibo.com/u/5666811389",
                              "from_flag":"sina_weibo1.3",
                              "format_content":"也就是個官方支持,沒有官方支持哪里會有孔家的千年傳承,早就不知道消失在歷史的哪個角落了",
                              "url":"http://weibo.com/1310558230/FxP373uyW#4180642399313565",
                              "with_comment":"1",
                              "content":"也就是個官方支持,沒有官方支持哪里會有孔家的千年傳承,早就不知道消失在歷史的哪個角落了",
                              "w_mid":"4180642399313565",
                              "refer_url":"http://weibo.com/1310558230/FxP373uyW?type=comment#_rnd1512451396172",
                              "PubFlag":"0",
                              "c_url":"http://weibo.com/1310558230/FxP373uyW",
                              "rel_type":"c",
                              "release_date":"2017-12-02 22:51:00",
                              "media_name":"新浪微博",
                              "mainurluuid":"3481759222",
                              "c_id":"4180642399313565",
                              "c_w_id":"4180642399313565"
                          }

                          字段明細表

                          輸入圖片說明

                          相關能力

                          參考指標

                          • 數據質量:準確率:95%

                          • 處理性能:7200條/小時

                          CPU:4 內存:4G

                          附加說明

                          • 采全率:80%以上
                            注:1)評論顯示不穩定,會出現下載時某一頁評論全部為空,刷新后又能正常顯示的情況。
                            2)采全率指能力的整體采全率,不保證單條評論的采全率一定在80%以上
                            3) 新浪微博上給的互動數與實際展示的評論數量不一定一致,互動數會多于實際顯示條數。以真實顯示的評論條數為準

                          • 準確率:95%以上

                          • 采集速度:2 任務/秒;7200 任務/小時

                            任務量= 主帖量 * 評論頁數

                          • 改版后響應速度:工作時間4小時內;非工作時間一天內。

                          隱藏參數說明

                          最新版本

                          • 最新版本: v1.18.11.19.1700
                          • 更新日志: 更新代碼

                          用戶評論

                           
                          贵州11选5胆拖计算器