能力中心 > 能力公社 > 全網數據監測 開發者中心

                          全網數據監測

                          獲取線上實時系統預處理后的結果

                          7條評分 634個項目使用過

                          基本信息

                          • 能力名稱(中文): 全網數據監測
                          • 能力名稱(英文): HLGetRealTimeData
                          • 版本: v1.19.01.11.1640
                          • 能力入口類名: com.hylanda.processors.getRealTimeData.HLGetRealTimeDataNew
                          • 開發者涂君蘭
                          • 供應商平臺自營
                          • 編程語言: JAVA
                          • 授權范圍: 公開
                          • 工程分類: 數據超市
                          • 能力分類: 普通能力
                          • 能力級別: 普通
                          • 能力狀態: 正常
                          • 標簽: 全網數據監測

                          收費方式

                          • 收費方式: 2.000000[每小時](按啟動時長計費)

                          使用說明

                          能力說明

                          功能簡介

                          根據參數配置中選擇的數據類型推送實時數據,該實時數據不是原始采集數據,而是對原始數據做了繁簡轉換、資源修正、時間標準化、關鍵字段補充等預處理操作后的數據,另外,發布時間在24小時之前的數據不會被推送。

                          PS:該能力已默認過濾掉一些通用無效數據

                          配置參數

                          參數名稱 參數類型 是否必填 默認值 參數說明
                          資源類型 數字 資源類型
                          資源子類型 文本 資源子類型
                          資源來源 文本 資源來源
                          過濾關鍵詞 文本 英文半角逗號分隔,過濾字段中包含任意一詞即會從能力中輸出,若不填入有效值,則輸出全部數據
                          過濾字段 文本 fmt_title,fmt_format_content 需要進行過濾的字段,多個用英文半角逗號分隔,任意一個字段中包含任意一個過濾詞,即可從能力中輸出

                          輸入簡介

                          該能力不需要輸入

                          輸入數據樣例

                          輸出簡介

                          經過預處理后的全網實時數據,json格式

                          輸出數據樣例

                          {
                              "SessionID": "[rmiiq0|475A9A5E08000006]475A9A4D01000057-14044686034499331625",
                              "author": "未知",
                              "birthday_normalized": "",
                              "contact_fmt_format_content": "",
                              "contact_fmt_title": "",
                              "contain_words": "test",
                              "content": "協爾口腔洗牙記",
                              "content_crc": "14333744178404525494",
                              "content_media_name": "",
                              "download_date": "2017-12-07 13:21:15",
                              "fmt_author": "未知",
                              "fmt_format_content": "協爾口腔洗牙記",
                              "fmt_title": "協爾口腔洗牙記",
                              "format_content": "協爾<em class=\"hl\">口腔</em>洗牙記",
                              "from_flag": "MetaSearch_gms",
                              "keywords": "協爾 口腔 牙 洗 記",
                              "location_normalized": "",
                              "media_id": "1003545",
                              "media_name": "騰訊視頻",
                              "refer_url": "http://v.qq.com/x/search/?q=%E6%B5%99%E6%B1%9F%E7%9C%81%E5%8F%A3%E8%85%94%E5%8C%BB%E9%99%A2&filter=sort=1",
                              "rel_type": "m",
                              "release_date": "2017-12-07 00:00:00",
                              "release_date_for_client": "2017-12-07 13:21:15",
                              "search_word": "浙江省口腔醫院",
                              "segment_fmt_title": "2211212",
                              "source_type": "6",
                              "src_url": "http://v.qq.com/x/page/j05153rrwxq.html",
                              "src_url_crc": "2036448414",
                              "title": "協爾<em class=\"hl\">口腔</em>洗牙記",
                              "title_crc": "10169215102251402228",
                              "title_crc_old": "9071060361875638968",
                              "url": "http://v.qq.com/x/page/j05153rrwxq.html#metasearch_wy",
                              "url_crc": "8897108174686672670",
                              "url_original": "http://v.qq.com/x/page/j05153rrwxq.html#metasearch_3412736417",
                              "words": "7"
                          }
                          

                          相關能力

                          參考指標

                          • 數據質量:99.9% (算法類能力:準確率召回率;采集類能力:采全率,及時率)

                          • 處理性能:8k/分鐘 (條/min,MB/min)

                          (說明質量品標和性能品標的環境參數, 例如:cpu,內存,線程數 或語料平均長度,數據是新聞還是微博等 可自行擴展編寫這部分 甚至將來會填寫需要多少“海幣”才能達到上述性能)

                          • 測試環境
                          CPU 內存 線程數
                          4核 4g 4
                          • 效率
                          運行時間 處理條數
                          前5分鐘 處理37136條
                          第10分鐘 處理66009
                          第15分鐘 處理10w

                          附加說明

                          2.0版更新內容

                          • 增加選擇數據類型的功能,根據數據類型選擇性推送數據,降低帶寬消耗
                          • 數據進行了基本的預處理功能,并對數據發布時間做了限制,推送實時預處理后的數據
                          • 底層改用Rocketmq作為數據源,數據推送更高效
                          • 增加關鍵詞過濾功能

                          隱藏參數說明

                          最新版本

                          • 最新版本: v1.19.01.11.1640
                          • 更新日志: 增加去除字段的功能,本次升級去掉contain_words

                          用戶評論

                           
                          贵州11选5胆拖计算器