能力中心 > 能力公社 > 全網歷史判定圖過濾 開發者中心

                          全網歷史判定圖過濾

                          拆分原有的全網歷史,僅提供按判定圖回溯

                          2條評分 1201個項目使用過

                          基本信息

                          • 能力名稱(中文): 全網歷史判定圖過濾
                          • 能力名稱(英文): LazyRetroProcessorDecision
                          • 版本: v1.18.12.28.1816
                          • 能力入口類名: com.hylanda.processors.lazyRetro.LazyRetroProcessorDecision
                          • 開發者涂君蘭
                          • 供應商平臺自營
                          • 編程語言: JAVA
                          • 授權范圍: 公開
                          • 工程分類: 數據超市
                          • 能力分類: 普通能力
                          • 能力級別: 普通
                          • 能力狀態: 正常
                          • 標簽: 歷史 過濾 判定圖

                          收費方式

                          • 收費方式: 0.003000[按條數]

                          使用說明

                          功能簡介

                          通過判定圖標引的方式對歷史數據進行篩選,該能力用于獲取符合需求的歷史數據以及利用判定圖給數據打標簽。

                          配置參數

                          參數名稱 參數類型 是否必填 默認值 參數說明
                          資源類型 數字 分為資訊、論壇、貼吧、博客等資源類型,詳細定義參看 海量數據服務信源支持情況表
                          資源子類型 文本 分為:正文,回帖,轉發
                          標引判定圖id 文本 填寫判定圖號,支持多個同時回溯,多個之間用半角逗號分隔
                          起始發布時間 日期 掃描數據范圍的開始時間
                          結束發布時間 日期 掃描數據范圍的結束時間
                          數據消重輸出 文本 選擇否時任務耗時少,適用于驗證任務流程階段快速獲取數據
                          高級配置 文本 使用情景見下面描述

                          1、全網數據包含但不限于**海量數據服務信源支持情況表**中的網站,此表列舉的為主要的重點網站
                          2、高級配置的使用場景:

                          • 任務復雜度超限時,可以嘗試增大閥值,設置
                            {"task_desc.jobanalyze.krpe.max_drl_complexity":"45000"}
                          • 閉包詞解析失敗時,可設置
                            {"task_desc.closure.max_size_inbyte":"1024"},完成二次回溯功能
                          • 需要增大內存時,可設置
                            {"hadoop_conf.mapreduce.map.java.opts":"-Xmx2048m","hadoop_conf.mapreduce.map.memory.mb":"3072"},完成二次回溯功能
                             {"user_input_type":"3","base_task_id": "12345"}(推薦)
                             {"user_input_type":"3","is_foreign":"4","customTable":"\/lable\/12345"}(不推薦,但更高級需求可用)
                          

                          (目前僅支持task_desc和hadoop_conf下的參數修改)

                          輸入簡介

                          此能力為數據源能力,無需前接任何能力

                          輸入數據樣例

                          輸出簡介

                          輸出標引命中的數據

                          輸出數據樣例

                          {
                          	"tm": "2017-10-31 11:30:04",
                          	"release_date_org": "2017-10-31 11:01:07",
                          	"source_type": "0",
                          	"other_content": "",
                          	"refer_source_type": "1",
                          	"title_crc": "562137314772651256",
                          	"other_page": "http://www.city96.com/jkkx/20171031/392676.html",
                          	"content_media_name": "文章來源于網絡",
                          	"content_crc": "10563353586035185868",
                          	"fmt_author": "",
                          	"keywords": "排毒 芹菜 減肥 竹筍 紫蘇 優格 腸胃 體外 優酪乳 毒素",
                          	"media_id": "8351441902863529682",
                          	"download_date": "2017-10-31 11:30:00",
                          	"sensitive_words": "",
                          	"url": "http://www.city96.com/jkkx/20171031/392676.html",
                          	"format_content": "<p taggedby=\"hylanda\">  由于新陳代謝或者是空氣污染等原因,我們的身體里會產生一些毒素",
                          	"fmt_title": "冬天不減肥 ,夏天徒傷悲!幾款食品幫你排毒又",
                          	"navigation": "首頁>健康快訊>正文",
                          	"fmt_format_content": "  由于新陳代謝或者是空氣污染等原因,我們的身體里會產生一些毒素",
                          	"page_title": "冬天不減肥 ,夏天徒傷悲!幾款食品幫你排毒又-健康快訊-天津之聲-天津衣食住行熱點資訊",
                          	"title_crc_old": "7296441086713875745",
                          	"multi_page": "{\"page_cnt\":\"1\",\"page_info\":[{\"status\":\"0\",\"url\":\"http://www.city96.com/jkkx/20171031/392676.html\"}]}",
                          	"original_media_url": "",
                          	"_release_date_from": "release_date",
                          	"url_original": "http://www.city96.com/jkkx/20171031/392676.html",
                          	"class17": "",
                          	"author": "",
                          	"url_crc": "9575743947839270277",
                          	"title": "冬天不減肥 ,夏天徒傷悲!幾款食品幫你排毒又",
                          	"words": "868",
                          	"oid": "0",
                          	"_data_rmdup_crc6": "8176213074233504262",
                          	"navurl": "首頁>健康快訊>正文\r\nhttp://www.city96.com/jkkx/20171031/392676.html\r\n",
                          	"tags": "竹筍/NT/0.254063 紫蘇/NT/0.252270 芹菜/NT/0.247329 乳酸菌/NT/0.151506 香菜/NT/0.085952 生姜/NT/0.079902",
                          	"abstract": "由于新陳代謝或者是空氣污染等原因,我們的身體里會產生一些毒素,如果不及時排除體外,會影響到我們的健康。芹菜的纖維以莖部最為豐富,吃了可以增加排便量,讓排便較為通暢,對于體內環保也很有幫助。",
                          	"FormatContent_weiboext": "",
                          	"fmt_format_content_withforward": "<p taggedby=\"hylanda\">  由于新陳代謝或者是空氣污染等原因,我們的身體里會產生一些毒素",
                          	"original_media_name": "",
                          	"tag_result": [{
                          			"name": "測試主題001--發布到實時/ 前空格標簽/后空格標簽 / 前后空格標簽 /香菜/中性",
                          			"clue": "關鍵特征=可以[*2*]香菜;",
                          			"topic_id": "10587098200183",
                          			"depth": "0/1/2/3/5/5"
                          		}
                          	],
                          	"picture_description": "<p class=\"pictext\" taggedby=\"hylanda\">  【竹筍】</p taggedby=\"hylanda\">\t<p class=\"pictext\" taggedby=\"hylanda\">  【優格】</p taggedby=\"hylanda\">\t<p class=\"pictext\" taggedby=\"hylanda\">  【芹菜】</p taggedby=\"hylanda\">",
                          	"from_flag": "h2x_ium",
                          	"lastmodify_date": "2017-10-31 11:2:8",
                          	"refer_url": "http://www.city96.com/jkkx/",
                          	"picture_list": "http://www.99ysw.cn/d/file/m2_99ysw/2017-10-29/94107d87721bf88d7dda2e76dff3e886.jpg\nhttp://www.99ysw.cn/d/file/m2_99ysw/2017-10-29/2760178c365323fd35f8e1e2af08b45a.jpg\nhttp://www.99ysw.cn/d/file/m2_99ysw/2017-10-29/f12192c3e87cc8d637d5d3590f71af2e.jpg",
                          	"class23": "",
                          	"rel_type": "m",
                          	"nav": "首頁>健康快訊>正文",
                          	"release_date": "2017-10-31 11:01:07",
                          	"lable_time": "2017-10-31 14:07:07",
                          	"media_name": "天津之聲",
                          	"_data__format_clue_release_date": "Pure Parse Precision 6",
                          	"hl_empty_fields": "original_media_url,sensitive_words,class23,original_media_name,author,other_content,class17"
                          }
                          
                          

                          相關能力

                          與全網關鍵詞過濾能力的區別:
                          1、關鍵詞過濾方式:只需直接填過濾數據的條件,獲得的最終數據不包含任何附加信息
                          2、判定圖標引方式:需要先通過海量公司提供的平臺創建判定圖,上傳判定圖規則后才能使用該判定圖做歷史數據過濾操作,最終獲得的符合判定的數據包含判定圖的標簽信息

                          參考指標

                          使用平臺公共的回溯系統資源,效率取決于任務啟動時公共資源的占用情況

                          附加說明

                          • 當平臺有升級時,在點擊升級按鈕前,請確保歷史能力狀態展示為“已停止”或“已完成”,若為“運行中”“提交中”等表示任務進行中的狀態,則“升級”操作會強行停止當前任務
                          • 該能力默認會過濾一些無效數據(例如某些廣告、色情數據),如仍有不需要的數據請使用其他高級數據處理能力過濾
                          • 2018年3月16日 二次回溯標引結果新平臺格式化
                            對公司內部業務建立的“二次回溯”任務,輸出tag_result_previous字段,存儲上次回溯任務的標引結果,格式為新平臺格式同tag_result
                          • 2018年2月28日 新增電商歷史數據回溯任務(內測版)
                          • 僅限內測人員使用,在此說明功能及限制:
                            1、建議只使用判定圖功能,不要使用關鍵詞功能
                            2、判定圖類型必須為電商類型判定圖
                            3、任務會開啟兩輪,界面上會看到第一次進度100%后立刻回到0%,自動開啟第二次的進度,請內測人員自行把握進度
                            4、由于任務會開啟兩輪,因此輸出數據量展示的暫時不準,請內測人員自行確認數據完整性
                            5、電商任務必須消重,“是否消重”選項無效
                            6、對于關聯標引,產品不會有標簽,只有評論有標簽
                            7、對于標引產品輸出所有評論的情況,請在高級配置里設置{"task_desc.mapred.ebus.outputm.need.c":"1"}

                          最新版本

                          • 最新版本: v1.18.12.28.1816
                          • 更新日志: 修改release_date參數名字錯誤的bug

                          用戶評論

                           
                          贵州11选5胆拖计算器