能力中心 > 能力公社 > 數據庫存儲2.0 開發者中心

                          數據庫存儲2.0

                          新版數據存儲,建議與自動建表能力配合使用

                          2條評分 4731個項目使用過

                          基本信息

                          • 能力名稱(中文): 數據庫存儲2.0
                          • 能力名稱(英文): HylandaDataStoreProcessor
                          • 版本: v1.18.11.09.1300
                          • 能力入口類名: com.hylanda.processors.hldatastore.HylandaDataStoreProcessor
                          • 開發者1&0
                          • 供應商平臺自營
                          • 編程語言: JAVA
                          • 授權范圍: 公開
                          • 工程分類: 數據存儲
                          • 能力分類: 普通能力
                          • 能力級別: 普通
                          • 能力狀態: 正常
                          • 標簽: 數據庫存儲2.0

                          收費方式

                          • 收費方式: 按條數
                          - 20000000 0
                          20000001 - 0.0002

                          使用說明

                          能力說明

                          適用情景:存儲數據;

                          特殊說明1:請注意數據庫類型選擇,目前僅支持MySql和SqlServer;

                          特殊說明2:數據庫操作類型請選擇清楚;

                                insert:插入數據庫;
                          
                                update:更新數據庫數據;
                          
                                UpdateAndReplace:更新并覆蓋;
                          

                          【數據庫覆蓋更新配置說明】

                          輸入圖片說明

                          更新覆蓋操作原理:

                          判斷數據表中是否存在該條記錄,有則更新該條記錄,沒有存儲一條新的記錄;

                          更新數據操作說明:

                          1.數據庫表結構設計時有唯一主鍵:unique_key字段(相當于更新的where條件就是where unique_key=$unique_key);

                          2.數據流的json數據中必須要有unique_key字段

                          【具體操作:使用平臺自定義crc計算能力生成這個唯一值;再用數據轉化工具將這個計算的字段轉換為我們需要的字段名稱】

                          3.存儲字段列表,存儲字段類型,更新字段列表(填寫需要更新的字段)必須填寫;

                          配置參數

                          參數名稱 參數類型 是否必填 默認值 參數說明
                          數據庫類型 數字 mysql 數據庫類型:支持mysql,sqlserver三種數據庫
                          數據庫操作類型 數字 insert 數據操作類型:支持update;insert;updateAndReplace;
                          數據庫地址 文本 數據庫地址,需云端數據庫地址
                          數據庫庫名稱 文本 數據庫庫名稱
                          數據庫名稱 文本 數據庫中表的名稱
                          用戶名 文本 數據庫用戶名
                          密碼 文本 數據庫用戶密碼
                          更新字段列表 文本 更新字段列表,用逗號分隔,例如:title,url,content
                          更新的條件(字段列表) 文本 更新條件字段列表,相當于where條件中的字段
                          批量入庫條數 數字 100 批量入庫條數
                          最大間隔時間 數字 10 批量入庫最大時間間隔

                          輸入簡介

                          需要存儲的數據,必須為json格式

                          輸入數據樣例

                          {
                              "ExtractorID": "11",
                              "PubFlag": "1",
                              "attitudes_count": "0",
                              "author": "撓人-",
                              "authorurl": "http://weibo.com/u/5605695283",
                              "birthday_normalized": "",
                              "comment_count": "0",
                              "contact_fmt_format_content": "",
                              "contact_fmt_title": "",
                              "contain_words": "test",
                              "content": "恭喜你成為微博最常訪問第一位",
                              "content_crc": "17253053409679527690",
                              "content_media_name": "",
                              "download_date": "2017-12-03 01:46:32",
                              "fmt_author": "撓人-",
                              "media_id": "6000",
                              "media_name": "新浪微博",
                              "media_url": "weibo.com",
                              "post_source": "iPhone 7",
                              "rel_type": "m",
                              "release_date": "2017-12-03 01:46:00",
                              "segment_fmt_title": "22122112122121",
                              "source_type": "4",
                              "task_serial": "3357878552;19783822",
                              "title": "恭喜你成為微博最常訪問第一位",
                              "verified": "0",
                              "w_id": "4180686380802127",
                              "w_idstr": "4180686380802127",
                              "w_mid": "4180686380802127",
                              "words": "18"
                          }
                          

                          輸出簡介

                          該能力無輸出

                          輸出數據樣例

                          常見錯誤及解決方案

                          1. 數據庫連接異常

                            1.1 異常截圖
                            

                          輸入圖片說明

                           	1.2 異常原因
                          

                          輸入圖片說明

                              1)紅框里面的配置有誤
                          
                              2)紅框里的配置項有不可見字符(空格、非法字符等)
                          
                              1.3 嘗試解決方案
                          
                              1)如果本地可以連接數據庫,本地先嘗試連接下看是否報錯。
                          
                              2)將各個配置項黏貼到編輯器中,觀察下是否有空格等非法字符。
                          
                              3)提示非法字符異常
                          
                          1. 異常截圖

                          輸入圖片說明

                          輸入圖片說明

                          請觀察紅框里面的內容

                              2.1 異常原因
                          

                          表明或者列名中有數據庫存儲2.0能力不能支持的字符,或者是數據庫的關鍵字

                          例如:表名全部是數字,表名或者列名中有”/”、”\”、”^”、”-”等字符。

                          具體的錯誤字符請在實際錯誤中參考紅框部分。

                              2.2 嘗試解決方案
                          
                              1)修改表名
                          
                              2)通過數據轉換能力將流入數據的字段名進行轉換
                          
                          1.   字段超長異常
                            
                             3.1 異常截圖
                            

                          輸入圖片說明

                              3.2 異常原因
                          

                          查看異常信息

                              3.3 嘗試解決方案
                          

                          按照異常信息具體修改即可

                          1. 數據庫入庫異常

                            4.1 異常截圖
                            

                          輸入圖片說明

                              4.2 解決方案
                          

                          這種錯誤聯系客服或者能力提供者(羅寶利)進行解決

                          1. 沒有錯誤,但數據入庫非常慢

                            5.1 異常原因
                            

                          數據表設置了唯一主鍵,流入的數據重復率較高

                              5.2 嘗試解決方案
                          

                          如果業務不需要唯一主鍵,請去掉。如果需要,則聯系客服

                          1. 沒有錯誤,但數據入庫少于預期

                          同異常5

                          1. 如以上列舉項依然不能解決,請聯系客服

                          相關能力

                          參考指標

                          • 數據質量:100%

                          • 處理性能:10000/min

                          • 4核4線程(和單條數據的大小強相關)

                          附加說明

                          隱藏參數說明

                          最新版本

                          • 最新版本: v1.18.11.09.1300
                          • 更新日志: 配合平臺修改驗證邏輯

                          用戶評論

                           
                          贵州11选5胆拖计算器