區塊鏈:鏈上鏈下協同的數據歸檔真的太難了！和解？_工業區塊鏈

前言

區塊鏈的全復制、擴展性等問題，使得業務向鏈上遷移會考慮采用兩層設計，有基于區塊鏈的合約層和鏈下拓展層，鏈下層承擔擴展鏈上能力。在兩層系統中，業務的存證或者協調數據在鏈上，鏈下拓展層會保存完整數據內容，并參與業務計算。

隨著業務的持續，鏈下節點的數據會逐漸累積，越來越大，數據的增長速度甚至會超過存儲介質容量增長的速度，而不得不為節點提供更大的高性能磁盤，當數據增長突破容量限定后會影響系統性能與業務持續性；鏈上合約層，當狀態數據數據累積到一定數據量級會導致系統吞吐量下降、鏈上數據查詢變慢，服務質量下降。

另一方面，雙層系統無法和一般的數據存儲系統(MySQL存儲系統)一樣進行“select-insert-delete”式的歸檔。合約數據涉及多個業務參與方，鏈上數據和鏈下的錨定、關聯關系不能被破壞等約束。

Terra鏈上DeFi鎖倉量跌至4.53億美元:金色財經消息，據DefiLlama數據顯示，當前Terra鏈上DeFi鎖倉量跌至4.53億美元，近24小時減少0.11%。目前，Terra鏈上DeFi鎖倉量排名前3的分別為：Anchor（2.82億美元，近24小時減少3.51%）、Mirror（5374萬美元，近24小時減少6.17%）、RiskHarbor（3189萬美元，近24小時減少2.61%）。[2022/5/16 3:18:07]

為解決這些問題，我們對兩層系統的數據歸檔進行了一定的實踐，當合約層以及拓展層數據停止改變或不被頻繁使用時，對其進行遷移，減少合約狀態數據、讓出拓展層節點主存儲空間，提升系統的性能和服務質量。

什么是數據歸檔？

-----數據歸檔過程和目標

為了詳述數據歸檔來龍去脈，我們需要了解幾個簡單的概念，首先，需要了解備份和歸檔的區別：

歐科云鏈張超：目前已累計解析超1.5億地址標簽，成全球最大鏈上地址標簽庫服務商:4月27日消息，歐科云鏈副總裁、歐科云鏈控股執行董事張超在出席“甲子引力X數字經濟高峰論壇”時表示，截至目前歐科云鏈已解析鏈上超1.5億地址標簽（實體標簽、行為標簽、屬性標簽）、數十億交易記錄、超1萬條結構化指標，成為全球最大的鏈上地址標簽庫服務商。

會上張超表示，未來歐科云鏈將繼續探索區塊鏈底層技術，加強對鏈上數據的分析、治理，為更多上層的區塊鏈應用添磚加瓦，服務于更多實體的應用層。[2022/4/27 2:33:56]

備份：存儲在非易失性存儲介質上的數據集合，在原始數據丟失、損壞或不可用時，可以從備份系統訪問或從備份數據中恢復，也稱為副本。備份同時保護了所有生產系統的活躍的和非活躍的數據。我們通常說的備份，類似“復制“操作。歸檔：將不再活躍但必須保留的數據移動到另一個存儲系統，以便釋放節點主存儲，提高系統性能。歸檔的數據是生產數據的子集，一般，將歸檔數據轉存到專用系統，歸檔類似”剪切“操作。在兩層系統語境下，歸檔意味著將合約的狀態數據以及數據錨定的鏈下系統數據作為一個整體進行歸檔。

Osasion歐賽超級節點的等位同步記賬進入鏈上系統布置:截至北京時間2021年1月1日零時，Troy主網數據如下：AUC：1.46$；漲幅：1460%；起步價倍增：14.6倍；當前激活節點數：9323；當前節點采礦均值：0.01470441AUC；AUC的出塊高度：5567780；AUC流通市值：3252649.78756770$；AUC出礦量：2227842.32025185枚。

根據Osasion項目白皮書，Troy主網共計部署100個超級節點和300個區塊同步節點。據F.VOB-TOCC技術外聯事務協調委員會最新數據，截止2020年12月31日，委員會共計已收到超58份來自直連社區超級節點申請認購申請協議，其中主鏈啟動服務器和超級節點服務器布置，總計已突破19臺，多位社區共識者正式成為超級賬本自由節點人，共同建設網體生態。

據F.VOB團隊最新消息，Osasion錢包鏈上數據正常，按照進度正持續迭代版本，新版本更新區塊同步節點競選接口，屆時將同步開放至所有節點，至此100個超級節點和300個區塊同步節點將步入社區治理的第一步，獲取節點不同權限的認定。[2021/1/1 16:12:42]

對數據歸檔，我們要達到如下目標：

獨家丨BTC 24h 鏈上交易量上升11.19%:據歐科云鏈OKLink數據顯示，BTC 24h鏈上活躍地址數總計1076939，較前日上升16.65%；鏈上交易量總計599936.17 BTC，較前日上升11.19%；鏈上交易筆數總計380143，較前日上升27.1%；BTC鏈上活躍度上升。

截至上午10時，BTC全網算力約為118.92EH/s，較前日上升3.69EH/s，全網算力呈上升趨勢。[2020/7/2]

1）獨立的數據歸檔支持合約，用于索引鏈上的數據，包括3方面內容：數據指紋、更新時間、關聯方；

2）一個歸檔模塊以及獨立歸檔服務：使用統一的架構，將數據遷移到一致的位置；

3）歸檔后的數據需要進行統一管理和一致的訪問；減少運維歸檔數據所需的成本，同時需要保護歸檔數據的安全性；

分析 | TokenInsight：BTC鏈上基本面小幅回暖，全球期貨持倉總量聯動上升:據TokenInsight數據顯示，反映區塊鏈行業整體表現的TI指數北京時間02月02日8時報322.73點，較昨日同期上漲2.36點，漲幅為0.74%。此外，在TokenInsight密切關注的28個細分行業中，24小時內漲幅最高的為其它技術或協議行業，漲幅為6.58%；24小時內跌幅最高的為醫療應用行業，跌幅為20.61%。

據監測顯示，BTC全網活躍地址數較前日上升1.49%至56.68萬，全網交易量較前日上升19.42%。目前，全球多空比為1.02。BCtrend分析師Jeffrey認為，BTC鏈上基本面小幅回暖，同時全球期貨持倉總量聯動上升，市場活躍度緩慢修復中，短期延續盤整。[2019/2/2]

4）歸檔后的數據具有索引和搜索功能，能更有效、快捷地對歸檔的數據訪問并利用；

5）相關歸檔的恢復：可以將某次歸檔恢復到生產環境。

一般的數據歸檔的過程：select-insert-delete，創建一個新的數據庫-歸檔庫，然后在歸檔庫創建與生產庫相同的表；不斷查詢生產庫數據記錄，同步復制到歸檔庫；生產庫刪除已經復制的數據記錄。雖然數據歸檔過程非常簡單，但是設計數據歸檔的方案，我們必須想清楚以下幾個問題？

歸檔前：那些數據可以歸檔？數據適合歸檔嗎？歸檔庫如何選型？歸檔執行階段：數據歸檔過程需要不斷的讀寫生產庫，這個過程將會大量使用的網絡、IO，那為了防止對線上業務造成壓力，數據歸檔一般只在業務低峰期執行。歸檔后：數據冪等被破壞，數據歸檔導致生成數據缺失，會對業務造成影響。針對歸檔的過程和目標。綜上，我們將提出設計和實現契合自身架構特點的歸檔方案。

歸檔方案實踐

趣鏈科技自研的區塊鏈隱私計算平臺BitXMesh，將區塊鏈與隱私計算技術深度融合，支持鏈上鏈下協同的數據共享和隱私計算。

BitXMesh是一個兩層架構系統。包括區塊鏈合約層，鏈上部署有數據共享合約、聯邦計算協調合約等，鏈下拓展層由BitXMesh節點組成并提供數據共享、聯邦計算等能力。從數據的維度看，整個系統由合約數據及合約數據錨定、節點內的數據以及支撐節點能力、逐漸累積的業務功能數據組成。歸檔數據的時候需要考慮：鏈上數據和節點本地數據，數據之間的錨定關系，以及本地數據的關聯關系。同時，數據類型也是需要考慮的，節點內有文件、K/V類型的數據，這些數據歸檔需要存放在不同的歸檔庫中。

BitXMesh數據歸檔組件包含：內部的歸檔模塊(Archivermodule)、鏈上數據歸檔支持合約、存儲對接組件、歸檔庫(存儲歸檔數據)。其中，鏈上數據歸檔支持合約是為了兩層系統協同歸檔而構建的合約，合約主要功能是進行鏈上數據的索引以及按時間進行引用計算，便于定位鏈上數據。整個歸檔模塊組件及其構成，如下圖。

針對K/V類型的數據，選擇BadgerDB作為歸檔庫，存放BitXMesh歸檔的K/V數據；對文件數據，使用IPFS作為歸檔存儲，同時文件的元信息存儲在BadgerDB歸檔庫；整個歸檔數據項的標識ID都會記錄在歸檔摘要文件中，歸檔摘要文件記錄了整個歸檔的元信息，該文件也可以提供給基于BitXMesh開發的業務系統使用，將業務系統的數據也進行歸檔。整個歸檔過程如下：

1）首先，歸檔庫初始化。指定歸檔庫存儲路徑，會在該目錄下創建K/VBadgerDB庫以及存儲大文件的ipfs，這兩個庫的創建尤其關鍵，歸檔的數據存儲于兩個庫中，后續可開發應用對歸檔的數據進行管理。2）其次，執行歸檔。目前，按“時間區間”進行歸檔，分為兩個階段：鏈上數據及與鏈上錨定的節點數據的歸檔、鏈下節點數據歸檔。

鏈上數據及與鏈上錨定的節點數據的歸檔：該步驟需要歸檔支持合約的支持，歸檔支持合約主要存儲鏈上數據的標識信息以及數據存儲時間。當歸檔時，先查詢該合約得到需要歸檔的數據列表，根據這個數據列表，去歸檔節點與其錨定的數據。整個過程包括查詢-寫入-刪除，查詢鏈上數據和鏈下數據，將查詢得到的數據信息寫入到歸檔庫，一旦寫入成功，將摘要寫入到歸檔摘要文件，最后刪除數據。鏈下節點數據歸檔：該步驟歸檔節點的業務數據，落到時間區間的數據即可執行查詢-寫入-刪除操作。一旦碰到文件數據，需要查詢元信息，寫入K/V歸檔庫，再取文件block寫入到ipfs歸檔系統。3）最后，資源回收和落盤操作。上面兩步已經將符合時間范圍的數據進行歸檔，之后需要將歸檔模塊訪問節點數據的連接斷開，歸檔庫也需要關閉數據訪問連接。歸檔摘要文件落到磁盤。

在進行了一次歸檔操作后，歸檔庫中的數據可以通過歸檔服務進行訪問，類似業務系統的做法，將歸檔庫作為backend數據存儲，通過HTTP接口訪問這些歸檔的數據。

總結

數據歸檔是針對大量數據累積的系統，對數據進行有計劃的遷移，當數據停止改變或不被頻繁使用時，通過數據歸檔把它們轉存到別的地方，讓出存儲空間，提升系統的性能。本文以BitXMesh數據歸檔模塊為例，對鏈上-鏈下兩層架構系統的數據歸檔進行實踐，將歸檔融入到系統功能，完成了歸檔使用統一的架構，將數據遷移到一致的位置，歸檔后的數據需要進行，統一管理和一致的訪問目標。

Tags：BTC區塊鏈MESBITBTCV工業區塊鏈MGAMES幣bybit交易所怎么樣

SOL