NFT:NFTScan x TiDB丨一棧式HTAP數據庫為Web3數據服務提供毫秒級查詢_FTS

導讀

NFTScan是一家多鏈NFT數據基礎設施服務商，為Web3用戶提供高效簡潔的NFT資產搜索查詢服務，為Web3開發者和新一代金融科技公司提供專業的NFTAPI數據服務。

TiDB作為一種分布式HTAP數據庫，可以同時滿足海量數據存儲和高并發讀寫的需求，在高可用性、分布式架構、ACID事務支持和實時多維查詢等方面，都具備優勢，適配Web3行業的場景需求。

NFTScan在快速發展中發現傳統的MySQL數據庫無法滿足業務的快速增長，而TiDB能夠提供毫秒級多維查詢的能力，為NFTScan提供了更高效的服務，于是選擇TiDB作為核心數據架構。本文介紹了NFTScan數據架構面臨的挑戰、選型的思考、遷移至TiDB的過程以及遷移后獲得的收益。一體化的HTAP架構能夠替代MySQL+Elasticsearch的能力，成為支撐在線數據服務的最佳選擇。

NFTScan成立于2021年4月，是一個多鏈NFT數據基礎設施服務商，截止到2023年1月份，我們已經支持了11條區塊鏈網絡，包括Ethereum、Solana、BNBChain、Moonbeam、Polygon、Arbitrum、Optimism、Avalanche、Fantom、Cronos、PlatON網絡。

Clairvoyant Labs發起將“哪些NFT項目能被列入Blend”的提案:5月9日消息，據推特用戶余燼監測，Clairvoyant Labs今日從OKX提出186萬枚BLUR（約合88萬美元）。之后，Clairvoyant Labs在Snapshot發起提案建議讓社區來決策哪些NFT項目能被列入Blend（Blur的NFT借貸協議）。

Clairvoyant Labs于4月22日從OKX提出170萬枚BLUR，當時單價0.59美元，5月2日全部轉入OKX（當時單價0.62美元）。[2023/5/9 14:51:56]

NFTScan旗下有2個核心業務：NFTScan.COM多鏈NFT數據瀏覽器平臺和NFTScanOpenAPI開發者平臺。NFTScan主要為Web3用戶提供高效簡潔的NFT資產搜索查詢服務，以及為Web3開發者和新一代金融科技公司提供專業的NFTAPI數據服務。

沙特爆冷戰勝阿根廷，沙特主題NFT銷量增加超3倍:11月23日消息，據外媒報道，在昨晚卡塔爾世界杯沙特阿拉伯2比1爆冷擊敗奪冠熱門阿根廷后，沙特主題的NFT系列“沙特人”的銷量激增387%。與此同時，阿根廷球迷代幣ARG在過去24小時內下跌24.82%，目前價格為5.28美元。

據悉，球迷代幣在世界杯開始前經歷了大幅修正，包括葡萄牙(POR)和巴西(BFT)在內的其他球迷代幣在周一都出現了下跌，表現不及比特幣(BTC)和以太幣(ETH)。（CoinDesk）[2022/11/23 7:59:25]

目前，NFTScan數據庫收錄了100萬+個NFT合約地址，7億多枚NFT資產數據，17億多鏈NFT鏈上交互記錄。并且這個數字還在以每日3000個NFT合約地址和200萬個NFT資產的速度在遞增。從上述數據可以看出，NFTScan有著增量大，活躍度高兩大特點。這樣的業務特點決定了我們對數據庫技術架構要求極高，需要具備全面、實時、高效等特性，并滿足高并發、低延時等需求。選擇一個合適的，能滿足業務需求的數據存儲體系對NFTScan來說至關重要。

NFT藏家dingaling買入總價值約100 ETH的Azuki NFT:3月24日消息，Etherscan數據顯示，NFT藏家dingaling通過NFT聚合交易平臺Gem買入總價值約100 ETH的Azuki NFT，總共13個Azuki NFT。[2022/3/24 14:15:18]

此前，NFTScan使用AmazonWebServices(AWS)上的MySQL和Elasticsearch作為其核心數據庫解決方案。MySQL存儲了所有業務數據，包括來自B端和C端用戶的用于分析和處理的數據。其中，NFT的交易記錄和資產記錄是核心的業務數據模型，B端和C端的查詢也大部分是圍繞這兩類核心數據展開的。由于NFT數據每天都在持續增長，多維度查詢會存在一些分布不均勻的現象，NFTScan將NFT交易和資產相關數據以全索引方式同步到Elasticsearch，以近乎全字段索引的方式響應多維度NFT數據查詢，從而解決MySQL在多維度檢索海量數據方面的性能與效率瓶頸。

版權鏈全國運營中心主任宣宏量：目前市場上的NFT存在指向、版權、交易結算等問題:金色財經現場報道，12月29日，第二屆可信數字版權生態論壇在北京舉辦。版權鏈全國運營中心主任宣宏量現場進行題為《NFT：版權資產數字化與數字版權資產交易》的演講指出，就市場上NFT模式分析，NFT指向問題是目前國內外NFT平臺上面發行和交易的NFT資產，NFT均是指向物本身，NFT不是指向數字資產版權或物權的產權證。用戶購買NFT，得到的僅僅保管NFT的密鑰。用戶即沒有物權，也沒有版權，還沒有使用權。NFT版權問題是，目前國內外NFT平臺上面發行和交易的NFT資產，發行NFT數字資產時，未經權威機構嚴格確權，許多NFT作品本身就存在侵權問題。用戶購買NFT，無法驗證其版權是否合法。一旦NFT涉及侵權，用戶無法找到真實的賣家。NFT交易結算問題是，目前國外NFT平臺上面發行和交易的NFT資產，基本上都是使用虛擬貨幣進行交易結算。國內NFT平臺，無法支持NFT的二次交易。[2021/12/29 8:12:17]

該解決方案在使用半年后，我們逐漸發現其無法滿足業務的快速增長，存在以下缺陷：

日本電商平臺樂天宣布推出NFT平臺Rakuten NFT:8月30日，日本電商平臺樂天宣布進軍NFT領域，NFT平臺Rakuten NFT預計將于2022年春季上線運營。用戶可使用已有的樂天賬戶和賬戶中的樂天點數于Rakuten NFT平臺購買并交易NFT。IP持有者無需掌握區塊鏈相關技術便可使用該平臺進行NFT的發行與分發。另外，Rakuten NFT平臺還可與樂天旗下相關服務進行聯動，例如當用戶滿足若干消費及使用任務時，可獲得NFT作為獎勵。

日本樂天于2016年8月設立區塊鏈實驗室，2019年8月開始提供加密錢包服務。經過多年技術積累，樂天決定為當下以加密資產投資者和科技社區為中心的NFT市場帶來變化，讓廣大用戶感受到擁有NFT的價值，其目標是實現“NFT市場的民主化”。[2021/8/30 22:46:49]

可擴展性差，存儲和維護成本高。每天新的區塊鏈數據量急劇增加，但MySQL無法自動橫向擴展以應對不斷增加的工作負載。我們不得不手動對表進行分片并新增MySQL的主備集群，來分攤和均衡CPU和內存資源的使用，這大大增加了存儲和維護成本。

隨著成本的增加，使用率下降。Elasticsearch部署在AWS上，由于AWS原生集群配置的限制，我們不得不增加更多的Elasticsearch高配置數據節點來提供在線查詢服務，這導致成本上升和使用率降低。

反復出現的精度錯誤。Elasticsearch數據庫更多的是為搜索而設計的，而不是為計算設計，所以在聚合計算中存在精度誤差。

經過近一個月的調研和測試，我們最終選擇了TiDB來作為核心數據架構，替代原有數據庫系統。NFTScan研發團隊在調研中選擇TiDB主要有以下幾點考量因素：

高度兼容MySQL：TiDB在傳輸協議和SQL語法等方面與MySQL高度兼容，NFTScan可以輕松地將數據遷移到TiDB，MySQL兼容性大大減少了研發團隊使用新數據庫的學習成本、時間和精力，同時也能加速數據庫架構的遷移工作；

彈性伸縮：TiDB采用計算和存儲分離的分布式架構以及底層分布式存儲數據的設計機制，NFTScan可以根據讀寫流量的實時變化靈活伸縮計算存儲資源，最大限度地提高了資源使用率，并大幅降低了成本；

一體化HTAP架構：TiDB的HTAP能力可以同時處理事務和分析工作負載，一套數據庫即可滿足事務型數據庫和分析型數據庫的需求，不僅完美地滿足了NFTScan不斷增長的業務需求，還降低了整體運營成本；

高可用性：TiDB本身的數據副本同步機制和內置的災備方案，保證了整體數據庫服務的高可用性。

經過兩個月的時間，我們完成了將底層數據庫系統全部切換到TiDB的工作，通過部署2臺TiDB服務器、9臺TiKV服務器和2臺TiFlash服務器，并在同一region下，跨三個可用區（AZ)進行部署，保證了整體架構的高可用性。

截至2022年11月，NFTScan的TiDB數據庫存儲了大約6TB的業務數據，QPS達到5000，平均查詢時長40ms，各種應用在TiDB上運行穩定。

流暢的遷移體驗

在整個遷移過程中，我們對TiDB的性能與數據遷移的流暢性印象深刻。

TiDB提供了Dumpling、TiDBDataMigration(DM)等一系列數據同步套件，幫助NFTScan將歷史數據從MySQL遷移到TiDB。比如NFTScan的一些業務數據是不能直接遷移到TiDB的，必須在遷移前先進行調整。在這種情況下，TiDB的同步工具可以并發寫入大量數據。在解析存儲實時NFT數據時，執行效率較之前的存儲方案提升了約30%。

同時，TiDB的onlineschemaupdate設計，使得NFTScan可以在遷移過程中進行異步更改字段和異步添加索引等數據定義語言(DDL)操作，而不會阻塞整個表的讀寫，這大大提高了業務邏輯調整時數據模式的靈活性。遷移完成后，NFTScan對B端、C端各類應用程序的數據查詢進行了改造，經過充分調優和測試后，逐步將生產環境的應用全部切換到TiDB。

使用收益

TiDB支持多維實時查詢，查詢時間短。TiDB完美地滿足了NFTScan高吞吐量和低延遲的核心要求。以業務端的API服務為例，平均查詢時間從10-100毫秒下降到10毫秒或更少。即使處理1,000QPS，這樣的查詢速度也能保持穩定。

TiDB的列式存儲引擎TiFlash，可以高效地處理分析工作負載。例如，在對某張具有數億行的表執行復雜查詢時，可以在幾秒鐘內獲得結果。

TiDB的智能SQL優化器可以根據數據的分布情況選擇最具性價比的數據查詢執行計劃，讓開發者可以靈活調整和優化SQL執行計劃。

Tags：NFTFTSNFTSNFT價格NFT幣FTS幣FTS價格NFTS幣NFTS價格

幣贏交易所