原文作者:Yuxing
本文僅供交流學習,不構成任何投資建議。
ChatGPT和GPT-4的火熱,讓我們看到了人工智能的力量。人工智能背后,除了算法以外,更重要的是海量的數據。圍繞數據,我們已經構建了一個大規模的復雜系統,該系統的價值主要來自于商業智能和人工智能。由于互聯網時代數據量的快速增長,數據基礎設施的工作和最佳實踐也在飛速地發展。這兩年,數據基礎設施技術棧的核心系統已經非常穩定,支持工具和應用也在快速增長。
Web2數據基礎設施架構
云數據倉庫正在迅速增長,主要關注SQL用戶和商業智能用戶場景。其他技術的采用也在加速,數據湖的客戶增長速度前所未有,數據技術棧中的異質性將共存。
其他核心數據系統,如數據獲取和轉化,已經證明同樣耐久。這在現代數據智能領域特別明顯。Fivetran和dbt的組合幾乎隨處可見。但在一定程度上,在業務系統中也同樣如此。Databricks/Spark、Confluent/Kafka和Astronomer/Airflow的組合也開始成為事實標準。
a16z
其中,
數據源端生成相關商務和業務數據;
數據抽取和轉換負責從業務系統中抽取數據、傳輸到存儲、對齊數據源和目的地之間的格式以及將分析過的數據根據需求送回業務系統;
數據存儲將數據按照可以查詢和處理的格式存儲,需要朝低成本、高可擴展性和分析工作量進行優化;
查詢和處理將高級編程語言翻譯成低端數據處理任務。根據存儲數據,使用分布式計算執行查詢和數據模型,包括歷史分析和預測分析;
轉換將數據轉換成分析可用的結構,管理流程和資源;
分析和輸出是為分析師和數據科學家提供可以溯源洞見和協作的界面,向內部和外部用戶展示數據分析的結果,將數據模型嵌入面向用戶的應用。
隨著數據生態的飛速發展,出現了“數據平臺”的概念。從行業的角度看,平臺的定義特征是有影響力的平臺提供方和大量的第三方開發者能夠在技術上和經濟上相互依存。從平臺的角度看,數據技術棧分為“前端”和“后端”。
“后端”大致包括數據提取、存儲、處理和轉換,已經開始圍繞小部分云服務提供商開始整合。因此,客戶數據被收集在一套標準的系統中,供應商正在大力投資,使其他開發人員可以輕松訪問這些數據。這也是Databricks等系統的基本設計原則,并且通過SQL標準和自定義計算API等系統得到了實現。
“前端”工程師利用這種單點集成來構建一系列新應用程序。他們依賴數據倉庫/湖倉一體中清洗和整合過的數據,而不用擔心它們是如何生成的底層細節。單個客戶可以在一個核心數據系統之上構建和購買很多應用。我們甚至開始看到傳統企業系統,如財務或者產品分析,正在使用倉庫原生的架構進行重構。
隨著數據技術棧的逐漸成熟,數據平臺上的數據應用也隨之激增。由于標準化,采用新的數據平臺變得前所未有地重要,相應地維護平臺也變得極為重要。在規模上,平臺可能非常有價值。現在,核心數據系統供應商之間競爭激烈,這種競爭不僅是為了當前的業務,更是為了長期的平臺地位。如果你認為數據獲取和轉換模塊是新興數據平臺的核心部分,那么對數據獲取和轉換公司的驚人估值也就更容易理解了。
EigenLayer將增加LST上限,第三季度將上線Operator測試網:7月1日消息,以太坊再質押協議EigenLayer宣布將增加流動性質押代幣(LST)的上限,不過相關協議參數更改還須獲得多重簽名治理系統的批準。EigenLayer操作多重簽名通過時間鎖執行例行升級和維護,對所有安全關鍵操作強制執行至少10天的延遲,這也意味著,7月10日之后Operations多簽可以取消上限。EigenLayer預計將在7月10日當周提高LST上限。屆時,LST上限(包括rETH、stETH和cbETH)將增加到15,000個代幣(每類LST),沒有個人存款限制。一旦所有LST存款的總和達到3萬枚代幣,將啟動暫停LST再質押。
EigenLayer表示,隨著LST上限的增加,將探索EigenLayer路線圖的下一步。重點仍然是增強再質押體驗,同時確保安全性和去中心化。具體計劃是,第三季度上線Operator測試網,第四季度上線主動驗證服務(AVS)測試網,預計2024年第一季度上線AVS主網。[2023/7/1 22:12:06]
然而,這些技術棧的形成是在以大公司為主導的數據利用方式下形成的。隨著社會對于數據的理解加深,人們認為數據與土地、勞動力、資本、技術一樣,都是可市場化配置的生產要素。數據作為五大生產要素之一,其背后體現的正是數據的資產價值。
要實現數據要素市場的配置,目前的技術棧遠遠不能滿足需求。與區塊鏈技術緊密結合的Web3領域,新的數據基礎設施正在發展與演變。這些基礎設施將嵌入現代數據基礎設施架構,實現數據產權界定、流通交易、收益分配和要素治理。這四個領域在政府監管的角度來說非常關鍵,因此需要特別關注。
橙色是Web3所獨有的技術棧單元。由于去中心化技術還處于早期發展階段,目前Web3領域內的大部分應用采用的仍是這種混合數據基礎設施架構。絕大多數應用并不是真正的“超級結構”。超級結構擁有不可停止、免費、有價值、可擴展、無許可、正外部性和可信中立等特征。它作為數字世界的公共物品而存在,是“元宇宙”世界的公共基礎設施。這需要完全去中心化的底層架構來支撐它。
傳統的數據基礎設施架構是根據企業業務發展演變而來的。a16z將其總結為兩個系統和三個場景。這是從企業的視角——數據為企業的發展服務——作出的總結。
政策法規,希望從監管的層面規范數據的使用,促進數據的流通。這包括在日本常見的各種DataBank、在中國最近興起的數據交易所以及在歐美已經廣泛使用的交易平臺,如BDEX、Streamr、DAWEX和CARUSO等等。
當數據開始進行產權界定、流動交易、收益分配和治理時,它們的系統和場景就不僅僅是賦能企業自身的決策和業務發展。這些系統和場景要么需要借助區塊鏈技術,要么強烈依賴政策監管。
Web3是數據要素市場的天然土壤,它從技術上杜絕了作弊的可能性,能夠大大減輕監管壓力,讓數據作為真正的生產要素存在,并進行市場化配置。
在Web3語境下,數據利用的新范式包括承載流動數據要素的市場系統和管理公共數據要素的公共系統。它們涵蓋了三個新的數據業務場景:產權數據開發整合、可組合初始數據層和公共數據挖掘。
這些場景有的與傳統數據基礎設施緊密結合,屬于Web3混合數據基礎設施架構;有的則脫離傳統架構,完全由Web3原生的新技術支持。
數據:14個地址曾以1.43美元價格買入PSI,其中一個已賺取超14萬美元:2月7日消息,區塊鏈分析公司Nansen發推文稱,發現14個Smart Money地址在PSI代幣公開發售期間以1.43美元的價格買入(當前價格約7.1美元),其中一個已經賺了超過14萬美元,實現收益為3.5萬美元。
據悉,PSI是Arbitrum生態鏈游Trident發行的代幣,此前2月5日,Trident完成300萬美元代幣公募融資,公募價格為1.4305USDC。[2023/2/7 11:52:11]
數據產權是保障權益和合規使用的關鍵,應進行結構性分配處置,同時數據使用需要確認授權機制。各個參與方應該擁有相關權益。
流通交易需要場內外結合以及合規高效。應基于數據來源可確認、使用范圍可界定、流通過程可追溯、安全風險可防范四大原則。
收益分配制度需要高效公平。按照“誰投入、誰貢獻、誰受益”的原則,同時政府在數據要素收益分配中能夠發揮引導調節作用。
要素治理安全可控、彈性包容。這需要創新政府數據治理機制,建立數據要素市場信用體系,并鼓勵企業積極參與數據要素市場建設,圍繞數據來源、數據產權、數據質量、數據使用等,推行面向數據商及第三方專業服務機構的數據流通交易聲明和承諾制。
以上原則是監管部門考慮數據經濟的基本原則。在產權數據開發整合、可組合初始數據層和公共數據挖掘三種場景下,可以以這些原則為基礎進行思考。我們需要怎樣的基礎設施作為支撐?這些基礎設施能夠在哪些階段捕獲什么樣的價值?
智能合約或內部邏輯系統進行數據分類分級授權。
在該場景下適用的數據類型為非公共數據,即企業數據和個人數據。應按市場化方式“共同使用、共享收益”,從而激活數據要素價值。
企業數據包括各類市場主體在生產經營活動中采集加工的不涉及個人信息和公共利益的數據。市場主體享有依法依規持有、使用、獲取收益的權益,以及保障其投入的勞動和其他要素貢獻獲得合理回報的權利。
個人數據要求數據處理者按照個人授權范圍依法依規采集、持有、托管和使用數據。使用創新技術手段,推動個人信息匿名化處理,保障使用個人信息數據時的信息安全和個人隱私。探索由受托者代表個人利益,監督市場主體對個人信息數據進行采集、加工、使用的機制。對涉及國家安全的特殊個人信息數據,可依法依規授權有關單位使用。
注:橙色是Web2與Web3交叉的單元
可組合初始數據層是數據經濟市場的重要組成部分。與一般的產權數據不同的是,這部分數據最明顯的特征是需要通過“數據模式管理”定義數據的標準格式。與“數據適配”的質量、采集和接口標準化不同的是,這里強調的是數據模式的標準化,包括標準的數據格式和標準的數據模型。Ceramic和Lens是這一領域的先行者,他們分別保障了鏈下和鏈上數據的標準模式,從而使得數據具有可組合性。
搭建在這些數據模式管理工具之上的是可組合初始數據層,通常稱為“datalayer”,如Cyberconnect、KNN3等。
可組合初始數據層較少涉及到Web2的技術棧,但以Ceramic為主的熱數據讀取工具打破了這一點,這將是非常關鍵的突破。很多類似的數據無需存儲在區塊鏈上,也很難存儲在區塊鏈上,但它們需要存儲在去中心化的網絡之上,例如用戶的發帖、點贊和評論等高頻低價值密度數據,Ceramic為這一類數據提供了存儲范式。
Gemini子公司Nifty Gateway聯創將辭職:1月25日消息,同為NFT交易平臺Nifty Gateway聯合創始人的雙胞胎兄弟Duncan和Griffin Cock Foster將從母公司Gemini辭職。(TheBlock)[2023/1/25 11:29:57]
可組合的初始數據是新時代創新的關鍵場景,也是數據霸權與數據壟斷終結的重要標志。它能夠解決初創企業在數據方面的冷啟動問題,組合成熟數據集和新數據集,從而使初創企業能夠更快地建立數據競爭優勢。同時讓初創企業專注于增量數據價值和數據新鮮度,從而為自身的創新想法贏得持續的競爭力。這樣,大量的數據將不會成為大公司的護城河。
注:橙色是多類別交叉的單元
公共數據挖掘并不是一個新的應用場景,但是在Web3技術棧中,它得到了前所未有的突出強調。
傳統的公共數據包括黨政機關、企事業單位依法履職或提供公共服務過程中產生的公共數據。監管機構鼓勵在保護個人隱私和確保公共安全的前提下,按照“原始數據不出域、數據可用不可見”的要求,以模型、核驗等產品和服務等形式向社會提供該類數據。它們采用的是傳統技術棧。
在Web3中,區塊鏈上的交易數據以及活動數據則是另一類公共數據,其特征是“可用且可見”,因此缺乏數據隱私、數據安全以及數據使用的確認授權能力,是真正的“公共物品”。它們采用的是以區塊鏈和智能合約為核心的技術棧。
而在去中心化存儲上的數據則大多是除交易以外的Web3應用數據,目前主要是以文件和對象存儲為主,相應的技術棧仍不成熟。這類公共數據的生產和挖掘利用存儲的普遍問題包括冷熱存儲、索引、狀態同步、權限管理和計算等等。
該場景涌現了諸多數據應用,它們不屬于數據基礎設施,更多是數據工具,包括Nansen、Dune、NFTScan、0xScope等等。
案例:數據交易所
數據交易所是指以數據為商品進行交易的平臺。它們可以根據交易對象、定價機制、質量保證等方面進行分類和比較。DataStreamX、Dawex、OceanProtocol是市場上幾個典型的數據交易所。
OceanProtocol是一個開源的協議,旨在讓企業和個人能夠交換和變現數據和基于數據的服務。該協議基于以太坊區塊鏈,使用“數據代幣”來控制對數據集的訪問。數據代幣是一種特殊的ERC20代幣,可代表一個數據集或一個數據服務的所有權或使用權。用戶可以通過購買或賺取數據通證來獲取所需的信息。
OceanProtocol的技術架構主要包括以下幾個部分:
提供者:指提供數據或數據服務的供應方,他們可以通過OceanProtocol發行和出售自己的數據通證,從而獲得收入。
消費者:指購買和使用數據或數據服務的需求方,他們可以通過OceanProtocol購買或賺取所需的數據通證,從而獲得訪問權。
市場:指由OceanProtocol或第三方提供的一個開放、透明和公平的數據交易市場,它可以連接全球范圍內的提供者和消費者,并提供多種類型和領域的數據通證。市場可以幫助組織發現新的商業機會,增加收入來源,優化運營效率,創造更多價值。
網絡:指由OceanProtocol提供的一個去中心化的網絡層,它可以支持不同類型和規模的數據交換,并保證數據交易過程中的安全、可信和透明。網絡層是一組智能合約,用于注冊數據、記錄所有權信息、促進安全的數據交換等。
幣安高管:散戶投資者紛紛涌入比特幣和加密貨幣:金色財經報道,據路透社(Reuters)的一份新報告,幣安(Binance)拉丁美洲負責人馬克西米蘭諾?辛茨(Maximiliano Hinz)表示,全球通脹的上升正推動投資者購買BTC和其他數字資產,作為保護財富的一種手段。
Hinz表示,由于通貨膨脹和美元走強,幣安的新用戶數量正在激增。阿根廷是這家加密交易所巨頭表現最好的市場之一,截至今年7月,該國的年通脹率為71%。巴西和墨西哥也是幣安最大的市場。監管是一個框架,但有些東西不受監管并不總是負面的。如果某些東西沒有被禁止,那么它就是合法的。(dailyhodl)[2022/8/15 12:25:08]
策展人:指一個生態系統中負責篩選、管理、審核數據集的角色,他們負責審核數據集的來源、內容、格式和許可證等方面的信息,以確保數據集符合標準,并且可以被其他用戶信任和使用。
驗證人:指一個生態系統中負責驗證、審核數據交易和數據服務的角色,他們對數據服務提供商和消費者之間的交易進行審核和驗證,以確保數據服務的質量、可用性和準確性。
開源、靈活和可擴展的協議有助于組織和個人創建自己獨特的數據生態系統。
基于區塊鏈技術的去中心化網絡層,可以保證數據交易過程中的安全、可信和透明,同時也保護了提供者和消費者的隱私和權益。
開放、透明和公平的數據市場,可以連接全球范圍內的提供者和消費者,并提供多種類型和領域的數據通證。
OceanProtocol是混合架構的典型代表。其數據可以存儲在不同的地方,包括傳統的云存儲服務、去中心化的存儲網絡,或者數據提供者自己的服務器。該協議通過數據代幣和數據非同質化代幣來標識和管理數據的所有權和訪問權限。此外,該協議還提供了計算到數據的功能,使得數據消費者可以在不暴露原始數據的情況下對數據進行分析和處理。
建立一個有效的信任機制,以增加數據提供者和需求者之間的信任度,降低交易風險。例如,建立數據要素市場信用體系,對數據交易失信行為認定、守信激勵、失信懲戒、信用修復、異議處理等等,通過區塊鏈進行留證與驗證。
建立一個合理的定價機制,以反映數據產品的真實價值,激勵數據提供者提供高質量的數據,并吸引更多的需求者。
建立一個統一的標準規范,以促進不同格式、類型、來源和用途的數據之間的互操作性和兼容性。
案例:數據模型市場
Ceramic在其數據宇宙中提到了他們要打造的開放數據模型市場,因為數據需要互操作性,它能夠極大地促進生產力的提升。這樣的數據模式市場是通過對數據模型的緊急共識實現的,就類似于以太坊中的ERC合約標準,開發人員可以從中選擇作為功能模板,從而擁有一個符合該數據模型的所有數據的應用程序。目前這個階段,這樣的市場并不是一個交易市場。
關于數據模型,一個簡單的例子是,在去中心化社交網絡當中,數據模型可以簡化為4個參數,分別是:
PostList:存儲用戶帖子的索引
Post:存儲單個帖子
Profile:存儲用戶的資料
FollowList:存儲用戶的關注列表
那么數據模型如何在Ceramic上進行創建、共享和重用,從而實現跨應用程序數據互操作性呢?
Nomad:正在與TRM Labs和執法部門合作追回資金,不會對歸還90%資金的白帽采取法律行動:8月5日消息,跨鏈互操作性協議Nomad發推稱,團隊正在與 TRM Labs 和執法部門合作,從漏洞利用中追回資金。Nomad 不會對將至少 90% 的資金返還到官方資金回收地址(0x94A84433101A10aEda762968f6995c574D1bF154 )的白帽采取法律行動。此外,團隊還在探索方法來恢復資金和重啟系統。[2022/8/6 12:05:41]
Ceramic提供了一個數據模型注冊表,這是一個開源的、社區共建的、用于Ceramic的可重用應用程序數據模型的存儲庫。在這里,開發人員可以在其中公開注冊、發現和重用現有數據模型——這是構建在共享數據模型上的客戶操作應用程序的基礎。目前,它基于Github存儲,未來它將分散在Ceramic上。
添加到注冊表的所有數據模型都會自動發布到@datamodels的npm插件包下面。任何開發人員都可以使用@datamodels/model-name安裝一個或多個數據模型,使這些模型可用于在運行時使用任何IDX客戶端存儲或檢索數據,包括DIDDataStore或Self.ID。
此外,Ceramic還基于Github搭建了一個DataModels論壇,數據模型注冊表中的每個模型在該論壇上都有自己的討論線程,社區可以通過它來評論和討論。同時,這里還可以供開發人員發布關于數據模型的想法,從而在將其添加到注冊表之前征求社區的意見。目前一切都在早期階段,注冊表中的數據模型并不多,收納進入注冊表中的數據模型應當通過社區的評定稱為CIP標準,就像以太坊的智能合約標準一樣,這為數據提供了可組合性。
案例:去中心化數據倉庫
SpaceandTime是第一個連接鏈上和鏈下數據以支持新一代智能合約用例的去中心化數據倉庫。SpaceandTime(SxT)擁有業內最成熟的區塊鏈索引服務,SxT數據倉庫還采用了一種名為ProofofSQL?的新型密碼學來生成可驗證的防篡改結果,允許開發人員以簡單的SQL格式加入無需信任的鏈上和鏈下數據,并將結果直接加載到智能合約中,以完全防篡改和區塊鏈錨定的方式為亞秒級查詢和企業級分析提供支持。
SpaceandTime是兩層網絡,由驗證器層和數據倉庫組成。SxT平臺的成功取決于驗證器和數據倉庫的無縫交互,以促進對鏈上和鏈下數據的簡單和安全查詢。
數據倉庫由數據庫網絡和計算集群組成,這些網絡由spaceandtime驗證器控制并路由到它們。Spaceandtime采用了一種非常靈活的倉儲解決方案:HTAP。
Validator監視、命令和驗證這些集群提供的服務,然后編排最終用戶和數據倉庫集群之間的數據流和查詢。Validator為數據進入系統和數據退出系統提供了一種手段。
路由——支持與去中心化數據倉庫網絡的事務和查詢交互
流媒體——充當大容量客戶流媒體工作負載的接收器
共識——對進出平臺的數據提供高性能的拜占庭容錯
查詢證明——向平臺提供SQL證明
TableAnchor——通過在鏈上錨定表向平臺提供存儲證明
Oracle——支持Web3交互,包括智能合約事件監聽和跨鏈消息傳遞/中繼
安全性——防止未經身份驗證和未經授權訪問平臺
SpaceandTime作為一個平臺是世界上第一個分散的數據結構,它開啟了一個強大但服務不足的市場:數據共享。在SpaceandTime平臺內,公司可以自由共享數據,并且可以使用智能合約對共享的數據進行交易。此外,數據集可以通過SQL證明以聚合方式貨幣化,而無需讓消費者訪問原始數據。數據消費者可以相信聚合是準確的,而無需看到數據本身,因此數據提供者不再必須是數據消費者。正是出于這個原因,SQL證明和數據結構架構的結合有可能使數據操作民主化,因為任何人都可以在攝取、轉換和服務數據集方面做出貢獻。
對于數據來源者,需要擁有知情同意和數據本身的自由獲取、復制轉移的處置權。
對于數據處理者,需要擁有自主管控、使用數據和獲得收益的權力。
對于數據衍生品,需要擁有經營權。
目前Web3數據治理能力單一,往往只能通過控制私鑰來控制資產和數據,分級分類配置能力幾乎沒有。最近,Tableland、FEVM以及Greenfield的創新機制,在一定程度上可以實現數據的去信任化治理。傳統的數據治理工具如Collibra一般只能用于企業內部,只具備平臺級的信任,同時非去中心化的技術也使得其無法防止個人作惡及單點故障。通過Tableland等數據治理工具,可以保障數據流通過程所需的安全保障技術、標準和方案。
案例:Tableland
TablelandNetwork是一種用于結構化關系數據的分散式web3協議,從以太坊(EVM)和與EVM兼容的L2開始。借助Tableland,現在可以通過利用區塊鏈層進行訪問控制來實現傳統的web2關系數據庫功能。但是,Tableland并不是一個新的數據庫——它只是web3原生的關系表。
Tableland提供了一種新方法,使dapp能夠將關系數據存儲在web3-native網絡中,而無需進行這些權衡。
解決方案
使用Tableland,元數據可以變更、查詢和可組合——所有這些都以完全去中心化的方式進行。
Tableland將傳統的關系數據庫分解為兩個主要組件:具有訪問控制邏輯(ACL)的鏈上注冊表和鏈下表。Tableland中的每個表最初都是作為ERC721令牌在基本EVM兼容層上鑄造的。因此,鏈上的表所有者可以為表設置ACL權限,而鏈下Tableland網絡管理表本身的創建和后續變更。鏈上和鏈下之間的鏈接都是在合約級別處理的,它只是指向Tableland網絡。
只有具有適當鏈上權限的人才能寫入特定表。但是,表讀取不一定是鏈上操作,可以使用Tableland網關;因此,讀取查詢是免費的,可以來自簡單的前端請求,甚至可以來自其他非EVM區塊鏈。現在,為了使用Tableland,必須首先創建一個表。部署地址最初設置為表所有者,并且此所有者可以為任何其他嘗試與表交互進行變更的用戶設置權限。例如,所有者可以設置規則,誰可以更新/插入/刪除值,他們可以更改哪些數據,甚至決定他們是否愿意轉讓所有權表的另一方。此外,更復雜的查詢可以連接來自多個表的數據,以創建一個完全動態且可組合的關系數據層。
考慮下圖,它概括了新用戶與已由某些dapp部署到Tableland的表的交互:
以下是整體信息流:
1.新用戶與dapp的UI交互并嘗試更新存儲在Tableland表中的一些信息。
2.dapp調用Tableland注冊智能合約來運行這個SQL語句,并且這個合約檢查dapp的智能合約,其中包含定義這個新用戶的權限的自定義ACL。有幾點需要注意:
dapp的單獨智能合約中的自定義ACL是一個完全可選但高級的用例;開發人員不需要實現自定義ACL,可以使用Tableland注冊表智能合約的默認策略。
寫查詢也可以使用網關,而不是直接調用Tableland智能合約。dapp始終存在直接調用Tableland智能合約的選項,但任何查詢都可以通過網關發送,網關將以補貼的方式將查詢中繼到智能合約本身。
3.Tableland智能合約獲取該用戶的SQL語句和權限,并將這些合并到發出的事件中,這些事件描述了要采取的基于SQL的操作。
4.TablelandValidator節點偵聽這些事件并隨后采取以下操作之一:
如果用戶具有寫入表的正確權限,驗證器將相應地運行SQL命令并將確認數據廣播到Tableland網絡。
如果用戶沒有正確的權限,Validator不會對表執行任何操作。
如果請求是簡單的讀查詢,則返回相應的數據;Tableland是一個完全開放的關系數據網絡,任何人都可以在其中對任何表執行只讀查詢。
5.dapp將能夠通過網關反映Tableland網絡上發生的任何更新。
避免什么
個人身份數據——Tableland是一個開放的網絡,任何人都可以從任何表格中讀取數據。因此,個人數據不應存儲在Tableland中。
高頻、亞秒級寫入——例如高頻交易機器人。
將每個用戶交互存儲在應用程序中——將這些數據保存在web3表中可能沒有意義,例如擊鍵或點擊。寫入頻率會導致高成本。
非常大的數據集——應該避免這些,最好通過文件存儲來處理,使用IPFS、Filecoin或Arweave等解決方案。但是,指向這些位置和相關元數據的指針實際上是Tableland表的一個很好的用例。
數據源是整個架構中價值捕獲最大的模塊
數據復制、轉換、流式處理和數據倉庫在其次
分析層可能會有很好的現金流,但估值會存在上限
簡單的來說,在整個結構圖的左邊的公司/項目,其價值捕獲傾向于更大。
行業集中度最高的是數據存儲以及數據查詢和處理兩個模塊
行業集中度中等的是數據抽取和轉換
行業集中度較低的是數據源、分析和輸出兩個模塊
數據源、分析和輸出行業集中度較低,初步判斷是不同的業務場景導致在每個業務場景中都能夠有垂直場景的龍頭出現,如數據庫領域的Oracle、第三方服務的Stripe、企業服務的Salesforce、儀表盤分析的Tableau以及嵌入式分析的Sisense等等。
而行業集中度中等的數據抽取和轉換模塊,初步判斷其原因是因為業務屬性的技術導向性。模塊化的中間件形式也使得切換成本相對較低。
行業集中度最高的數據存儲以及數據查詢和處理模塊,初步判斷是由于業務場景單一、技術含量高、啟動成本高且后續切換具有較大成本,使得公司/項目的先發優勢較強,且具備網絡效應。
在2010年前成立的大部分是數據源類公司/項目,移動互聯網還沒有興起,數據量還沒有非常大,也有一部分數據存儲和分析輸出類的項目,儀表盤類為主。
2010年~2014年,是移動互聯網崛起的前夕,誕生了Snowflake和Databricks等數據存儲和查詢項目,數據抽取和轉換的項目也開始出現,一套成熟的大數據管理技術方案逐漸完善,期間也出現了大量分析輸出類的項目,儀表盤類為主。
2015年~2020年,查詢和處理類的項目如雨后春筍,同時也有大量數據抽取和轉換的項目不斷出現,讓人們可以更好地發揮出大數據的威力。
2020年往后,出現了更新的實時分析數據庫和數據湖解決方案,如Clickhouse和Tabular。
基礎設施的完善是所謂“massadoption”的前提。在大規模應用期間,也依然不斷有新的機會,但這些機會幾乎只屬于“中間件”,而底層的數據倉庫、數據源等解決方案幾乎是贏者通吃的局面,除非有技術上實質性的突破,不然都很難成長起來。
而分析輸出類項目,不論在哪個時期都是創業項目的機會。但也是在不斷迭代創新,基于新的場景做新的事情,2010年以前出現的Tableau占據了桌面式儀表盤分析工具的大部分江山,隨后出現的新型場景有如更加專業導向的DS/ML工具、更加綜合導向的數據工作站以及更加SaaS導向的嵌入式分析等等。
從這個視角來看Web3目前的數據協議:
數據源和存儲類項目江山未定,但龍頭初顯,鏈上狀態存儲以以太坊為首,而去中心化存儲以Filecoin、Arweave為首,可能會存在異軍突起的Greenfield。——價值捕獲最高
數據抽取和轉換類的項目,仍然還有創新空間,數據預言機Chainlink只是開始,事件流和流處理基礎設施Ceramic以及更多的項目會出現,但空間不多。——價值捕獲中等
查詢和處理類的項目,theGraph已經能夠滿足大部分需求,項目類型和數量還沒有到達爆發期。——價值捕獲中等
數據分析類的項目,Nansen、Dune為主,需要有新的場景才有新的機會,NFTScan和NFTGo有點類似新的場景,但只是內容更新,而非分析邏輯/范式層面的新需求。——價值捕獲一般,現金流可觀。
但Web3不是Web2的翻版,也不完全是Web2的進化。Web3有非常原生的使命和場景,從而誕生了和以前完全不一樣業務場景。
4月11日消息,據BitfinexAlpha最新報告,在加密市場中,以太坊在本周計劃進行的Shapella升級之前看到了相當多的活動.
1900/1/1 0:00:00尊敬的XT.COM用戶:XT.COM將於2023年04月13日08:00上線OGUSDT,ERNUSDT,ALPINEUSDT,STEEMUSDTU本位永續合約創新區.
1900/1/1 0:00:00原文作者:Darren,EverestVenturesGroup上海升級暫定于4月13日進行,將首次允許驗證者從信標鏈撤出以及提款。相關預期迭加,市場又一次將注意力聚焦于以太坊流動性.
1900/1/1 0:00:00以太坊周四(4月13日)迎來新時代,上海升級Shapella正式在北京時間凌晨6時30分,當主網達到Epoch194048區塊時啟動,宣告驗證者已能夠將以太幣從信標鏈中撤出.
1900/1/1 0:00:00加密貨幣新聞:隨著比特幣價格在10個月內升至30,000美元的新高,加密貨幣市場正在期待可能是本周最大的事件,即以太坊上海升級.
1900/1/1 0:00:00隨著區塊鏈行業的發展,公鏈市場競爭日益激烈,諸多應用都被迫面臨創新的瓶頸,而頭部應用在自己所占領的鏈上只是占領了一個小山頭.
1900/1/1 0:00:00