摘要
隨著AI以超乎想象的速度演化,必將引起對AI利劍的另一“刃”——信任——的擔憂。首先是隱私方面:AI時代,人類從數據隱私的角度如何信任AI?也許AI模型的透明度是更為擔憂的關鍵:類似大規模語言模型的涌現能力,對人類來說無異于一個無法看透的科技“黑匣子”,一般用戶并不能理解模型是如何運行的、運行結果又是如何獲得的——更麻煩的是,作為用戶可能并不知道服務商提供的AI模型是否如承諾的那樣運行。尤其是在一些敏感數據上應用AI算法和模型,如醫療、金融、互聯網應用等,AI模型是否具有偏見(甚至惡意導向)、或者服務商是否按照承諾那樣準確無誤地運行模型(以及相關參數),成為用戶最為關心的問題。零知識證明技術在這方面有著針對性的解決方案,于是零知識機器學習(ZKML)成為最新崛起的發展方向。
綜合考慮到計算的完整性、啟發性優化以及隱私,零知識證明和AI的結合下,零知識機器學習(Zero-Knowledge Machine Learning,ZKML)應運而生。在AI生成內容越來越逼近與人類產生的內容的時代,零知識密證明的技術特點可以幫助我們確定特定內容是通過特定模型產生的。對于隱私保護,零知識證明技術特別重要,即可以在不泄露用戶數據輸入或模型具體細節的情況下完成證明和驗證。
零知識證明應用于機器學習的五種方式:計算完整性、模型完整性、驗證、分布式訓練和身份驗證。最近大型語言模型 (LLM) 的快速發展表明這些模型變得越來越智能,這些模型完善了算法與人類的重要接口:語言。通用人工智能 (AGI) 的趨勢已經不可阻擋,但就現在的模型訓練結果來看,AI可以在數字交互中完美模仿高能力的人類——且在快速的演進中以不可想象的速度達到超越人類的水平,使得人類不得不驚嘆這種進化速度、甚至產生被AI迅速替代的憂慮。
社區開發者利用ZKML對Twitter推薦功能進行驗證,具有一定啟發性。Twitter的“For You”推薦功能利用一種AI推薦算法,將每天發布的大約 5 億條推文提煉成少數幾條熱門推文,最終顯示在用戶主頁的時間軸上。2023年3月底,Twitter開源該算法,但因模型細節未公開,用戶依然無法驗證算法是否準確、完整運行。社區開發者Daniel Kang等利用密碼學工具ZK-SNARKs來檢查Twitter推薦算法是否正確、完整運行而無需公開算法細節——這正是零知識證明最吸引人之處,即不透露關于對象的任何具體信息(零知識)的前提下證明該信息的可信性。最理想的情況是,Twitter可以使用ZK-SNARKS 來發布其排名模型的證明——證明當該模型應用于特定用戶和推文時,它會產生特定的最終輸出排名。該證明則是該模型可信的基礎:用戶可以自行驗證模式算法的計算是否按承諾執行——或者交給第三方來進行審計。這一切都是在不公開模型參數權重細節的基礎上進行。也就是說,利用官方公布的模型證明,用戶對具體的有疑問的推文,利用該證明來驗證特定推文是否按照模型承諾那樣誠實運行。
墨西哥官員會見Samson Mow討論墨西哥如何采用Bitcoin:金色財經報道,Bitcoin Magazine在社交媒體上發文表示,墨西哥參議員兼財政部委員會主席會見Samson Mow討論墨西哥如何采用Bitcoin。[2023/4/30 14:35:25]
1. 核心觀點
隨著AI以超乎想象的速度演化,必將引起對AI利劍的另一“刃”——信任——的擔憂。首先是隱私方面:AI時代,人類從隱私的角度如何信任AI?也許AI模型的透明度是更為擔憂的關鍵:類似大規模語言模型的涌現能力,對人類來說無異于一個無法看透的科技“黑匣子”,一般用戶并不能理解模型是如何運行的、運行結果又是如何獲得的(本身模型就充滿了難以理解或者預測的能力)——更麻煩的是,作為用戶可能并不知道服務商提供的AI模型是否如承諾的那樣運行。尤其是在一些敏感數據上應用AI算法和模型,如醫療、金融、互聯網應用等,AI模型是否具有偏見(甚至惡意導向)、或者服務商是否按照承諾那樣準確無誤地運行模型(以及相關參數),成為用戶最為關心的問題。
零知識證明技術在這方面有著針對性的解決方案,于是零知識機器學習(ZKML)成為最新崛起的發展方向。本文探討了ZKML技術的特點、潛在應用場景和一些具有啟發性的案例,并對ZKML的發展方向及可能的產業影響做了研究闡述。
2. AI利劍的“另一刃”:如何信任AI?
人工智能的能力正在迅速接近人類,并且已經在許多利基領域超越了人類。最近大型語言模型 (LLM) 的快速發展表明這些模型變得越來越智能,這些模型完善了算法與人類的重要接口:語言。通用人工智能 (AGI) 的趨勢已經不可阻擋,但就現在的模型訓練結果來看,AI可以在數字交互中完美模仿高能力的人類——且在快速的演進中以不可想象的速度達到超越人類的水平。語言模型最近取得了重大進展,以ChatGPT為代表的產品表現驚艷,在大多數常規評估中達到了人類能力的 20% 以上,當比較僅相隔幾個月的GPT-3.5 和 GPT-4 時,使得人類不得不驚嘆這種進化速度。但另一面則是對AI能力失控的擔憂。
迪士尼CEO:過去一年一直在探索如何利用Web3技術:9月14日消息,在迪士尼兩年一度的 D23 Expo 大會上,該公司首席執行官鮑勃·查佩克稱迪士尼正在繼續探索和制定虛擬世界計劃,而且在過去一年時間里一直在悄悄探索如何利用 Web3 技術。鮑勃·查佩克表示,迪士尼希望使用來自物理世界和數字世界的數據來推動其元宇宙戰略,來自主題公園訪問數據和消費者流媒體習慣數據將使迪士尼元宇宙戰略中最關注的兩大領域。(nftevening)[2022/9/14 13:30:06]
首先是隱私方面。AI時代,隨著人臉識別等技術的發展,用戶在體驗AI服務的同時,時刻都在擔心數據泄露風險。這給AI的推廣和發展帶來了一定阻礙——從隱私的角度如何信任AI?
也許AI模型的透明度是更為擔憂的關鍵。類似大規模語言模型的涌現能力,對人類來說無異于一個無法看透的科技“黑匣子”,一般用戶并不能理解模型是如何運行的、運行結果又是如何獲得的(本身模型就充滿了難以理解或者預測的能力)——更麻煩的是,作為用戶可能并不知道服務商提供的AI模型是否如承諾的那樣運行。尤其是在一些敏感數據上應用AI算法和模型,如醫療、金融、互聯網應用等,AI模型是否具有偏見(甚至惡意導向)、或者服務商是否按照承諾那樣準確無誤地運行模型(以及相關參數),成為用戶最為關心的問題。如社交應用平臺是否按照“一視同仁”的算法進行相關推薦?來自金融服務商AI算法的推薦是否如承諾的那樣準確、完整運行?AI的推薦的醫療服務方案是否有不必要的消費?服務商是否接受對AI模型進行審計?
簡單來說,一方面用戶并不知道服務商提供的AI模型的真實情況,同時非常擔心模型并非“一視同仁”,AI模式被認為加入一些帶有偏見或者其他導向的因素,會給用戶帶來未知的損失或負面影響。
另一方面,AI的自我演化速度似乎越來越難以預測,越來越強大的AI算法模型似乎越來越超出人控制的可能,因此信任問題成為AI這把利劍的另一“刃”。
需要從數據隱私、模型透明度、模型可控性等角度建立用戶對AI的信任。用戶需要擔心隱私保護以及算法模型是否如承諾的那樣準確、完整運行;然而這并非易事,就模型透明度而言,模型提供商基于商業秘密等角度,對模型的審計和監督方面存有顧慮;另一方面算法模型自身的演化并不易控,這一點不可控性也需要考慮到。
央行行長易綱 :將繼續研究如何加強央行數字貨幣的風險管理:4月17日,財新舉辦主題為“金融科技與人民幣可自由使用”的研討會。中國人民銀行行長易綱在會上表示,央行數字貨幣項目已取得較大進展,當前階段在部分城市及部分場景進行內部封閉試點測試,同時表示“將繼續研究如何加強央行數字貨幣的風險管理,包括了解你的客戶(KYC)等。”
對于金融科技在此次疫情期間發揮的作用,易綱表示肯定,但也強調商業銀行依然是主力;科技公司積極參與有助于提升金融服務水平;人民幣國際化主要依靠市場驅動,平等競爭,中國會繼續推進金融開放和改革。[2020/5/4]
用戶數據隱私保護的角度,在我們之前的報告如《Web3.0驅動下的AI和數據要素:開放、安全與隱私》也多有研究,Web3.0的一些應用在這方面極具啟發性——即在完整用戶數據確權、數據隱私保護的前提下進行AI模型訓練。
但目前市場為Chatgpt這類大模型的驚艷表現而折服,還未考慮到模型自身的隱私問題、算法“涌現”特征的演化帶來的模型的信任問題(以及不可控性帶來的信任),但另一層面,用戶對所謂算法模型的準確、完整和誠實運行一直持懷疑態度。因此,AI的信任問題,應該從用戶、服務商和模型不可控性三個層面來解決。
3. ZKML:零知識證明與AI結合帶來信任
3.1.零知識證明:zk-SNARKS、zk-STARK等技術日趨成熟
零知識證明(Zero Knowledge Proof,ZKP)最早由MIT的Shafi Goldwasser和Silvio Micali在1985年一篇名為《互動式證明系統的知識復雜性》的論文中提出。作者在論文中提到,證明者(prover)有可能在不透露具體數據的情況下讓驗證者(verifier)相信數據的真實性。公共的函數f(x)和一個函數的輸出值y,Alice對Bob說她知道x值,但是Bob不信。為此,Alice使用零知識證明算法,來生成一個證明。Bob驗證這個證明,確認Alice是不是真的知道滿足函數f的x。
聲音 | 陳純:除了研究區塊鏈技術本身外 還需要研究如何監管:1月12日,中國工程院院士陳純在CCF通訊刊文《聯盟區塊鏈關鍵技術與區塊鏈的監管挑戰》,文中提到,區塊鏈作為重要的底層基礎設施,在其快速發展的過程中,我們要高度重視安全問題。因此,我們除了研究區塊鏈技術本身外,還需要研究區塊鏈如何監管。公有鏈已經成為新媒體的傳播媒介,因為公有鏈本身具有去中心化、不可篡改、不可刪除、低成本的特點。利用區塊鏈去傳播有害信息、網絡謠言、煽動性與攻擊性信息,會給區塊鏈技術的產業布局和發展帶來不利影響,同時給監管部門帶來很大的挑戰。[2020/1/13]
舉例來說,利用零知識證明,可以不知道小明考試的成績,而可以知道其成績是否滿足用戶的要求——比如是否及格、是否填空題正確率超過60%等等。在AI領域,結合零知識證明,則可以對AI模型有可靠的信任工具。
零知識證明可以是交互式的,即證明者面對每個驗證者都要證明一次數據的真實性;也可以是非交互式的,即證明者創建一份證明,任何使用這份證明的人都可以進行驗證。
零知識分為證明和驗證兩部分,一般來說證明是準線性的,即驗證是T*log(T)的。
假設驗證時間是以交易數量對數的平方,那么10000筆交易一個塊的機器驗證時間是
VTime = ( )2 ~ (13.2)2 ~ 177 ms;現在將塊大小增加一百倍(達到100萬tx/塊),驗證器的新運行時間是VTime = (log2 1000000)2 ~ 202 ~ 400 ms。因此,我們能看到其超強的可拓展性,這就是為什么說,從理論上tps能夠達到無限的原因。
驗證是非常快的,而所有的難點就在于生成證明這一部分。只要生成證明的速度跟得上,那么鏈上驗證就很簡單。零知識證明目前有多種實現方式,如zk-SNARKS、zk-STARKS、PLONK以及Bulletproofs。每種方式在證明大小、證明者時間以及驗證時間上都有自己的優缺點。
普京:俄羅斯不能有自己的加密貨幣 但必須研??究如何使用加密貨幣:據cointelegraph消息,俄羅斯總統普京6月7日在與俄羅斯公眾的年度現場問答會議上表示,俄羅斯不能有自己的加密貨幣,這是因為加密貨幣超越了國界。對于所謂加密貨幣挖礦,普京指出俄羅斯確實沒有對此進行規范,但態度“非常謹慎”。關于加密貨幣作為支付方式,普京指出,雖然專家說日本已經部分采用加密貨幣作為支付,但這“在其他國家并不適用”。俄羅斯聯邦中央銀行認為加密貨幣既不是支付手段,也不是價值儲備手段。加密貨幣不受任何支持,人們應該小心謹慎地對待它。俄羅斯必須密切關注這一現象,以確定俄羅斯如何參與其進程。此外普京還補充說明,俄羅斯必須研??究如何使用加密貨幣,以避免在國際金融領域的任何限制。據cointelegraph分析,普京或許在暗示可以通過使用加密貨幣避免目前西方國家對俄羅斯的制裁。[2018/6/8]
零知識證明越復雜、越大,則性能越高,驗證所需的時間越短。如下圖,STARKs和Bulletproofs無需可信設置,隨著交易數據量從1TX激增至10000TX,后者證明的大小增加的更少。Bulletproofs的優點是證明的大小是對數變換(即使f和x很大),有可能將證明存入區塊,但其驗證的計算復雜度是線性的。可見各類算法都有很多要權衡的關鍵點,亦有很多待升級的空間,然而在實際運行過程中,生成證明的難度遠比想象中的要大,因此現在行業都致力于解決生成證明的問題。
雖然零知識證明技術的發展還不足以匹配類似大語言模型(LLM)的規模,但其技術實現有著啟發性的應用場景。特別是在AI雙刃劍的發展狀況下,零知識證明為AI信任化提供了可靠的解決方案。
3.2.零知識機器學習(ZKML):去信任化的AI
在AI生成內容越來越逼近于人類所產生的內容的時代,零知識密證明的技術特點可以幫助我們確定特定內容是通過將特定模型產生的。對于隱私保護,零知識證明技術特別重要,即可以在不泄露用戶數據輸入或模型具體細節的情況下完成證明和驗證。綜合考慮到計算的完整性、啟發性優化以及隱私,零知識證明和AI的結合下,零知識機器學習(Zero-Knowledge Machine Learning,ZKML)應運而生。
以下是零知識證明應用于機器學習的五種方式。除計算完整性、模型完整性和用戶隱私這些基礎功能外,零知識機器學習還能帶來分布式訓練——這將促進AI與區塊鏈的融合,以及人來在AI叢林里的身份證明(該部分可以詳見我們的報告《OpenAI創始人的Web3愿景:Worldcoin打造AI數字通行證》)。
AI大模型對算力的需求是有目共睹的,而此時由將ZK證明穿插到AI應用中來,對硬件算力則帶來新的需求。零知識系統的當前技術水平與高性能硬件相結合,依舊無法證明與當前可用的大型語言模型(LLM)一樣大的東西,但已經取得了一些進展創建較小模型的證明。根據Modulus Labs團隊針對各種不同規模的模型對現有的 ZK 證明系統進行了測試。如plonky2等證明系統,可以在功能強大的 AWS 機器上運行約 50 秒,為大約 1800萬參數規模的模型創建證明。
就硬件而言,ZK技術目前的硬件選擇包括GPU、FPGA 或 ASIC。需要注意的是零知識證明仍處于早期發展階段,目前仍然很少有標準化,且算法也在不斷更新變化中。每種算法都有其特點,適合于不同的硬件,且隨著項目發展需求每種算法都會有一定程度改進,因此很難去具體評估哪種算法最優。
需要注意的是,ZK與AI大模型的結合方面,還未有明確的研究對現有的硬件系統進行評估,因此,未來硬件需求方面還存在較大的變數與潛力。
3.3.啟發性案例:驗證Twitter推薦排名算法
Twitter的“For You”推薦功能利用一種AI推薦算法,將每天發布的大約 5 億條推文提煉成少數幾條熱門推文,最終顯示在用戶主頁的“For You”時間軸上。該推薦從推文、用戶和參與數據中提取潛在信息以便能夠提供更相關的推薦。2023年3月底,Twitter開源了推薦功能“For You”在時間軸上選擇和排名帖子的算法。推薦流程大致如下:
1)從用戶與網站的交互中生成用戶行為特征,從不同的推薦來源獲取最佳推文;
2)使用AI算法模型對每條推文進行排名;
3)應用啟發功能和過濾器,例如過濾掉來自用戶已阻止的推文內容和已經看過的推文等。
該推薦算法最核心的模塊是負責構建和提供 For You 時間線的服務—— Home Mixer。該服務充當連接不同候選源、評分函數、啟發式方法和過濾器的算法主干。
“For You”推薦功能根據大約 1500 個可能相關的候選推薦,預測每個候選推文的相關性并進行評分。推特官網稱在此階段,所有候選推文都受到平等對待。而最核心的排名則是通過一個約 4800萬參數的神經網絡實現的,該神經網絡在推文交互上持續訓練以優化。這種排名機制考慮了數千個特征并輸出十個左右的標簽來為每條推文打分,其中每個標簽代表參與的概率,然后根據這些分數對推文進行排名。
雖然這是推特推薦算法邁向透明的重要一步,但用戶依然無法驗證算法是否準確、完整運行——一個主要原因是用于對推文進行排名的算法模型中具體的權重細節以保護用戶隱私的緣由而未公開。因此,算法的透明度依舊存疑。
利用ZKML(零知識機器學習)技術,可以在Twitter 不公開算法模型權重細節的情況下證明是否準確、完整運行(模型及其參數對不同用戶是否“一視同仁”),這使得在算法模型隱私保護和透明性之間取得了很好的平衡。
假設用戶認為“For You”推薦功能的時間線值得懷疑——認為某些推文的排名應該更高(或低)。如果Twitter 能夠上線ZKML證明功能,用戶可以利用官方給出的證明來自行檢查懷疑的推文與時間軸中的其他推文相比排名如何(計算出的分數對應著排名),如果排名與模型的分數不符,則表示對這些特定推文的算法模型并非誠實運行(而是人為地在一些參數上有變化)。可以這樣理解,官方雖然不公布模型的具體細節,但是根據模型給出了一把魔法棒(模型產生的證明),任何推文利用這個魔法棒都能展現相關排名分數——而根據這個魔法棒卻無法還原模型隱私細節。因此,官方模型的細節隱私得到保護的情況下獲得審計。
站住模型的角度,在保護模型隱私的情況下,利用ZKML技術,依舊可以使模型獲得審計和用戶的信任。
吉時通信
個人專欄
閱讀更多
金色早8點
Odaily星球日報
金色財經
Block unicorn
DAOrayaki
曼昆區塊鏈法律
Tags:加密貨幣TWITER區塊鏈中國加密貨幣BitwiresMeta Masters Guild區塊鏈幣圈是什么意思
摘要 目前,區塊鏈技術公司多致力于區塊鏈相關基礎設施的建設,如“公鏈”、“聯盟鏈”、“跨鏈”等技術建設;但.
1900/1/1 0:00:00我們將在本文了解一下BlackRock現貨比特幣ETF的關鍵日期和時間表,以及接下來的幾周我們要做什么準備……點擊閱讀6 月 28 日.
1900/1/1 0:00:00作者:Louisa Choe,BNB Chain;翻譯:金色財經xiaozou我們很榮幸于6月20日推出opBNB.
1900/1/1 0:00:00上次[LSDFi Map]發布后發布后,我們的預測的產品大部分都已經出現,比如LST支持的穩定幣(R,TAI,USDL等).
1900/1/1 0:00:00作者:Isabel Hunter & Ana ?uri? 編譯:PANews Do Kwon現在每天可以呼吸兩次新鮮空氣,他的“新家”里住滿了等待審判的組織犯罪分子——而他.
1900/1/1 0:00:001.一夜上頭條 幕后金主、合規與否等十個問題看懂EDX Markets在發現EDX Markets得到Citadel Securities、紅杉、富達、嘉信理財、Paradigm、GTS、GSR.
1900/1/1 0:00:00