“roughtime”事件分析報告
作者:Terence、Raul、Preston狀態:等待決議。根本原因已找到,問題已緩解。網絡:Medalla總結:Cloudflare的roughtime服務器全都返回錯誤信息,而Prysm節點并沒有采取適當的應急措施。這個bug導致所有Prysm節點出現時鐘偏移。在時鐘偏移的影響下,驗證者為超前的slot提議區塊并生成見證消息。影響:由于roughtime響應錯誤以及出現時鐘偏移,驗證者計算slot錯誤,提議的區塊和生成的見證消息均無效。這個問題影響到了全局參與度。在北京時間凌晨1:30至2:45之間,所有Prysm節點都受到了影響。根本原因:來自Cloudflare服務器的roughtime響應出錯。具體來說,是因為“ticktock”報告了一個24小時之后的時間。這個時間戳,再經過所有6個服務器的數據取平均值,是的所有Prysm節點都產生了+4小時的時間調整。解決方案:在我們評估roughtime響應錯誤所引發的潛在問題時,先將roughtime時鐘同步設為可選項。發現:Terence最先發現了這個問題。他注意到一個本地信標鏈節點一直在拒絕超前的區塊和見證消息。幾分鐘之后,由于roughtime時鐘偏移量較高,產生了報警。同時,#general和#bug-report頻道的用戶開始報告本地節點拒絕超前區塊和見證信息的問題。
美元指數DXY最近15分鐘累漲近30點,報102.44:金色財經報道,美元指數DXY最近15分鐘累漲近30點,報102.44。[2023/1/25 11:29:07]
經驗教訓
哪里出了問題我們誤以為,對于roughtime服務器故障的問題,我們有適當的應急方案。網絡中的每個Prysm節點同時受到影響,導致驗證者參與率大幅降低。PrysmaticLabs團隊原以為,NTP服務器本身較為分散,而且每個服務器都開放6個端口,不會出現全局故障的問題。萬幸的是一位貢獻者已經向我們提交了一個PullRequest,把roughtime時間校準設為可以選擇退出的功能。我們已經可以用命令行功能標簽立即選擇取消roughtime時鐘校準,這讓修復措施變得簡單,而且只需一次PullRequtest就能驗證。用戶在Discord上積極參與討論。當節點出現問題時,有大量用戶提供了詳細報告和重要指標。我們有一個持續不斷的重同步機制,當它發現時鐘偏移量超過2秒時,它會不斷更新節點本地的時間。我們一直在重新校準roughtime時鐘,以便更快解決這一問題。這可能讓這次事件提前了大約30分鐘至1小時結束。roughtime時鐘同步問題似乎在大約90分鐘后就解決了,而且在我們能夠緊急發布新版本前,這個事件就已經結束了。時間線2020/08/151:25AM:Terence發現他的本地節點由于一直拒絕超前區塊,收到了大量報警。這些區塊的slot都超前了4個多小時。1:28AM:Prometheus監控報警系統收到了roughtime偏移量高的報警。那時,距離網絡最后一次敲定區塊過去了10epoch。1:35AM:至少有30名用戶在Discord頻道表示他們開始收到下方報警:WARNroughtime:Roughtimereportsyourclockisoffbymorethan2secondsoffset=4h0m0.028854657s1:43AM:Terence在#war-room頻道群發了告警消息,稱這是一個PS0級別的事件,需要大家共渡難關。1:45AM:Discord頻道的用戶提出,重啟信標鏈節點和驗證者客戶端無法暫時解決這個問題。最可行的方案是將roughtime時鐘同步設為可選禁用的功能。1:51AM:問題上升到了多客戶端聊天室1:52AM:Ivan完成了https://github.com/prysmaticlabs/prysm/pull/68982:00AM:Terence與512位驗證者一起在本地測試了6898號PullRequest。2:20AM:據已捕獲的調試日志顯示,“ticktock”服務器有段時間一直在報告24小時之后的時間。
過去24小時加密市場總交易量556.71億美元:金色財經報道,據 CoinGecko 數據顯示,過去24小時加密市場總交易量556.71億美元,比特幣市值占比為37.7%,以太坊市值占比為18.3%。[2023/1/12 11:07:35]
2:27AM:Raul聯絡了Preston。Preston將在1小時內回來構建新版本。同時,我們將發布docker鏡像。2:40AM:Preston指出只靠緊急修復還不夠,我們需要取消將roughtime時鐘同步作為默認項。2:42AM:Raul開始調查Kibana,并使用fluentd中的filter分析來自roughtime的調試日志響應。2:43AM:Terence交叉檢查了信標鏈命名空間中所有pod的kubectl日志。正如預期的那樣,pod確實存在roughtime時鐘偏移問題。2:46AM:Raul向6898號PR提交了正確的修復程序。3:05AM:Raul確認該修復程序可以讓節點在本地工作。如果存在時鐘偏移,修復程序會產生告警日志,但是不會試圖基于roughtime服務器更新時間。3:08AM:Terence在我們的discord頻道向所有人宣布:“Prysm節點出現roughtime響應錯誤,應急措施沒有達到預期效果。我們已經找到了故障所在,很快就會進行緊急修復,并在1小時內上線新版本。在即將發布的新版本中,roughtime時鐘同步將不再是默認項。”3:18AM:Buildkite單元測試、規范測試、docker鏡像構建成功。e2e測試尚未完成。Preston準備啟動上線流程。3:22AM:新版本生成:https://github.com/。Terence確認這個方法可以修復其驗證者節點。Preston開始使用新的docker鏡像依次重啟我們的有狀態集合中的pod。集群驗證者會基于新的鏡像進行更新。3:34AM:Docker鏡像被標記成alpha21版本,穩定性好,二進制文件已經構建完成3:34AM:對有狀態集合中pod的健康狀態進行監控,確保滾動更新成功3:36AM:使用新的docker鏡像對我們的驗證者pod進行滾動啟動。4:29AM:在日志上查看返回的延時值。平均來看,這些值似乎都在0.1秒以下。延遲不是調查的關鍵指標。準確來說,“中點”才是需要研究的地方。注:下表時間是太平洋標準時間。https://kibana.prylabs.network/
CZ:Binance SAFU保險基金大致分為BTC、BUSD和BNB:金色財經報道,CZ在社交平臺回應SAFU保險基金構成問題時表示,Binance SAFU保險基金(10億美元等值金額)大致分為BTC、BUSD和BNB。而自上次再平衡之后,BNB價格的上漲速度快于BTC。
此外,10億美元行業復蘇基金將全部為BUSD。SAFU保險基金和行業復蘇基金的持倉均在區塊鏈上完全公開。
此前報道,11月24日,CZ在接受彭博社直播采訪中表示,Binance將設立一個約10億美元規模的基金,用于購買加密領域不良資產。[2022/11/25 20:44:51]
-圖片來源:@prestonvanloon.eth-5:32AM:查看高于2秒的偏移量。從該數據中可以看出,在長達90分鐘的全局故障期間,Prylabs出塊節點的偏移量大約是14000秒。注:下表時間是太平洋標準時間。https://kibana.prylabs.network/
FTX.US 總裁:Coinbase 和貝萊德的合作表明,加密市場上傳統的大玩家并沒有放慢腳步:8月9日消息,FTX.US 總裁 Brett Harrison 在接受彭博社電視采訪時表示,Coinbase 宣布與全球最大的資產管理公司貝萊德(BlockRock)達成合作,這說明機構需要能夠通過一些合適的途徑來參與加密市場,這些比較傳統的大玩家并沒有放慢腳步。目前市場上正在不斷釋放有利信號,很多人只是在蟄伏和建造。
此外,針對Coinbase裁員,Brett Harrison認為,縱觀增長型科技行業,包括Coinbase 和 Robinhood 到谷歌、微軟和特斯拉,這些成長型公司通常在員工人數增長模式下運營,但實際上有時員工人數的增長會阻礙公司的成長,“這是一個真正的教訓”。[2022/8/9 12:11:32]
-圖片來源:@prestonvanloon.eth-4:41AM:通過Prometheus報警系統關于平均偏移量的數據,我們可以明顯看出在北京時間凌晨1:30至2:45之間確實存在時鐘偏移問題,之后偏移量開始下降并恢復正常。4:52AM:即時調查結束。這次時鐘偏移故障顯然已經結束,而且修復程序已經發布。已經更新的節點將立即恢復,還沒有更新的節點需要過段時間恢復。監控系統顯示,驗證者參與度在逐步回升。6:20AM:用戶報告說罰沒保護機制已經啟動。這是因為之前的時鐘偏移導致驗證者超前4小時提議區塊并生成見證消息。為了避免遭到罰沒,Prysm驗證者沒有繼續提議無效區塊。8:13AM:再次故障8:13AM:Nishant注意到6898號PR中存在嚴重缺陷。只有在roughtime功能標記開啟的情況下,用戶才能設置它的功能。8:16AM:Preston更新了“最新的”二進制文件,使其指向alpha20版本來實現臨時回滾,并建議用戶回滾至alpha20版本。我們現在正在等待合并7004號PR作為alpha22版本的候選。8:45AM:值班團隊正在評估是否擴大熱狀態緩存的大小,以便alpha22版本能夠更快讓網絡重新開始敲定區塊。當前默認的熱狀態緩存大小為8個epoch,但是Medalla測試網距離上一次敲定區塊已經過去了將近100個epoch。9:12AM:值班團隊決定將默認緩沖大小更新至64epoch,并使其可以通過功能標記來配置。經過初步測試,這有可能會使內存使用量增加1.5G。等網絡重新開始敲定區塊后,緩沖大小還可以調整。9:57AM:所有PrysmaticLabs驗證者節點都生成了會被罰沒的見證消息。緊急修復程序刪除了Prylabs驗證者節點的本地存儲。沒有任何外部的罰沒保護機制在運行。具體情形尚待確認……在1024名驗證者中,至少有800名驗證者已經或即將遭到罰沒。10:37AM:多名用戶報告稱無法同步區塊鏈。目前的問題是,網絡中有太多節點在同一時間進行同步。Alpha22版本被推遲,需要等待進一步通知。10:46AM:Prylabs團隊認為現在最好的辦法就是等待。用戶應該運行alpha20版本或最新的docker鏡像。2020/08/162:12AM:正在對同步難的問題進行調查。11:36AM:Nishant和Victor發布初始同步修復程序。參見PullRequest7012。2020/8/171:51AM:合并拉取7012號PR。一些用戶報告說同步成功。PrysmaticLabs開始將7012部署到出塊節點上。5:15AM:從commit0be1957c2897909b943b80fdd028f5346ae6cde6開始開發Alpha.22版本5:33AM:Alpha22版本發布。鏈接:https://github.com/5:40AM:通過Discord頻道宣布Alpha22版本上線。Prysmatic的值班團隊繼續監控同步情況,以便進行優化。與此同時,越來越多用戶同步至最新區塊。12:53AM:Alpha23版本上線,已在Discord頻道宣布該消息。Alpha23版本包含一些同步修復程序,有望解決Medalla測試網的問題。建議用戶在運行時開啟“--dev”標記,以便獲得更好的體驗。
知情人士:拜登政府準備推遲針對加密行業征稅的計劃:6月29日消息,據知情人士透露,美國政府針對加密行業征收數十億美元稅收的計劃遇到了障礙,由于加密經紀商和交易平臺必須開始收集客戶交易的詳細信息,拜登政府準備推遲該計劃。(金十)[2022/6/29 1:39:58]
今天是當周的交割日,本周有2.1萬幣的BTC期權交割,11萬幣的ETH期權交割。從周期權來講,交割量是比較大的.
1900/1/1 0:00:00今日,備受市場關注的DeFi項目方Curve宣布其治理代幣的初始預挖礦活動已經結束,據悉,此次活動共吸引超過9000個地址參與,共計瓜分了1.515億CRV代幣.
1900/1/1 0:00:00編者按:本文來自MulticoinCapital官方,Odaily星球日報經授權轉載。近期,去中心化金融的活動和公眾興趣呈爆炸式增長.
1900/1/1 0:00:00編者按:本文來自區塊律動BlockBeats,Odaily星球日報經授權轉載。8月18日,根據歐科云鏈OKLink網站數據顯示,過去24小時,全網算力下降近3%,截止發稿時全網算力為127.51.
1900/1/1 0:00:00DeFi的熱度已經無需多言,現在頗有2017年的味道。DeFi周邊相關的領域也逐漸被人重視起來,比如為DeFi產品提供報價的預言機板塊,已經出現了像Link這種現象級項目.
1900/1/1 0:00:00編者按:本文來自鏈內參,作者:內參君,Odaily星球日報經授權轉載。按市值計算,比特幣市值超過2,198億美元,是最大的加密貨幣.
1900/1/1 0:00:00