USD:一文了解 ChatGPT 等 LLMs 得到明顯改進的 3 個變化_LMS幣

原文作者：Tanya Malhotra

來源：Marktechpost

近年來，大型語言模型（Large Language Models，LLMs）在全世界受到了廣泛贊賞，并在自然語言處理領域備受歡迎。這使我們能夠使用比以往任何時候都更好、更清晰的語言理解來描述智能系統（Intelligent Systems）。

諸如 GPT-3、T5、PaLM 等 LLMs 的性能有了顯著提高，并且這些模型將繼續存在，因為它們可以完成從通過學習閱讀來模仿人類，到生成文本和總結長段落內容的所有工作。而根據一些深入的研究，如果 LLM 的規模很大，那么它的表現就會很好。通過在大量數據上訓練這些模型，它們可以理解人類語言的語法、語義和語用學。 

蘋果、英偉達和皮克斯等巨頭成立聯盟，制定元宇宙3D圖形標準:金色財經報道，蘋果、英偉達、皮克斯、Adobe和Autodesk聯合成立了OpenUSD聯盟(AOUSD)。幾家公司在發布會上并沒有具體談論“元宇宙”，但他們正在推廣開放元宇宙的關鍵特征之一——3D工具和數據之間的互操作性。OpenUSD是皮克斯動畫工作室開發的一種開放數據格式，允許團隊能夠在大規模3D工作流程上協同工作，并共享可在AR（增強現實）和VR（虛擬現實）項目中使用的3D對象和環境的信息。OpenUSD聯盟將制定詳細說明OpenUSD特征的書面規范。（澎湃）[2023/8/2 16:13:13]

由 OpenAI 開發的流行的大型語言模型 ChatGPT 之所以發展得如此之快，正是因為采用了人類反饋強化學習（RLHF）等先進技術。通過 RLHF，機器學習算法結合并使用人工輸入提高了模型的性能。它針對預訓練的 LLM 進行了微調，用于開發聊天機器人、虛擬助手等任務。

數據：過去12個月以太坊區塊鏈已激活近2700萬個新錢包:金色財經報道，區塊鏈基金Variant Fund鏈上分析師Jack Gorman在社交媒體披露數據顯示，過去12個月以太坊區塊鏈上創建激活了超過2669萬個新錢包，這意味著平均每30天就有超過200萬個新ETH地址在鏈上活動。不過Jack Gorman也指出，每月以太坊鏈上至少授權一筆交易的地址數量只有450-700萬個，而且超過70%的錢包會在活動3 天后沉寂，而66%的活躍交易地址僅活躍一天，95.5%的活躍交易地址過去12個月內活躍時間少于10天，分析認為低活躍度的以太坊鏈上錢包占據主導地位可能由投資者熱衷追求代幣空投導致。（U.today）[2023/7/30 16:07:07]

此外，ChatGPT 等 LLMs 所基于的預訓練基礎模型也得到了明顯的改進。這主要是由于三個方面的變化：

FTX領導層尋求從Embed內部人士和高管處收回約2.44億美元:金色財經報道，FTX 的領導層要求從股票交易平臺 Embed 的首席執行官 Michael Giles 及其股東那里追回 2.437 億美元，訴訟要求從 Embed 的首席執行官Michael Giles 及其股東那里收回資金，指控 FTX 為該股票交易平臺支付了 2.2 億美元的“夸大”價格。作為收購的一部分，FTX 還向 Embed 員工支付了總計 7000 萬美元的留任獎金。這筆款項的 5500 萬美元支付給了Giles。

從 Giles 于 2022 年 6 月 10 日簽署收購協議到 2022 年 9 月 30 日收購結束，他每天的報酬達到驚人的 490,000 美元。交易完成時，由于他是 Embed 的最大股東，還額外獲得了 1.03 億美元。[2023/5/19 15:13:17]

1.實踐證明，模型的擴展性（Scaling）對提高其性能很有幫助。以 Pathways 語言模型（Pathways Language Model，PaLM）為例，該模型通過擴展小樣本學習（few-shot learning）大大影響了其性能，小樣本學習可以減少根據具體應用調整模型所需的特定任務訓練實例的數量。

美元穩定幣USDC發行方Circle推出Circle Hacker House:金色財經報道，美元穩定幣USDC發行方Circle宣布與新加坡首家政府支持的區塊鏈生態系統建設者Tribe合作推出Circle Hacker House，旨在促進 Web3 開發人員的成長和技能提升并構建新加坡和亞太地區的人才庫，參與者將為現實世界開發創新解決方案在跨各種區塊鏈構建Circle應用程序接口（API）并創建高質量項目和用例。（asiaone）[2023/4/16 14:06:56]

通過使用 Pathways 語言模型在 6144 TPU v4 芯片上擴展和訓練 5400 億個參數，PaLM 展示了重復擴展的好處，其表現超過了各種傳統模型，并顯示出很大的進步。因此，深度和寬度的擴展都是提高基礎模型性能的一個重要因素。

2.另一個變化是在預訓練時增加標記數量的過程。像 Chinchilla 這樣的模型（開源語言模型）已經證明，通過增加預訓練數據，大型語言模型的表現會更好。

Chinchilla 是一個計算最優模型。在相同的計算預算下，在 70B 參數和比 Gopher 模型多四倍的數據上進行訓練，Chinchilla 的表現一致優于 Gopher，它甚至比 GPT-3、Jurassic-1 和 Megatron-Turing NLG 等 LLMs 效果更好。這清楚地描述了對于每一個計算最優的訓練，標記的數量應該相應地縮放——即模型大小的兩倍，因此訓練標記的數量應該是兩倍。 

3.第三個變化是使用干凈和多樣化的預訓練數據。Galactica 的性能證明了這一點，它是一種存儲、混合和推理科學知識的大型語言模型。經過幾篇科學論文文本的訓練，Galactica 的表現優于 GPT-3、Chinchilla 等模型。另一個大型語言模型 BioMedLM 是一種針對生物醫學文本的特定領域 LLM，在針對特定領域數據進行訓練時，它表現出了巨大的性能提升。它清楚地表明，在特定領域的數據上進行的預訓練勝過在通用數據上的訓練。

LLMs 的成功無疑歸功于多種因素的混合，包括 RLHF 的使用和預訓練基礎模型的發展。這三個變化極大地影響了 LLMs 的性能。此外，GLaM（通用語言模型）通過使用稀疏激活的混合專家架構（Mixture-of-Experts architecture），以更少的訓練成本擴展模型的容量，從而顯著提高了性能。因此，這些變化為更高級的語言模型開辟了道路，而這些模型將繼續讓我們的生活變得輕松。  

DeFi之道

個人專欄

閱讀更多

金色財經 善歐巴

金色早8點

Odaily星球日報

歐科云鏈

Arcane Labs

深潮TechFlow

MarsBit

BTCStudy

澎湃新聞

Tags：CHIUSDLMSBEDqchichainHUSDLMS幣BEDC

BNB