GPT:黃仁勛對談OpenAI聯創：GPT-4推理能力還沒達到預期_ATG

北京時間3月23日0點，英偉達GTC線上大會發起了一場特別活動，公司創始人兼CEO黃仁勛與OpenAI聯合創始人及首席科學家伊爾亞-蘇茨克維展開了一次“爐邊談話”。

黃仁勛認為，ChatGPT是“AI界的iPhone時刻”，但這一時刻的到來并非一蹴而就，OpenAI聯合創始人早在十年前便開始關注神經網絡，在探索生成式AI的過程中也經歷了神經網絡如何兼具深度和規模的探索、讓機器不受監督地學習能力的突破。到如今，ChatGPT成為了一款全球關注的“網紅工具”。站在當下回顧它的迭代和發展歷程，創意似乎是在創始人和團隊的一個個“靈感”之中蹦出，看似理所當然的創新背后究竟有哪些“激動人心的時刻”？

以下為本次對話內容精華整理：

黃仁勛：最近ChatGPT的熱潮將人工智能又站在了世界的“風口浪尖”，OpenAI公司也受到行業的關注，你也成為了整個行業最為引入注目的年輕工程師、最為頂尖的科學家。我的第一個問題是，你最初關注和聚焦人工智能領域的出發點是什么？有想過會取得目前如此巨大的成功嗎？

伊爾亞-蘇茨克維：非常感謝對我的盛情邀請。人工智能通過不斷的深度學習，給我們的世界帶來了巨大的變化。對于我個人來說，其實主要是兩方面：

首先，我關注在人工智能深度學習方面的初心，是我們人類對于各種問題，都有一定的直覺性的理解。對于人類意識的定義，以及我們人類的智力是如何完成這樣的預判，這是我特別感興趣的地方。

第二，在2002年到2003年期間，當時的我認為“學習”這件事，是只有人類才能完成的任務，計算機是無法做到的。所以我當時冒出一個想法：如果能夠讓計算機去不斷學習，或許會帶來人工智能行業的改變。

很幸運的是，當時我正在上大學，我研究的專業剛好是研究神經網絡學習方向。神經網絡是在AI方面的一個非常重要的進步，我們關注如何通過神經網絡去研究深度學習，以及神經網絡如何像人類的大腦那樣工作，這樣的邏輯如何反映在計算機的工作方式上。當時的我其實并不清楚研究這個領域會帶來怎樣的職業工作路徑，只是覺得這會是一個長期而言比較有前景的行業。

超級央行周”來襲，美聯儲7月加息或成“終曲”:7月25日消息，“超級央行周”本周重磅來襲。美聯儲、歐洲央行和日本央行即將輪番登場公布最新利率決議，牽動全球投資者的敏感神經。分析人士認為，本次美聯儲議息會議的焦點將不在加息幅度上，而是貨幣政策聲明及鮑威爾可能釋放的信號。瑞銀財富管理投資總監辦公室（CIO）發表機構觀點稱，預計美聯儲將加息25個基點，并認為美聯儲歷史上最強勁的緊縮周期之一有機會在本周的議息會議后結束。[2023/7/25 15:56:32]

黃仁勛：在您最開始接觸神經網絡研究方向時，那個時候的神經網絡的規模是多大？

伊爾亞-蘇茨克維：那個時候神經網絡還沒有討論到規模的概念，只有幾百個神經單元，甚至當時的我都沒想過，居然能發展到現在如此之多的神經單元、以及如此多的CPU的單位。當時我們啟動了一個數學實驗室，基于經費預算有限，我們先開始只做了各種各樣不同的實驗，并收集了各種不同的問題去測試準確度。我們都從一點一滴很小的積累，去培訓神經網絡。這也是最開始實現的第一個生成式AI模式的雛形。

黃仁勛：早在2012年之前，你就在神經網絡領域有所建樹，你是在什么時間點開始覺得計算機視覺以及神經網絡和人工智能是未來方向的？

伊爾亞-蘇茨克維：在2012年之前大概兩年左右，我逐漸意識到深度學習會獲得很多關注，這不僅僅是我的直覺，其背后有一套非常扎實的理論基礎。如果計算機的神經網絡足夠深、規模足夠大，它就能夠解決一些深層次的硬核內容問題，關鍵是需要神經網絡兼備深度和規模，這意味著我們必須有足夠大的數據庫和算力。

我們在優化數據模型上付出很多努力，我們的一個同事基于“秒”做出了神經網絡的反饋，用戶可以不斷培訓神經網絡，這能讓神經網絡的規模更大、獲得更多數據。有的人覺得這樣的數據集大到不可想象，如果當時的算力能夠處理這么大的數據，那么一定能觸發一場革命。

黃仁勛：我們第一次相遇的時候，也是我們對未來的展望真正有所交集的時候。你當時告訴我說，GPU會影響接下來幾代人的生活，你的直覺認為GPU可能會對深度學習的培訓有所幫助。能不能告訴我，你是在什么時候意識到這一點的？

Silvergate宣布計劃以有序的方式進行清算:金色財經報道，Silvergate(SI.N)宣布計劃以有序的方式并按照適用的監管程序來結束銀行的業務并自愿進行清算。該股盤后短線下挫40%。Silvergate表示，正在考慮如何最好地保存資產的剩余價值；有序地結束銀行業務和自愿清算是最好的出路。決定終止Silvergate交易所網絡（SEN）。所有其他與存款相關的服務在公司清盤過程中保持運營。

此外，市場消息顯示，美國加州金融保護和創新部(DFPI)參與了Silvergate的清算。[2023/3/9 12:50:46]

伊爾亞-蘇茨克維：我們在多倫多實驗室中第一次嘗試使用GPU培訓深度學習的時候，并不清楚到底如何使用GPU、如何讓GPU獲得真正的關注。隨著我們獲得越來越多的數據集，我們也越來越清楚傳統的模型會帶來的優勢。我們希望能夠加速數據處理的過程，培訓過去科學家從來沒有培訓過的內容。

黃仁勛：我們看到ChatGPT和OpenAI目前已經打破了過去計算機編輯圖像的模式。

伊爾亞-蘇茨克維：我覺得不是打破了計算機圖像的編輯，而是用另外一種說法去形容，是“超越式”的。大部分人都是用傳統的思維模式去處理數據集，但我們的處理方式更先進。當時我們也認為這是一件艱難的事情，如果我們能做好，就是幫助人們跨越了一大步。

黃仁勛：放在當下來看，當時你去硅谷到OpenAI上班、擔任OpenAI的首席科學家，你認為最重要的工作時什么？我覺得OpenAI在不同的時間點有不同的工作關注焦點，ChatGPT是“AI界的iPhone時刻”，你是如何達到這樣的轉變時刻的？

伊爾亞-蘇茨克維：最開始我們也不太清楚如何開展整個項目，而且，我們現在所得出的結論，和當時使用的邏輯完全不同。用戶現在已經有這么好用的ChatGPT工具，來幫助大家創造出非常好的藝術效果和文本效果。但在2015年、2016年的時候，我們還不敢想象能達到當下的程度。當時我們大部分同事來自谷歌的DeepMind，他們有從業經驗，但相對而言思想比較狹窄、受到束縛，當時我們內部做了100多次不同的實驗和對比。

BlockFi尋求撤銷SBF旗下持有Robinhood股票空殼公司的破產訴訟:金色財經報道，BlockFi周四提出撤銷Emergent Fidelity Technologies的破產案。Emergent是一家由SBF擁有90%股份的安提瓜島空殼公司，擁有5600萬股Robinhood（HOOD）的股份和一些現金。BlockFi認為Emergent的安提瓜清算人在美國申請破產保護，使情況更加復雜。

BlockFi已采取法律行動，以確保獲得這些股票，它說這些股票是11月9日貸款的擔保。司法部在1月份扣押了這些資產，因為它正在調查對Sam Bankman-Fried和Gary Wang的欺詐指控，后者擁有Emergent剩余的10%股份。[2023/2/17 12:13:13]

那時我想出一個特別令自己激動的想法，就是讓機器具備一種不受監督的學習能力，雖然今天我們認為這是理所當然的，你可以用自然語言模型培訓所有內容。但在2016年，不受監督的學習能力仍舊是沒有被解決的問題，也沒有任何科學家有過相關的經驗和洞見。我覺得“數據壓縮”是技術上的瓶頸，這個詞并不常見，但實際上ChatGPT確實壓縮了我們的培訓數據集。但最后我們還是找到了數學模型，通過不斷培訓讓我們壓縮數據，這其實是對數據集的挑戰。這是令我感動特別激動的一個想法，這個想法在OpenAI上獲得了成果。

其實這樣一些成果，可能并不會在機器學習之外深受歡迎，但是我想說的是，我工作取得的成果是培訓了神經網絡。

我們希望能夠去培訓神經網絡預測下一個單詞。我認為下一個神經元的單位會和我們的整個視覺神經網絡密切相關的，這個很有趣，這個和我們驗證的方法是一致的。它再次重新證明了，下一個字符的預測、下一個數據的預測能夠幫助我們去發掘現有數據的邏輯，這個就是ChatGPT培訓的邏輯。

黃仁勛：擴大數據規模是幫助我們提高AI能力的表現，更多的數據、更大的數據集能夠幫助生成式AI獲得更好的結果。你覺得GPT-1、GPT-2、GPT-3的演變過程，是否符合摩爾定律？

伊爾亞-蘇茨克維：OpenAI的目標之一是解決擴大數據集的問題，但我們剛開始面臨的問題，如何提升數據的高精準度，讓模型能夠實現精準預測非常重要。我們當時在做OpenAI項目的時候，希望它能實時做一些策略性游戲，比如競爭性的體育游戲，它必須足夠快、足夠聰明，還要和其它隊競賽。作為一個AI模型，它其實不斷重復這樣一個基于人類反饋的強化學習過程。

CryptoCompare：中心化交易所交易量2022年期間下降了46%:1月4日消息，CryptoCompare的一份報告顯示，中心化交易所交易量2022年期間下降了46%。在所有的交易所中，幣安在12月的市場占有率達到了66.7%，年初該數據為48.7%，但幣安上現貨交易量下跌了45.3%至5.29萬億美元。

報告稱，在追蹤的11家交易所中，只有幣安和Bybit的市場份額在2022年每個季度都實現了增長。12月份市場份額排名第二的是Coinbase，市場份額為8.2%，而年初時為10.1%。排在Coinbase之后的是OKX，它在12月的市場份額為5.9%，而2022年初為10.7%。（CoinDesk）[2023/1/4 9:52:45]

黃仁勛：你是如何精準調控給予人類反饋的強化學習的？是不是有其它附屬系統，給ChatGPT一定的知識背景來支持ChatGPT的表現？

伊爾亞-蘇茨克維：我可以給大家解釋一下，我們的工作原理是不斷培訓神經網絡體系，讓神經網絡去預測下一個單詞。基于過去我們收集的文本，ChatGPT不僅僅是表面上的自我學習，我們希望它能夠在當下預測的單詞和過去的單詞之間達成一定的邏輯上的一致。過去的文本，其實是用于投射到接下來的單詞的預測上。

從神經網絡來看，它更像是根據世界的不同方面，根據人們的希望、夢想和動機得出一個結論。但我們的模型還沒有達到預期的效果，比如我們從網上隨便摘幾個句子做前言，在此基礎上，不需要做額外的培訓就能讓ChatGPT寫出一篇符合邏輯的論文。我們不是簡單地根據人類經驗完成AI學習，而是要根據人類反饋進行強化學習。人類的反饋很重要，越多的反饋能使AI更可靠。

黃仁勛：你可以給AI指示，讓AI做某些事情，但是你能不能讓AI不做某些事情？比如說告訴AI界限在哪里？

伊爾亞-蘇茨克維：可以的。我覺得第二個階段的培訓序列，就是和AI、神經網絡去進行交流，我們對AI訓練得越多，AI的精準度越高，就會越來越符合我們的意圖。我們不斷地提高AI的忠誠度和準確度，它就會變得越來越可靠，越來越精準，而且越來越符合人類社會的邏輯。

Alameda Research：如果Voyager可以退回抵押物，將償還貸款:7月8日消息，Alameda Research 在社交媒體上表示，只要 Voyager 能夠歸還抵押品，我們很樂意歸還Voyager貸款并取回我們的抵押品。

此前消息，Voyager提交給紐約地方法院的破產申請第13頁上的表格顯示，Alameda Research欠Voyager3.77億美元，利率為1%至5%。根據文件第119頁上Voyager最大的無擔保索賠清單，未償余額包括一筆7500萬美元的無擔保貸款。[2022/7/8 1:59:34]

黃仁勛：ChatGPT在幾個月之前就面世了，并且也是人類歷史上增長最為迅速的軟件和應用。很多人都會給出各種不同的解釋，有人會說它是目前為止使用方式最簡單的應用。比如說它的交互模式非常簡單，它超越了所有人的預期。人們也不需要去學習如何使用ChatGPT，只要給ChatGPT下命令，提出各種不同的提示就可以。如果你的提示不夠清楚的話，ChatGPT也會進一步把你的提示做得比較清晰，然后回顧并且問你是不是想要這個？這樣一個深度學習的過程讓我特別驚艷。

我們在幾天之前看到了GPT-4的表現，它在很多領域的表現非常讓人震驚，它能夠通過SAT考試、律師協會的律師執業資格考試，而且能夠達到很高的人類水平。我想問的就是，GPT-4有什么樣的改善？并且你認為接下來它會幫助人們在哪些方面、領域有更多的改善？

伊爾亞-蘇茨克維：GPT-4基于過去ChatGPT的性能，做了很多改善。我們對GPT-4的訓練大概是從6-8個月之前開始的，GPT-4和之前版本GPT最重要的區別，就是GPT-4是基于更精確的精準度去預測下一個單詞的，因為有更好的神經網絡幫助預測。

比如說你自己在讀一篇推理小說，小說中有各種不同的人物和情節，有密室、有謎團，你在讀推理小說的過程中完全不清楚接下來會發生什么。通過小說不同的人物和情節，你預測兇手有幾種可能性，GPT-4所做的內容就像一本推理小說一樣。

黃仁勛：很多人都會說深度學習會帶來推理，但是深度學習并不會帶來學習。語言模型是如何學習到推理和邏輯的？有一些任務，ChatGPT和GPT-3不夠擅長，而GPT-4更擅長。GPT-4現在還有什么樣缺陷，可以在接下來的版本上更進一鞏固嗎？

伊爾亞-蘇茨克維：現在的ChatGPT可以更精準地的定義邏輯和推理，通過更好的邏輯和推理在接下來的解密的過程中獲得更好的答案。神經網絡或許會面臨一些挑戰，比如讓神經網絡去打破固有的思維模式，這就意味著我們要思考神經網絡到底可以走多遠，簡而言之，神經網絡的潛力有多大。

我們認為GPT的推理確實還沒有達到我們之前預期的水平，如果我們更進一步擴大數據庫，保持過去的商業運轉模型，它的推理的能力會進一步提高，我對這個比較有信心。

黃仁勛：還有一點特別有意思，就是你去問ChatGPT一個問題，它會基于過去的知識和經驗告訴你這個問題的答案，這個也是基于它對過去知識和數據庫的總結，以及基于對你的了解提供的答案，并且展現一定的邏輯性。我覺得ChatGPT有一種自然而然的屬性，它能夠不斷去理解。

伊爾亞-蘇茨克維：是的，神經網絡確實有這些能力，但是有時候不太靠譜，這也是神經網絡接下來面臨的最大障礙。在很多情況下，神經網絡會比較夸張、會出很多的錯誤，甚至出一些人類根本做不出來的錯誤。現在我們需要更多的研究來解決這些“不可靠性“。

現在GPT-4的模型已經被公開發布了，它其實沒有追蹤數據模型的能力，它的能力是基于文本去預測下一個單詞，所以是有局限性的。我覺得有些人可能會讓GPT-4去找出某些數據的來源，然后會對數據來源做更深入地調查。

總體而言，盡管GPT-4并不支持內部的數據收集，它肯定會在持續的數據深入挖掘之中變得更加精準。GPT-4已經能夠從圖片中進行學習，并且根據圖片和內容的輸入進行反饋。

黃仁勛：多模態學習如何加深GPT-4對于世界的理解？為什么多模態學習定義了GPT和OpenAI？

伊爾亞-蘇茨克維：多模態非常有意思：

第一，多模態在視覺和圖像識別上特別有用。因為整個世界是由圖片形成的，人們也是視覺動物，動物也是視覺動物，人腦1/3的灰質都是用來處理圖像的，GPT-4也能夠去理解這些圖像。

第二，通過圖片或文字對世界的理解是一樣的，這也是我們的一個論證。對于一個人而言，我們作為一個人可能一生之中只會說10億個詞。

黃仁勛：我腦海中閃過10億個詞的畫面，居然有這么多詞？

伊爾亞-蘇茨克維：是的，我們可以計算一下人一生的時間有多久，以及一秒能處理多少詞，如果再減去這個人生命中睡覺的時間，就能算出一生處理了多少單詞。人和神經網絡不同之處，就是有些過去對于文本而言的話，如果我們有一個十億級的詞匯無法理解的話，可以用萬億級的詞匯來理解。我們對于世界的知識和信息，可以通過文本慢慢滲透給AI的神經網絡。如你加上視覺圖片等更多的元素，神經網絡可以更精準地學習。

黃仁勛：對于文本和圖片方面的深度學習，如果我們想要人工智能智能去理解其背后的邏輯，甚至夸張的說，是理解這個世界的基本原理——比如我們人類日常一句話的表達方式，比如說有一個詞其實有兩種含義，聲音的高低變化，其實都代表著兩種不同的語氣。在說話的語言和語調方面，會不會對AI去理解文本有一定幫助呢？

伊爾亞-蘇茨克維：是的，你說的這類場景非常重要。對于語音和語調，包括聲音的大小和語氣，都非常重要的信息來源。

黃仁勛：GPT-4在哪些內容上比GPT-3做出了更多的進步，可以舉個例子嗎？

伊爾亞-蘇茨克維：比如說在一些數學競賽上，很多問題是需要圖表來解答的。GPT-3.5對于圖表的解讀做得特別差，而GPT-4只需要文本就可以解讀，準確率有很噠的提升。

黃仁勛：你之前提到，AI能夠生成各種不同的文本來去訓練另外一個AI。比如說，在所有的語言之中一共有20萬億不同的語言計數單位去培訓語言模型，那么這個語言模型的培訓到底是什么樣的？AI是否可生成出只屬于AI的數據來去自我培訓？這樣的形式看起來是一個閉環的模型，就像我們人類通過自己不斷地去學習外部的世界、通過自我反思、通過解決問題來去訓練我們自己的大腦。你怎么看這樣一個合成生成過程，以及AI的自我學習和自我培訓呢？

伊爾亞-蘇茨克維：我不會低估這個部分已經存在的數據，甚至我認為這里面存在的數據要比我們意識到的數據更多。

黃仁勛：是的，這也是我們在不斷展望的未來中去思考的事情，相信總有一天，AI能夠自己去生成內容、進行自我學習，并且可以自我改善。你是否可以總結一下我們現在處于什么樣的發展階段？以及在不遠的將來，我們的生成式AI能夠達到什么樣的情況？對于大語言模型，它的未來是什么？

伊爾亞-蘇茨克維：對我來說，預測未來是很困難的。我們能做的就是把這件事，持續做下去，我們將會讓大家看到更多令人感到驚艷版本的系統。我們希望能夠去提高數據的可靠度，讓系統真正能夠獲得人們的信任。如果讓生成式的AI去總結某一些文本，然后得出一個結論。目前AI在解讀這個文本過程中，還沒有完全去驗證文本的真實性以及文本所說的信息的來源，這一點是很重要的。接下來我們對于未來的展望，就是讓神經網絡必須要意識到所有數據來源的真實性，讓神經網絡意識到用戶每一步的需求。

黃仁勛：這種技術希望能夠展現給人們更多的可靠性。我還有最后一個問題，你覺得第一次使用ChatGPT-4的時候，有哪些性能讓你覺得是很令人驚艷和震驚的？

伊爾亞-蘇茨克維：對比之前的ChatGPT版本，神經網絡只會回答問題，有的時候也會誤解問題，回答上很不理想。但是GPT-4基本沒有再誤解問題，會以更快的方式去難題，能夠去處理復雜的艱難的任務，這個對我來說特別有意義。舉例子來看，很多人意識到ChatGPT能夠寫詩，比如說它可以寫押頭韻的詩，也能夠寫押尾韻的詩。并且它能夠去解釋笑話，能明白這個笑話背后到底是什么樣的意義。其實簡而言之，就是它的可靠性更好了。

我在這個行業從業差不多二十多年了，讓我認為“驚艷”的特點，就是它本身存在的意義，是可以給人類帶來幫助的。它從最開始毫不起眼的工作領域慢慢成長，變得越來越強。同樣的一個神經網絡，通過兩種不同的方式來培訓，能夠變得越來越強大。我也經常會發出疑問和感嘆：這些神經網絡是如何去成長如此之迅速的？我們是不是需要更多的培訓？它是不是會像人腦一樣不斷成長？這讓我感覺到它的偉大，或者說讓人感到特別驚訝的方面。

黃仁勛：回想過去我們也認識很長的時間了，你將整個職業生涯都奉獻給了這個事業，看到你在GPT和AI方面有所建樹。今天跟你交流讓我更清楚地了解了ChatGPT工作的邏輯，這是對于ChatGPT和OpenAI最為深入、最為藝術的一種解釋。今天很高興能夠再次跟你交流，謝謝！

Tags：GPTCHAATGCHATCGPT幣bookchainCATGEChat AI

比特幣交易