GPT:國內“ChatGPT們”的出路在何方？_VRD Chain

寫在前面

2月13日，《2022年北京人工智能產業發展白皮書》正式發布，其中提到全面夯實人工智能產業發展底座，支持頭部企業打造對標 ChatGPT的大模型，著力構建開源框架和通用大模型的應用生態。

很巧的是，颯姐團隊成員在今年10月份的時候測評過：百度文心、源1.0、某道，三款國內現有的大模型，當時對測評結果甚是遺憾。于是又將當時的測試內容讓ChatGPT做了一遍，試圖摸清國內外大語言模型在問答這一領域的實際差距，旨在希望國內產學研戒驕戒躁，穩扎穩打地發展。

測試方案

本次測試僅僅考慮非連續性的單次問答，且皆為常識性問題，答案唯一，但題目會有一定的挑戰性。具體的，涉及到What,When, Where, Who, Which五類問題。

Cortex Labs參與執行策劃國內首次以疫情為主題的加密藝術展，3萬5千元善款已全部捐贈:Cortex Labs參與執行策劃國內首次基于疫情主題的加密藝術展覽《疫·人間·網》已經閉幕。《芳草蘇生》、《切勿一次次地打開潘多拉的盒子》 、《防護服生產車間》、《Hope》 、《一個人正在你眼前死去》 等加密藝術品成功拍賣，總金額達到9.6ETH（約合人民幣35960元）。本次展覽拍賣所得善款，已全部捐贈給武漢慈善總會，用于《陪伴空間站助童計劃項目》專項基金，幫助和支持疫情中失去父母的孩子們。[2020/12/10 14:48:43]

問題樣例如下：

1. “是什么（What）”型問題，如“爸爸的爸爸叫什么？”

2.“什么時候（When）”型問題，如“人們一般什么時候過元旦？”

3.“什么地點（Where）”型問題，如“孫中山安葬在哪里？”

4.“是誰（Who）型問題”，如“中國歷史上第一個皇帝是誰？”

牛津大學網絡空間安全中心主任：國內外各大機構都在牽頭制定區塊鏈標準:牛津大學網絡空間安全中心主任、可信計算國際標準組專家安德魯·馬丁在接受采訪時介紹，目前，國內外各大機構都在積極牽頭區塊鏈標準的制定。從全球來看，不同的國家對標準的著重點不一樣：美國比較關注基礎共性的標準；德國更偏向工程化的標準，工業區塊鏈是他們的重點；日本則更關注服務類標準，如基于區塊鏈的服務和應用實踐等。（科技日報）[2020/9/11]

5.“哪?個（Which）型問題”，如“哪個洲是倒數第二小的洲？”

問答樣例對比

問題：“孫中山（孫文）安葬在哪里？”

ChatGPT：孫中山的遺體最初安葬在南京中山陵內，后因戰亂多次遷移。最終于1929年安葬在南京中山陵北麓的紫金山下，此地現為孫中山陵園。

百度文心：孫中山墓地

某道："孫文(1866年-1925年10月12日),名文,字載之,號仲立,又名帝光,廣東省香山縣(今中山市)南朗鎮翠亨村人,1883年(光緒九年)隨父移居澳門。1904年參加孫中山領導的同盟會,任同盟會南方支部書記。曾兩次赴日,組織策劃惠州起義。后回澳門發展組織,被選為中國同盟會南方總支部庶務部長。1905年春,與陳少白、朱執信等在香港成立興中會,被舉為評議部評議員,旋被派往南洋聯絡同志,協助籌辦革命刊物《中興日報》。1906年冬,孫中山在日本東京成立中國同盟會中部總會,被委為秘書。1907年奉命回國,在廣東發動民軍起義。事敗后潛赴南洋,繼續組織發動華僑、華工和留學生進行革命活動。1911年武昌起義爆發后,被派往廣州協助籌劃起義,不幸事泄被捕,不久在廣州黃花崗就義。

研究員：尚未有區塊鏈積分應用在國內形成商業模式:某大型科技公司研究員負責人坦言，目前為止，尚未有區塊鏈積分應用在國內形成商業模式。企業基于聯盟鏈開展區塊鏈積分后，其自身仍是中心化的一家，并未去中心化，讓區塊鏈技術失去了本身有的意義。炒作概念以后，未能讓業內乃至旁觀者看出區塊鏈技術與互聯網技術落地積分場景的區別度。再者，有些機構并不是不想讓用戶花錢購入代幣，而是受國家政策所限。用戶通過簽到、做游戲等勞動換取所得，即便通證本身未進行募資，也屬于投資物范疇。（中國經營報）[2020/8/15]

源1.0：孫中山安葬在南京紫金山中山陵

問題：哪個洲是倒數第二小的洲？

ChatGPT:開始回答了錯誤的答案，與其對話后成功糾正（AMAZING！）

動態 | 國內首款區塊鏈電子存證類產品獲頒商用密碼產品型號證書:近日，國家密碼管理局頒發了一款商用密碼產品型號證書(證書編號：SXH2019415)，系統是基于PKI體系，采用電子簽名、時間戳、區塊鏈等技術，將應用系統產生的數據以固定時間間隔組織成數據區塊，使用密碼技術對區塊進行關聯，形成可追溯但不可篡改的數據流，以保證數據的真實性、完整性和有效性。通過事前系統評估、事中數據保全、事后司法鑒定等，將業務系統中產生的各種關鍵電子數據(文檔、行為、認證信息等)，同步到保全系統中進行數據保全。（中華網）[2019/9/2]

百度文心：南極洲

某道：南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)“

動態 | 國內首單區塊鏈應收款ABN發布:據證券時報消息，銀行間市場清算所（上海清算所）官網顯示，8月17日，“浙商鏈融2018年度第一期企業應收賬款資產支持票據”（簡稱“浙商鏈融”）成功發行，發起機構代理人為浙商銀行，發行金額4.57億元。據了解，這也是我國首單區塊鏈應收款ABN，通過應收款鏈+證券化，實現引資金活水入實體經濟另辟債市通途。[2018/8/20]

源1.0：大洋洲

總體分析

四個系統對于基本問題的問答可謂是手到擒來（本次樣例問題直接排除了簡單的基本問題，挑戰難度較高，因此整體錯誤率較高）。五類問題中，when問題和who問題整體回答的情況最好。三個國產系統中整體文心系統的表現最好。ChatGPT也會犯錯，但是往往只要略微引導，便能改正錯誤。

錯誤回答分析

錯誤語句生成：語句本身并不通順，前后主題不一致或者內容不一致，給人錯亂的感覺。

例如問：爸爸的爸爸稱謂是什么？

答：  爸爸的父親,也就是爸爸的爺爺,是媽媽的爸爸。爸爸的爺爺的爸爸叫太爺爺。爸爸的爺爺的爺爺叫太奶爺(奶奶的爸爸)

或問：我們黨二大在哪里召開？

答：1921年7月23日至31日,中國共產黨第二次全國代表大會在浙江省嘉興市南湖的一艘游船上召開。出席大會的正式代表共13人,候補代表5人,代表全國121名共產黨員。共產國際代表馬林、尼科爾斯基和鮑羅廷等參加了會議。

事實性錯誤：產生了事實性的錯誤。

例如問： 孫文去世的日子?

答：孫文去世的日子是1918年3月13日

偏見性素材：回答取自的素材較少，體現比較強的筆者的主觀性。

例如問：大家什么時候過元旦？

答：謝邀。我是在大學過的,所以元旦是在宿舍過的。我們宿舍六個人,有四個人都回家了,剩下我一個在宿舍,所以元旦那天我過得比較孤獨,不過還好啦,因為宿舍就我自己了,所以我可以一個人吃飯,一個人看電影,一個人逛超市,一個人睡覺,一個人......

含有邏輯性的問題無法識別：問題中存在復合問題或者邏輯判斷，一般難以處理。

例如問：哪個洲是倒數第二小的洲？

答：" 南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科）

寫在最后

颯姐團隊認為，傳統的單一問答模型可用性不大，給予用戶的體驗感也欠佳，國產大語言模型下一個里程碑，前輩ChatGPT已經給出了方向，便是對話問答。在使用ChatGPT的時候，雖然它也經常會給出錯誤答案，但是其回答的邏輯依舊符合人的習慣，同時經過一定的對話引導，可以自行發現其回答邏輯性的缺失。

作為全新的一種數據合成方式，大語言模型的直接輸出可能是我們人類無法把控的，但是只要它能“理解”用戶的輸入，以此為依調整其輸出，最后得到滿意的回答，那便是可用的。進一步的，大語言模型未來的趨勢很有可能是提前預判用戶可能的“糾錯”，并提前“自糾錯”，并對糾錯結果進行評估。

肖颯lawyer

個人專欄

閱讀更多

金色早8點

金色財經

Odaily星球日報

歐科云鏈

澎湃新聞

Arcane Labs

深潮TechFlow

MarsBit

BTCStudy

鏈得得

Tags：區塊鏈HATGPTCHA區塊鏈的五大應用領域ChatCoinAIGPTVRD Chain

比特幣行情