寫在前面
2月13日,《2022年北京人工智能產業發展白皮書》正式發布,其中提到全面夯實人工智能產業發展底座,支持頭部企業打造對標ChatGPT的大模型,著力構建開源框架和通用大模型的應用生態。
很巧的是,颯姐團隊成員在今年10月份的時候測評過:百度文心、源1.0、某道,三款國內現有的大模型,當時對測評結果甚是遺憾。于是又將當時的測試內容讓ChatGPT做了一遍,試圖摸清國內外大語言模型在問答這一領域的實際差距,旨在希望國內產學研戒驕戒躁,穩扎穩打地發展。
測試方案
本次測試僅僅考慮非連續性的單次問答,且皆為常識性問題,答案唯一,但題目會有一定的挑戰性。具體的,涉及到What,When,Where,Who,Which五類問題。
數字人民幣(試點版)App目前允許國內12地用戶下載:金色財經報道,據北京日報消息,數字人民幣(試點版)App目前允許國內12地用戶在蘋果和各大安卓應用商店下載,分別是深圳、蘇州、雄安、成都、上海、海南、長沙、西安、青島、大連及冬奧會場景(北京、張家口)。此外,現階段開放的運營機構包括工商銀行、農業銀行、中國銀行、建設銀行、交通銀行、郵儲銀行、招商銀行、網商銀行(支付寶)、微眾銀行(微信支付)等,各個機構根據自身實際情況和風控能力在限額范圍內設置具體限額。[2022/1/5 8:27:37]
問題樣例如下:
1.“是什么”型問題,如“爸爸的爸爸叫什么?”
2.“什么時候”型問題,如“人們一般什么時候過元旦?”
3.“什么地點”型問題,如“孫中山安葬在哪里?”
4.“是誰型問題”,如“中國歷史上第一個皇帝是誰?”
聲音 | 海能達:公司區塊鏈業務主要為國內知名礦企提供礦機生產代工:海能達(SZ002583)在互動平臺回復投資者提問表示,公司的區塊鏈業務主要為國內知名礦機企業客戶提供礦機生產代工,包括部分研發設計和供應鏈整體服務,該業務受益于數字貨幣行業發展和比特幣價格波動。公司的全資子公司深海和多家主流品牌礦機企業存在合作關系,承接了大量相關業務,去年出貨量增長超過一倍。[2020/2/13]
5.“哪?個型問題”,如“哪個洲是倒數第二小的洲?”
問答樣例對比
問題:“孫中山安葬在哪里?”
ChatGPT:孫中山的遺體最初安葬在南京中山陵內,后因戰亂多次遷移。最終于1929年安葬在南京中山陵北麓的紫金山下,此地現為孫中山陵園。
百度文心:孫中山墓地
某道:"孫文(1866年-1925年10月12日),名文,字載之,號仲立,又名帝光,廣東省香山縣(今中山市)南朗鎮翠亨村人,1883年(光緒九年)隨父移居澳門。1904年參加孫中山領導的同盟會,任同盟會南方支部書記。曾兩次赴日,組織策劃惠州起義。后回澳門發展組織,被選為中國同盟會南方總支部庶務部長。1905年春,與陳少白、朱執信等在香港成立興中會,被舉為評議部評議員,旋被派往南洋聯絡同志,協助籌辦革命刊物《中興日報》。1906年冬,孫中山在日本東京成立中國同盟會中部總會,被委為秘書。1907年奉命回國,在廣東發動民軍起義。事敗后潛赴南洋,繼續組織發動華僑、華工和留學生進行革命活動。1911年武昌起義爆發后,被派往廣州協助籌劃起義,不幸事泄被捕,不久在廣州黃花崗就義。
實力派 | 范瑞彬:聯盟鏈在國內的發展一定會欣欣向榮:在今日“金色實力派”線上訪談中,針對“如何看待未來區塊鏈技術在中國的發展前景?”的問題,微眾銀行分布式商業科技發展部副總經理、區塊鏈負責人范瑞彬表示,聯盟鏈在國內的發展一定會欣欣向榮:首先從政策層面上,這幾年的政策可以看到國家一直在堅定的支持聯盟鏈技術發展和聯盟鏈的產業應用。其次,從落地應用上,15年的時候,聯盟鏈就像是一塊凍土,基本沒有什么正式運行的應用,到了16年、17年,機構間對賬、司法存證、供應鏈金融等應用領域逐漸發展起來了。后來,區塊鏈在物聯網、政務、跨境服務等領域的應用落地也在逐漸涌現。雖然目前聯盟鏈還沒有發展到非常繁榮健康的階段,但是從時間緯度上來看,這幾年,聯盟鏈這塊凍土在逐漸的、一塊一塊的融化,有越來越多的綠芽長出來,漲勢也還不錯。方向正確,行業也越來越務實,離百花齊放不遠了。[2019/12/18]
源1.0:孫中山安葬在南京紫金山中山陵
動態 | 哈工大機器人集團與國內首家量子計算企業簽合作協議:據華爾街見聞消息,近日,哈工大機器人集團與合肥本源量子計算科技有限公司簽署合作協議。根據協議,雙方將共同開展量子計算機原型、操作系統、量子軟件、量子傳感和區塊鏈等領域的研究開發工作,共同拓展量子計算領域的應用市場;還將在工業互聯網的量子賦能、智能制造量子賦能、高精密量子傳感器等方面開展合作。[2018/9/26]
問題:哪個洲是倒數第二小的洲?
ChatGPT:開始回答了錯誤的答案,與其對話后成功糾正
人物 | 《財富》區塊鏈行業精英榜單出爐:國內僅吳忌寒一人上榜:本周,《財富》雜志發布了 40 位 40 歲以下區塊鏈精英榜單,有美國第一大交易所 Coinbase 的創始人、以太坊創始人 Vitalik Buterin(V 神)、Gemini 兩兄弟、Robinhood 交易所創始人、Telegram 創始人、EOS 創始人 Dan Larimer(BM)、最大的比特幣期貨交易所 BitMex 創始人、Bitcoin.com 創始人 Roger Ver 等人。國內僅比特大陸的聯合創始人吳忌寒一人上榜,位列本榜單第三名。除比特大陸外,國內再無其他區塊鏈相關機構上榜。[2018/7/28]
百度文心:南極洲
某道:南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)“
源1.0:大洋洲
總體分析
四個系統對于基本問題的問答可謂是手到擒來。五類問題中,when問題和who問題整體回答的情況最好。三個國產系統中整體文心系統的表現最好。ChatGPT也會犯錯,但是往往只要略微引導,便能改正錯誤。
錯誤回答分析
錯誤語句生成:語句本身并不通順,前后主題不一致或者內容不一致,給人錯亂的感覺。
例如問:爸爸的爸爸稱謂是什么?
答:??爸爸的父親,也就是爸爸的爺爺,是媽媽的爸爸。爸爸的爺爺的爸爸叫太爺爺。爸爸的爺爺的爺爺叫太奶爺(奶奶的爸爸)
或問:我們黨二大在哪里召開?
答:1921年7月23日至31日,中國共產黨第二次全國代表大會在浙江省嘉興市南湖的一艘游船上召開。出席大會的正式代表共13人,候補代表5人,代表全國121名共產黨員。共產國際代表馬林、尼科爾斯基和鮑羅廷等參加了會議。
事實性錯誤:產生了事實性的錯誤。
例如問:?孫文去世的日子?
答:孫文去世的日子是1918年3月13日
偏見性素材:回答取自的素材較少,體現比較強的筆者的主觀性。
例如問:大家什么時候過元旦?
答:謝邀。我是在大學過的,所以元旦是在宿舍過的。我們宿舍六個人,有四個人都回家了,剩下我一個在宿舍,所以元旦那天我過得比較孤獨,不過還好啦,因為宿舍就我自己了,所以我可以一個人吃飯,一個人看電影,一個人逛超市,一個人睡覺,一個人......
含有邏輯性的問題無法識別:問題中存在復合問題或者邏輯判斷,一般難以處理。
例如問:哪個洲是倒數第二小的洲?
答:"南美洲,南美洲面積最大,但人口最多,人口占全球人口的1/5,因此南美洲是僅次于亞洲的世界第二大洲。南美洲位于東半球的南部,包括巴拿馬運河以南的整個南美洲大陸。南美洲大陸東至圣赫勒拿島(西經34°40'),西至馬爾維納斯群島(西經61°10'),南至德雷克海峽,北至亞馬孫河下游平原,南北相距約5100千米。南美洲大陸最南端是厄瓜多爾首都基多城。南美洲北部以安第斯山脈為界與北美洲相分,東部以烏拉爾山脈和太平洋為界與亞洲相鄰,東南部經德雷克海峽與非洲相分,西部則與南極洲隔德雷克海峽相望。(摘自百度百科)
寫在最后
颯姐團隊認為,傳統的單一問答模型可用性不大,給予用戶的體驗感也欠佳,國產大語言模型下一個里程碑,前輩ChatGPT已經給出了方向,便是對話問答。在使用ChatGPT的時候,雖然它也經常會給出錯誤答案,但是其回答的邏輯依舊符合人的習慣,同時經過一定的對話引導,可以自行發現其回答邏輯性的缺失。
作為全新的一種數據合成方式,大語言模型的直接輸出可能是我們人類無法把控的,但是只要它能“理解”用戶的輸入,以此為依調整其輸出,最后得到滿意的回答,那便是可用的。進一步的,大語言模型未來的趨勢很有可能是提前預判用戶可能的“糾錯”,并提前“自糾錯”,并對糾錯結果進行評估。
AI的炒作已經醉生夢死,在情緒的持續持續推進下,獲利盤巨大,籌碼斷層嚴重,高位滯脹。AGIX昨日大幅回落,A股漢王科技今日低開,宣告AI行情告一段落.
1900/1/1 0:00:0021:00-7:00關鍵詞:Coinbase、BUSD、Circle、NYDFS1.法官批準將CFTC對SBF的民事訴訟推遲至刑事案件結束后;2.Paxos不同意美SEC將BUSD視為證券.
1900/1/1 0:00:00在告別災難性的2022年后,1月份以比特幣為代表的主流加密貨幣迎來暴漲,拉開了2023年加密市場發展的序幕。隨著美國通脹繼續緩和,比特幣價格飆升至幾個月來的最高水平.
1900/1/1 0:00:00BTC和ETH出現黃金交叉,它們的看跌趨勢開始消失一個月前,我們發布了一份報告,稱比特幣和以太坊市場觸底。此后,BTC和ETH分別上漲了22%和17%.
1900/1/1 0:00:00ChatGPT可以給出很好的答案,但問題是,你能向它提出很好的問題嗎?向AIGC提問,將是新的工作機會。ChatGPT橫空出世,讓AIGC瞬間普及.
1900/1/1 0:00:00Messari報告對以太坊的2022年進行了概述,同時對2023年的轉機進行了預測,在新的一年為區塊鏈原住民的決策提供參考.
1900/1/1 0:00:00