AMA:兩大可商用開源大模型同時發布！性能不輸 LLaMA，羊駝家族名字都不夠用了_metamask下載教程

來源：量子位

從Meta的LLaMA發展出的羊駝家族一系列大模型，已成為開源AI重要力量。

但LLamA開源了又沒全開，只能用于研究用途，還得填申請表格等，也一直被業界詬病。

好消息是，兩大對標LLaMA的完全開源項目同時有了新進展。

可商用開源大模型來了，還一下來了倆：

MosaicML推出MPT系列模型，其中70億參數版在性能測試中與LLaMA打個平手。

Together的RedPajama系列模型，30億參數版在RTX2070游戲顯卡上就能跑。

烏克蘭兩大科技零售巨頭Techno ?zhak和Stylus開始接受比特幣支付:9月4日消息，烏克蘭兩家最大的科技零售商Techno ?zhak和Stylus現在已經開始接受比特幣作為一種支付形式。這兩家科技零售巨頭將允許客戶用比特幣支付商品和服務。報道稱，該公司將使用支付服務提供商Whitepay，作為公司在客戶和商家之間的中間人。Whitepay是歐洲加密貨幣交易所WhiteBIT的子公司。

客戶將可以在網上和實體店使用比特幣支付。兩家科技公司的實體店共有100多家零售店。親自支付的客戶將可以使用Whitepay的定制銷售點系統，該系統會向商家提供二維碼來記錄交易。二維碼將包括當前匯率的信息，以及在網絡上完成交易所需的時間。

此前報道，今年早些時候，烏克蘭總統Volodymyr Zelensky簽署了一項關于虛擬貨幣法案，為比特幣在該國經濟中運行提供了法律框架。（Cryptoglobe）[2022/9/4 13:08:14]

對于這些進展，特斯拉前AI主管AndrejKarpathy認為，開源大模型生態有了寒武紀大爆發的早期跡象。

安永將與BSN展開合作 基于FISCOBCOS底層框架部署兩大區塊鏈平臺:安永將與BSN展開深入合作。基于BSN全球區塊鏈網絡上FISCOBCOS底層框架，部署其“安永BlockchainAnalyzer”和“安永OpsChain”兩大平臺。安永將通過BSN網絡提供控制機制，實現與部署在海外的以太坊網絡的互聯互通，持續為客戶提供更加合規、安全、高效的產品解決方案。[2021/2/10 19:21:57]

MPT，與LLaMA五五開

MPT系列模型，全稱MosaicMLPretrainedTransformer，基礎版本為70億參數。

MPT在大量數據上訓練，與LLaMA相當，高于StableLM，Pythia等其他開源模型。

ETC兩大客戶端OpenEthereum和MultiGeth宣布停止支持ETC:Parity開發者Wei Tang剛剛發布推特稱，ETC兩大客戶端OpenEthereum和MultiGeth今日宣布停止支持ETC。而由于這兩個客戶端仍然共享ETC網絡節點總數的70%，這是一個要求ETC用戶采取適當行動的公共服務公告。而根據Wei Tang此后公布的文章，兩大客戶端停止支持ETC的原因和Wei Tang停止支持ETC的原因一樣。此前6月10日，Wei Tang宣布停止支持ETC，原因是在Phoenix硬分叉后，ETC網絡打破了以太坊一致性的邏輯，特別是在不變性方面。[2020/7/17]

支持84ktokens超長輸入，并用FlashAttention和FasterTransformer方法針對訓練和推理速度做過優化。

在各類性能評估中，與原版LLaMA不相上下。

公告 | FORTUNA方圖公鏈測試網絡與web錢包上線，FOTA同步上線兩大新交易所:2018年6月25日，方圖公有鏈測試網絡成功上線，目前支持創建賬戶、轉賬、注冊代理人、投票、區塊與交易查詢等功能。同時，首款web版數字錢包提前發布。此外，方圖代幣FOTA將上線兩大全新交易所，累計上線海外交易所11家。[2018/6/25]

除了MPT-7BBase基礎模型外還有三個變體。

MPT-7B-Instruct，用于遵循簡短指令。

MPT-7B-Chat，用于多輪聊天對話。

MPT-7B-StoryWriter-65k+，用于閱讀和編寫故事，支持65ktokens的超長上下文，用小說數據集微調。

MosaicML由前英特爾AI芯片項目Nervana負責人NaveenRao創辦。

該公司致力于降低訓練神經網絡的成本，推出的文本和圖像生成推理服務成本只有OpenAI的1/15。

RedPajama，2070就能跑

RedPajama系列模型，在5TB的同名開源數據上訓練而來。

除70億參數基礎模型外，還有一個30億參數版本，可以在5年前發售的RTX2070游戲顯卡上運行。

目前70億版本完成了80%的訓練，效果已經超過了同規模的Pythia等開源模型，略遜于LLamA。

預計在完成1Ttokens的訓練后還能繼續改進。

背后公司Together，由蘋果前高管VipulVedPrakash，斯坦福大模型研究中心主任PercyLiang，蘇黎世聯邦理工大學助理教授張策等人聯合創辦。

開源模型發布后，他們的近期目標是繼續擴展開源RedPajama數據集到兩倍規模。

OneMoreThing

來自南美洲的無峰駝類動物一共4種，已被各家大模型用完了。

Meta發布LLaMA之后，斯坦福用了Alpaca，伯克利等單位用了Alpaca，JosephCheung等開發者團隊用了Guanaco。

以至于后來者已經卷到了其他相近動物，比如IBM的單峰駱駝Dromedary，Databricks的Dolly來自克隆羊多莉。

國人研究團隊也熱衷于用古代傳說中的神獸，如UCSD聯合中山大學等推出的白澤。

港中文等推出的鳳凰……

最絕的是哈工大基于中文醫學知識的LLaMA微調模型，命名為華駝。

參考鏈接：

https://www.mosaicml.com/blog/mpt-7b

https://www.together.xyz/blog/redpajama-models-v1

https://twitter.com/karpathy/status/1654892810590650376?s=20

Tags：AMAETCLAMALlamametamask下載教程sETC幣ELAMALlamaSwap

BNB