2024-02-02 17:18
比肩GPT-4，商湯日日新大模型升級(jí)4.0，多模態(tài)能力大幅領(lǐng)先！
就在剛剛，商湯新一代「日日新SenseNova 4.0」大模型體系全面升級(jí)，多項(xiàng)任務(wù)性能超越GPT-4.
與此同時(shí)，全球首個(gè)支持不同模態(tài)工具調(diào)用的Assistants API，也在今日發(fā)布!
API申請(qǐng)網(wǎng)址：https://platform.sensenova.cn/
除了商量大語(yǔ)言模型、秒畫(huà)文生圖大模型外，商湯還發(fā)布了大語(yǔ)言模型的數(shù)據(jù)分析版本、升級(jí)了醫(yī)療版本「大醫(yī)」等，將LLM通用能力推向更多領(lǐng)域。同時(shí)還有備受期待的多模態(tài)大模型。
值得一提的是，商湯最新的Assistants API內(nèi)置多種工具，支持「文生圖」與「圖生文」的工具屬實(shí)是全球首發(fā)，目前就連OpenAI也還無(wú)法做到!
當(dāng)我們將大模型和各類(lèi)應(yīng)用服務(wù)工具連接起來(lái)，開(kāi)發(fā)者就輕松擁有了強(qiáng)大的AI助手，LLM「大腦」就有了「眼睛」和「手臂」。
現(xiàn)在，到商湯日日新SenseNova4.0平臺(tái)，國(guó)內(nèi)的開(kāi)發(fā)者和用戶(hù)就能在一個(gè)系統(tǒng)里，輕松調(diào)用圖文多模態(tài)能力了。
智能識(shí)圖
圖像理解是任何多模態(tài)模型必不可少的技能。
比如，給模型一張行車(chē)路況圖，乍一看，貌似是一道考驗(yàn)OCR能力的題目。
實(shí)則不然，想要正確回答這道題，它不僅需要將圖中占比較小的多塊指示牌上的字體提取出來(lái)，還需要進(jìn)行推理，最終才能判斷出去黃石東路怎么走。
再輸入一幅畫(huà)，它便一眼認(rèn)出這是油畫(huà)，還可以精準(zhǔn)地將作品中的各種細(xì)節(jié)特征描述出來(lái)，比如蝴蝶的動(dòng)態(tài)、昆蟲(chóng)的顏色。
甚至，基于以上的一些特征總結(jié)，它還能進(jìn)行深入分析，提供自身評(píng)價(jià)供我們參考。
此外，在海報(bào)識(shí)別上，它的表現(xiàn)也是十分出色——通過(guò)識(shí)別海報(bào)中的文字信息，便能確定海報(bào)主題。
還能快速解析海報(bào)主題相關(guān)的信息，結(jié)合文字信息和視覺(jué)信息讀懂整幅海報(bào)的氛圍。
服裝穿搭，它也非常拿手，讓你穿著打扮更有范兒。
當(dāng)你問(wèn)這件外套，該怎么搭配?
它會(huì)識(shí)別出衣服顏色款式，并會(huì)提供合適的穿搭建議，「配一件白色或淺色系的襯衫，下裝選黑色或深棕色的褲子，然后配一雙黑色的皮鞋」。
多模態(tài)模型能讀懂的不只是氛圍圖，還有表情包。
比如一只傾頭凝視的貓咪，以及背后傳達(dá)的情緒與態(tài)度，都能識(shí)別出。
上傳東方明珠的照片，它就會(huì)給出詳細(xì)介紹。
圖片生成
除了圖像理解外，文生圖功能還可以為你畫(huà)出剛剛這個(gè)場(chǎng)景的夜景。
在線檢索
在線檢索工具，則是讓我們擁有了訪問(wèn)外部知識(shí)的能力。
比如，讓它查詢(xún)上海各區(qū)最新的人口數(shù)據(jù)，就能給出準(zhǔn)確的回應(yīng)。
數(shù)據(jù)分析
此外，還可以通過(guò)對(duì)話進(jìn)行文檔和數(shù)據(jù)分析。
比如作為一個(gè)產(chǎn)品經(jīng)理，想了解世界范圍內(nèi)各個(gè)APP的使用情況，就只需要上傳一份APP使用數(shù)據(jù)的excel表格。
勤勤懇懇的小浣熊會(huì)立刻在左邊對(duì)話框生成相應(yīng)的Python代碼，以及所要求的圖表，并在右邊給出對(duì)應(yīng)的分析結(jié)果。
不管是簡(jiǎn)單的折線圖，還是復(fù)雜的箱線圖，都可以快速呈現(xiàn)。
除此之外，它還可以分析多個(gè)表格之間的關(guān)聯(lián)關(guān)系。比如看一下各地的水資源分布和他的人口數(shù)是否有相關(guān)性。
不僅可以針對(duì)多個(gè)表格文件進(jìn)行關(guān)聯(lián)分析，還能進(jìn)行多輪對(duì)話。以及如果對(duì)圖表呈現(xiàn)感覺(jué)不滿(mǎn)意，還能提出修改意見(jiàn)。
顯然，這些能力的實(shí)現(xiàn)，都要靠強(qiáng)大的模型能力來(lái)提供支持。
目前，經(jīng)過(guò)最新升級(jí)的日日新4.0.在整體表現(xiàn)上已經(jīng)非常接近GPT-4的水平了。
相比之前版本，日日新 4.0擁有更為全面的知識(shí)覆蓋、更加可靠的推理能力，更長(zhǎng)文本理解力，及穩(wěn)定的數(shù)字推理能力和代碼生成能力，并支持跨模態(tài)交互。
具體來(lái)說(shuō)：
- 代碼能力在HumanEval Coding評(píng)測(cè)上斬獲75.6分，超越了GPT-4Turbo的74.4分
- 多模態(tài)能力在MMBench評(píng)測(cè)上，整體性能超越GPT-4V（84.4分 vs 74.4分）
- 代碼解釋器在數(shù)據(jù)分析領(lǐng)域以85.71%的正確率超越了GPT-4的84.62%
- 此外還有部分垂直領(lǐng)域能力，也可以實(shí)現(xiàn)對(duì)GPT-4 Turbo的超越
- 而推理能力則達(dá)到了GPT-4 Turbo 99%的水平
商量大語(yǔ)言模型-通用版本（SenseChat V4）：4K/32k/128k全面升級(jí)，測(cè)試成績(jī)比肩GPT-4
我們看到，研究團(tuán)隊(duì)新增了包括業(yè)務(wù)通用、數(shù)學(xué)能力、K12考試和文學(xué)期刊數(shù)據(jù)的約600B tokens的中英文預(yù)訓(xùn)練語(yǔ)料，從而讓模型的理解能力和輸出質(zhì)量有了質(zhì)的提高。
此外還對(duì)模型進(jìn)行了4次超強(qiáng)的預(yù)訓(xùn)練，使得模型在閱讀理解、綜合推理、代碼能力等任務(wù)上實(shí)現(xiàn)了5%-10%的定向性提升。
針對(duì)不同的使用場(chǎng)景，他們分別升級(jí)了4k、32k、128k三種上下文窗口模型的性能，拓展了應(yīng)用范圍。
其中SenseChat-32k可支持約三萬(wàn)字以上的中文長(zhǎng)文本總結(jié)，整體能力平均達(dá)到了GPT-4-32K 90%以上水平，并在理解能力上實(shí)現(xiàn)了超越。
而「旗艦級(jí)」的SenseChat-128k，更是可以支持約十二萬(wàn)以上的中文長(zhǎng)文本總結(jié)，并且同樣在理解能力方面實(shí)現(xiàn)了對(duì)GPT-4的超越。
在「大海撈針」實(shí)驗(yàn)中128k、32k都實(shí)現(xiàn)了近乎完美的召回率，整體表現(xiàn)超過(guò)GPT-4.
除此之外，商湯還新增了商量大語(yǔ)言模型-數(shù)據(jù)分析版本以及數(shù)據(jù)分析工具「辦公小浣熊」，能理解多種表格和文件類(lèi)型以及復(fù)雜表格處理。
可支持多種格式的本地?cái)?shù)據(jù)文件上傳(如xls、xlsx、csv、txt、json等)，以及單表格、多表格、多文檔類(lèi)型、復(fù)雜表格等不同數(shù)據(jù)場(chǎng)景。
結(jié)果顯示，模型在1000+測(cè)試集上的精度超越GPT-4(85.71% vs 84.62%)，并且在強(qiáng)大的中文理解能力加持下，更能夠滿(mǎn)足國(guó)內(nèi)數(shù)據(jù)分析的需求。
醫(yī)療場(chǎng)景下，「大醫(yī)」在多輪對(duì)話與上下文理解能力上面實(shí)現(xiàn)了性能的大幅提升。
它還可以有效實(shí)現(xiàn)專(zhuān)業(yè)醫(yī)學(xué)問(wèn)答以及復(fù)雜醫(yī)學(xué)任務(wù)的推理，配合上豐富的工具調(diào)用能力，還能支持更多模態(tài)醫(yī)學(xué)文件的智能解讀和交互問(wèn)答。
在兩項(xiàng)行業(yè)權(quán)威評(píng)測(cè)——2023年職業(yè)藥劑師考試大模型評(píng)測(cè)和中文醫(yī)療大語(yǔ)言模型開(kāi)放評(píng)測(cè)平臺(tái)MedBench中，「大醫(yī)」均躋身綜合評(píng)分排名第二，性能接近GPT-4.
成績(jī)超越了多個(gè)通用及醫(yī)療垂類(lèi)開(kāi)源大語(yǔ)言模型，體現(xiàn)了非常高的專(zhuān)業(yè)垂直領(lǐng)域的落地性能。
2023年職業(yè)藥劑師考試大模型評(píng)測(cè)
中文醫(yī)療大語(yǔ)言模型的開(kāi)放評(píng)測(cè)平臺(tái)MedBench
日日新·商量多模態(tài)大模型（SenseChat-Vision V4）：不止「看」到，還能 「讀」懂
多模態(tài)大模型作為大模型發(fā)展的最前沿，它的能力直接決定了大模型在各行各業(yè)中落地后解決實(shí)際問(wèn)題的能力。
而商湯的圖文多模態(tài)大模型，不僅在開(kāi)放世界視覺(jué)理解、描述、常識(shí)理解、抽象推理、多模態(tài)知識(shí)等方面表現(xiàn)卓越，而且視覺(jué)感知力已經(jīng)無(wú)限接近人類(lèi)水平。
可以看到，在權(quán)威綜合基準(zhǔn)測(cè)試MME Benchmark中，綜合得分排名全球第一，表現(xiàn)出了全世界獨(dú)一份的視覺(jué)感知能力。
在分別評(píng)測(cè)中英文多模態(tài)能力的MMB-CN與MMB-EN中，均超過(guò)GPT-4V總分位列第一，在處理中文和英文場(chǎng)景的圖文感知需求方面都具備強(qiáng)勁優(yōu)勢(shì)。
其中，測(cè)評(píng)集共包含20個(gè)評(píng)測(cè)維度，通過(guò)從細(xì)粒度感知、單實(shí)例感知、跨實(shí)例感知、屬性推理、關(guān)系推理、邏輯推理等方面來(lái)全面評(píng)估模型的多模態(tài)能力。
而在覆蓋認(rèn)知、知識(shí)、OCR、空間定位、語(yǔ)言生成、數(shù)學(xué)六大核心多模態(tài)視覺(jué)問(wèn)答能力評(píng)價(jià)榜單MM-Vet中，也處于國(guó)內(nèi)領(lǐng)先的位置。
之所以能夠取得如此出眾的多模態(tài)綜合能力，首先是基于領(lǐng)先的單項(xiàng)能力。
首先，視覺(jué)基礎(chǔ)模型擁有60億參數(shù)，性能與業(yè)界領(lǐng)先的谷歌ViT 22B持平，在多個(gè)任務(wù)上達(dá)到業(yè)界SOTA。
其次，還融合了大語(yǔ)言模型的優(yōu)勢(shì)，強(qiáng)化了圖文跨模態(tài)領(lǐng)域的能力。
具體在模型的訓(xùn)練上，研究團(tuán)隊(duì)不僅開(kāi)發(fā)了用于處理經(jīng)典視覺(jué)任務(wù)(如分類(lèi)、檢測(cè)、分割、Grounding等)的通用視覺(jué)任務(wù)解碼器。
而且，對(duì)于開(kāi)放式的長(zhǎng)尾任務(wù)，還提出了通用長(zhǎng)尾任務(wù)控制器，進(jìn)一步拓展了多模態(tài)大模型的能力邊界。
在頂級(jí)的圖像繪制能力基礎(chǔ)之上，秒畫(huà)文生圖大模型結(jié)合了語(yǔ)言模型對(duì)于提示詞的超強(qiáng)理解能力。
用戶(hù)不用描述出畫(huà)面所有的細(xì)節(jié)，只要提供畫(huà)面的主要信息和基本用途，就能生成電影海報(bào)級(jí)的精美圖像。
這樣，不但大大降低生圖模型的使用門(mén)檻，還能有效保證Assistant API調(diào)用時(shí)能做到「精準(zhǔn)分割，所問(wèn)即所得」。
具體來(lái)說(shuō)，相對(duì)于之前的版本，秒畫(huà)文生圖大模型在高效的數(shù)據(jù)清理策略下，圖文對(duì)增至10億+對(duì)，模型的參數(shù)量也提升至百億量級(jí)。
他們還進(jìn)一步優(yōu)化了模型的Turbo版本，結(jié)合Adversarial Distillation，達(dá)到了10倍的加速效果。
模型采用了Mixture of text experts、Spatial-aware CFG等算法，大幅度提升語(yǔ)義理解與圖像質(zhì)感和細(xì)節(jié)表現(xiàn)。
對(duì)于開(kāi)發(fā)者用戶(hù)來(lái)說(shuō)，這次更新升級(jí)還帶來(lái)了超越OpenAI的工具能力——
最新的??新·商量大語(yǔ)言模型Function call & Assistants API版本內(nèi)置圖片生成(文生圖)、智能識(shí)圖(圖生文)、數(shù)據(jù)分析(代碼解釋器)、在線檢索工具。
如此一來(lái)，大大降低了開(kāi)發(fā)者想要在自己的應(yīng)用中實(shí)現(xiàn)各種AI功能的門(mén)檻，使得API的調(diào)用效率產(chǎn)生了質(zhì)的提高。
Assistants API的概念最早是OpenAI提出的。去年11月在首屆開(kāi)發(fā)者大會(huì)上，Sam Altman重磅發(fā)布面向開(kāi)發(fā)者的全新產(chǎn)品Assistants API，開(kāi)啟了測(cè)試階段。任何擁有OpenAI API的用戶(hù)都能夠使用。
現(xiàn)場(chǎng)，Altman介紹了Assistants API具備的能力有：
- 持久對(duì)話，意味著開(kāi)發(fā)者不用再為如何處理長(zhǎng)歷史會(huì)話而煩惱
- 支持對(duì)檢索（Retrieval)、代碼解釋器（Code Interpreter）等OpenAI托管工具的訪問(wèn)
- 支持第三方工具的函數(shù)調(diào)用（Function Call）
函數(shù)調(diào)用是可以讓Assistants API與外部工具和API連接的新方式。它可以讓模型輸出一個(gè)請(qǐng)求調(diào)用函數(shù)的消息，其中就包括調(diào)用的函數(shù)信息，以及參數(shù)信息。
然而遺憾的是，OpenAI助手API沒(méi)有多模態(tài)能力，目前不支持DALL-E模型。
與單個(gè)模型API調(diào)用(比如Images API，GPT-4 Turbo、Audio API)不同，可以看到Assistants API已經(jīng)擁有模型、工具、檢索等功能的集成，能為開(kāi)發(fā)者節(jié)省大量的時(shí)間。
根據(jù)Altman的設(shè)想，「隨著時(shí)間的推進(jìn)，GPTs和Assistants API將作為智能體的前身，未來(lái)能夠?yàn)槲覀冏鲈絹?lái)越多的事情。它不僅能規(guī)劃我們的生活，還能執(zhí)行更為復(fù)雜的任務(wù)」。
商湯此次發(fā)布了全球首個(gè)支持不同模態(tài)工具調(diào)用的Assistants API，先OpenAI一步讓理想照進(jìn)了現(xiàn)實(shí)。
與基礎(chǔ)的Chat Completion接口相比，商湯Assistants API的突出優(yōu)勢(shì)在于，支持圖文結(jié)合的多模態(tài)交互，和代碼執(zhí)行結(jié)果的直觀呈現(xiàn)。
這些內(nèi)置工具的綜合運(yùn)用，使得Assistants API能夠通過(guò)多輪對(duì)話和多輪工具調(diào)用，解決更加復(fù)雜的問(wèn)題。
Assistants API不僅賦予了大型模型以識(shí)別圖像、編寫(xiě)代碼、執(zhí)行互聯(lián)網(wǎng)搜索和繪制圖像的能力，還允許用戶(hù)自定義工具，進(jìn)一步擴(kuò)展了這個(gè)LLM「大腦」的操作范圍。
Assistants API的創(chuàng)新，將推動(dòng)商業(yè)技術(shù)格局發(fā)生巨變。這一突破性的工具，不僅是一項(xiàng)技術(shù)進(jìn)步，還為客戶(hù)交互、流程自動(dòng)化和決策提供了一種新的可能性。
- 超長(zhǎng)上下文，重新定義對(duì)話
Assistants API的一個(gè)核心特點(diǎn)是它提供了一個(gè)更加結(jié)構(gòu)化的方法，來(lái)處理用戶(hù)與大模型之間的交互。
這是通過(guò)創(chuàng)建一個(gè)「線程」——代表一場(chǎng)對(duì)話——來(lái)實(shí)現(xiàn)的。在這個(gè)線程上，可以傳遞特定于用戶(hù)的上下文和文件，從而使對(duì)話更加個(gè)性化和連貫。
這個(gè)線程沒(méi)有大小限制，可以向線程傳遞任意多的消息，而API會(huì)使用相關(guān)優(yōu)化技術(shù)，確保對(duì)模型的請(qǐng)求適合最大上下文窗口。
對(duì)于企業(yè)來(lái)說(shuō)，每次客戶(hù)的互動(dòng)都可以保留成歷史會(huì)話，可以擁有完整的持續(xù)對(duì)話的能力。
這樣的設(shè)計(jì)，可以確保每個(gè)查詢(xún)都能在上下文中被理解，從而產(chǎn)生更相關(guān)和更有洞察力的回答。
- 創(chuàng)建量身訂制AI助手，改變交互方式
此外，Assistants API的核心就是增強(qiáng)企業(yè)與客戶(hù)、數(shù)據(jù)的交互方式。
用戶(hù)可以根據(jù)需求定制一個(gè)AI助手——能夠進(jìn)行對(duì)話響應(yīng)、執(zhí)行復(fù)雜的數(shù)據(jù)分析，或提供個(gè)性化客戶(hù)支持。
最重要的是，它提供了一個(gè)簡(jiǎn)化的流程來(lái)創(chuàng)建AI助手，能夠以前所未有的準(zhǔn)確性，理解和響應(yīng)復(fù)雜查詢(xún)。
- 代碼解釋器解決實(shí)時(shí)問(wèn)題
對(duì)于需要處理數(shù)據(jù)，或分析復(fù)雜數(shù)據(jù)的開(kāi)發(fā)者和企業(yè)，代碼解釋器能夠讓AI助手安全地執(zhí)行Python代碼，將其轉(zhuǎn)換為實(shí)時(shí)解決問(wèn)題的強(qiáng)大工具。
- 通過(guò)檢索擴(kuò)展應(yīng)用知識(shí)
而檢索工具可以讓AI助手訪問(wèn)外部知識(shí)，提供在預(yù)訓(xùn)練數(shù)據(jù)之外的內(nèi)容，豐富特定信息的回應(yīng)。
由此可以看出，Assistants API不僅僅是一種AI工具，更是一種商業(yè)戰(zhàn)略資產(chǎn)。
它提供了一個(gè)靈活、高度可定制的框架，開(kāi)發(fā)者可以通過(guò)結(jié)構(gòu)化的線程處理用戶(hù)請(qǐng)求，并結(jié)合多種多模態(tài)工具和模型來(lái)提供響應(yīng)。
它可以徹底改變客戶(hù)服務(wù)，自動(dòng)化復(fù)雜任務(wù)，并可以推動(dòng)企業(yè)富有洞察力的決策和創(chuàng)新。
隨著商湯「日日新模型」升級(jí)到4.0.不論是在大語(yǔ)言模型、多模態(tài)大模型，還是在文生圖大模型，全部完成了新一輪進(jìn)化。
超強(qiáng)模型大腦，外加工具調(diào)用能力，能夠?yàn)殚_(kāi)發(fā)者和企業(yè)創(chuàng)建定制的開(kāi)應(yīng)用，開(kāi)辟了全新的視野。
面向未來(lái)，大模型的根本就在于重塑生產(chǎn)力模式，商湯正在做的，就是用全新工具為技術(shù)研發(fā)賦能。
相關(guān)文章
近期文章
更多
Kardashian
Altman
