2023-11-24 10:48
大模型元年，“萬能的淘寶”有了萬能的AI助力：AIGC應(yīng)用于電商買賣雙端落地的首次全面實(shí)戰(zhàn)盤點(diǎn)
今年雙十一，除了買家賣家和平臺(tái)，還多了第四種參與者：AI助手。
淘寶天貓平臺(tái)，商家在雙十一準(zhǔn)備期及開賣期調(diào)用AI次數(shù)已超過15億次。買家方面，AI助手「淘寶問問」的累計(jì)體驗(yàn)人次也超1000萬，其中高活躍人群日均提問數(shù)超8次。最夸張的一條數(shù)據(jù)是“單一用戶最多提問數(shù)超4000次”，這位是完全不動(dòng)手找商品，買什么全聽AI的了嗎？
淘寶天貓這回各種AI應(yīng)用，那是百花齊放。
不知道買什么可以問AI，具體選哪款可以問AI，選好了怎么下單哪些活動(dòng)實(shí)惠還可以問AI。這還沒完，賣家快速開新店可以找AI，大批量上架商品可以找AI，投放廣告還是可以找AI……
大模型爆發(fā)接近一年，不斷改造著人們的工作和線上娛樂方式。而滲透進(jìn)電商購(gòu)物這一塊，可以算是連接上了空間更為廣闊的衣食住行等線下生活。
「淘寶問問」體驗(yàn)測(cè)評(píng)：
淘寶首個(gè)AI應(yīng)用“淘寶問問”AI導(dǎo)購(gòu)助手全面測(cè)評(píng)：打通阿里電商數(shù)據(jù)庫(kù)，貼身超級(jí)導(dǎo)購(gòu)專員丨附內(nèi)測(cè)申請(qǐng)方法
淘寶問問相較于其他功能相似、差異性不強(qiáng)的AI聊天機(jī)器人，淘寶AI助手與自身產(chǎn)品能力的結(jié)合度特別高，十分成熟。
AI助手「淘寶問問」，已經(jīng)對(duì)所有淘寶用戶開放，直接在搜索框輸入「淘寶問問」就能直達(dá)。乍一看與其他聊天機(jī)器人產(chǎn)品類似，主體都是一個(gè)對(duì)話框。實(shí)際上手體驗(yàn)才發(fā)現(xiàn)，它不僅懂商品，還懂你。
如果有優(yōu)惠券要湊滿減，就可以讓AI推薦點(diǎn)湊單的零食。無需在提問時(shí)附加額外的要求，它也能從歷史訂單、購(gòu)物車等數(shù)據(jù)中推薦符合喜好的商品。
對(duì)于每款推薦的商品，AI都會(huì)總結(jié)好產(chǎn)品本身的特點(diǎn)、適合的人群或場(chǎng)合，以及推薦理由。
接下來點(diǎn)擊商品卡片，就可以直接選擇規(guī)格、口味加入購(gòu)物車了。
除了直接提問，在淘寶問問里有一些內(nèi)置好的功能模板。
「用我挑商品」專治選擇困難癥，選擇兩個(gè)商品優(yōu)缺點(diǎn)對(duì)比說的明明白白。
「婚禮策劃師」與「旅行策劃人」、「資深導(dǎo)購(gòu)員」都是專為相應(yīng)場(chǎng)景優(yōu)化，整體方案+每個(gè)環(huán)節(jié)商品推薦一口氣呈現(xiàn)。
「生活小能手」和「美食達(dá)人」，在解決日常問題的基礎(chǔ)上又可以一鍵購(gòu)齊所需材料。
最后「靈魂寫手」則是給喜歡分享購(gòu)物體驗(yàn)的用戶準(zhǔn)備。
這里展開介紹一下「用我挑商品」對(duì)比商品的玩法：直接從瀏覽記錄或購(gòu)物車中選擇兩件拿不準(zhǔn)的商品。
即使是不同品類的洗衣液和洗衣凝珠，AI都能幫你把異同分析得頭頭是道。
當(dāng)然如果是要對(duì)比衣服，到底怎么搭配好看，淘寶問問暫時(shí)還幫不到你。這時(shí)候就要請(qǐng)出另一個(gè)功能「淘寶試衣」了，還是直接搜索就可找到。
看好哪件點(diǎn)一下就可換裝，可自己搭配上裝下裝或選擇套裝，堪稱真人版奇跡暖暖。
涉及要與發(fā)型臉型體型腿型各種型搭配的，還可以上傳自己的全身照片、設(shè)定自己的身高體重來代替AI模特，不出門不花錢就能在線試穿上千萬種。可以點(diǎn)擊對(duì)比按鈕，與自己拍照時(shí)的狀態(tài)反復(fù)對(duì)比，也是很實(shí)用的玩法。
除了上面展開介紹的這些，淘寶天貓還準(zhǔn)備了「我的萌寵」，通過AIGC技術(shù)為你的寵物制作數(shù)字分身;「極有家」，上傳房間照片，在線設(shè)計(jì)裝修方案等更多玩法。
都是在搜索欄搜索直達(dá)，篇幅有限，就留給感興趣的讀者自己去體驗(yàn)了。
商家也有了專門的「淘寶商家智能經(jīng)營(yíng)工具」。
從上傳第一個(gè)商品照片開始，店鋪起名、生成Logo、僅靠張圖片自動(dòng)識(shí)別商品屬性、上架、到店鋪裝修，一氣呵成，節(jié)省大量人工操作。此外還有商品素材任意擴(kuò)展尺寸功能，適應(yīng)各種展示場(chǎng)合，大幅降低素材加工成本，避免人力返工。
最終從復(fù)盤數(shù)據(jù)來看，今年雙十一是新品牌、新商家、中小商家參與最多的一屆。
按往常來說，對(duì)于平臺(tái)功能不熟悉、操作不熟練會(huì)帶來不少麻煩，但今年在新技術(shù)的加入下，徹底把經(jīng)營(yíng)店鋪的門檻降低了。淘寶商家智能經(jīng)營(yíng)工具線不足半月，就為女裝服飾商家提供了10w+次AI發(fā)品服務(wù)，發(fā)品時(shí)長(zhǎng)較傳統(tǒng)發(fā)品降低25%。
基于大語(yǔ)言模型技術(shù)研發(fā)的中心化電商經(jīng)營(yíng)Copilot，開啟內(nèi)測(cè)后也為數(shù)萬商家提供了經(jīng)營(yíng)知識(shí)問答、經(jīng)營(yíng)工具調(diào)用、文案生成等多種經(jīng)營(yíng)輔助能力，目前已經(jīng)為商家經(jīng)營(yíng)提效超50萬次。
算起來，ChatGPT發(fā)布接近一周年，AIGC文生圖的興起還要更早一些。這期間每一次技術(shù)突破，都掀起一波創(chuàng)業(yè)或改造已有業(yè)務(wù)的浪潮。直到今年雙十一期間，AI在電商領(lǐng)域終于實(shí)現(xiàn)大規(guī)模應(yīng)用，意義非比尋常：
不僅用于企業(yè)內(nèi)部流程，還要面向終端用戶。而且是一次面對(duì)買家和賣家兩種特點(diǎn)、需求都截然不同的終端用戶。這其中涉及大模型和AIGC文生圖兩大技術(shù)路線的融合創(chuàng)新，可以觀察到AI如何跨越從技術(shù)到應(yīng)用的鴻溝，也能為更多行業(yè)帶來啟示。
先說更早興起的AIGC文生圖。2022年8月Stable Diffusion開源、算力需求小，開啟了AIGC商業(yè)化的序幕。
但Stable Diffusion的弱點(diǎn)也很快在實(shí)踐中暴露出來：
首先是生成的圖像不可控問題，特別是淘寶天貓所在的電商領(lǐng)域，對(duì)商品主體的呈現(xiàn)準(zhǔn)確性要求極高；其次是使用復(fù)雜，復(fù)雜的提示詞技巧就不好掌握，眾多需要調(diào)節(jié)的參數(shù)更是增加了學(xué)習(xí)成本。
轉(zhuǎn)機(jī)很快出現(xiàn)。
1月份，ControlNet橫空出世，巧妙的通過添加輔助條件引導(dǎo)生成，一定程度上解決可控性問題，被譽(yù)為“改變游戲規(guī)則”。
這時(shí)，高手已經(jīng)可以用Stable Diffusion+ControlNet的組合來指定生成圖像的細(xì)節(jié)了，如人物姿態(tài)、整體布局等，相當(dāng)于提升了AIGC文生圖的上限。
但對(duì)于淘寶天貓要服務(wù)的眾多普通用戶而言，這些引導(dǎo)方式的理解和使用成本依然很高。
2023年8月，一項(xiàng)新技術(shù)IP-Adapter出現(xiàn)，再次把穩(wěn)定按需生成圖像的門檻降低。IP-Adapter相當(dāng)于開辟了“用圖像當(dāng)提示詞”的新方法，也可以當(dāng)成ControlNet中的一個(gè)引導(dǎo)條件。
這樣一來，電商賣家在文生圖流程中利用好現(xiàn)成的商品照片即可，無需再學(xué)習(xí)掌握提示詞技巧或其他專業(yè)制圖知識(shí)，相當(dāng)于進(jìn)一步降低了AIGC的下限。
解決了基本的實(shí)用性問題，更深層次的需求又凸顯出來。
Stable Diffusion屬于預(yù)訓(xùn)練模型，對(duì)世界的理解主要來自訓(xùn)練階段的數(shù)據(jù)。而電商領(lǐng)域又是快速變化的，每天都會(huì)上新大量商品，需要AI能不斷更新、持續(xù)學(xué)習(xí)。這時(shí)，來自大語(yǔ)言模型的快速微調(diào)技術(shù)LoRA就派上用場(chǎng)，借鑒到AIGC文生圖領(lǐng)域被當(dāng)做“知識(shí)/概念注入”的方法。
具體來說，LoRA在微調(diào)時(shí)會(huì)凍結(jié)模型的大部分權(quán)重，僅更新一小部分。同時(shí)更新后的權(quán)重還可單獨(dú)分離出來，每個(gè)只有幾十到上百M(fèi)B大小。
在淘寶天貓的實(shí)踐中，LoRA相當(dāng)于為商品和模特構(gòu)建了數(shù)字分身，為商家沉淀數(shù)字資產(chǎn)，可以進(jìn)一步生成更加豐富多樣的商品或模特圖。
把LoRA加入流程后，又出現(xiàn)生成可控比較差的問題。如何讓LoRA生成的模特在像與美之間取得平衡，如何讓基于LoRA生成的商品精準(zhǔn)還原商品細(xì)節(jié)，都是需要進(jìn)一步解決的應(yīng)用挑戰(zhàn)。
此外淘寶天貓還在探索不用訓(xùn)練即可將商品概念用于圖像生成的全新知識(shí)注入技術(shù)，直接在推理階段提供商品圖片即可，極大降低知識(shí)注入技術(shù)的應(yīng)用成本，提升實(shí)時(shí)性。
AIGC要大規(guī)模應(yīng)用，光是圍繞圖像生成模型Stable Diffusion本身的增強(qiáng)改造就有這么多。但實(shí)際工作流程中，為了大幅降低生圖操作的復(fù)雜度，還有大量工作需要完成。比如針對(duì)電商領(lǐng)域?qū)ι唐分黧w必須準(zhǔn)確呈現(xiàn)的需求，又加入了SAM分割萬物分模型，先把商品主體分離，再與AI生成的環(huán)境背景部分適配融合。
這樣一來確保了商品主體的準(zhǔn)確呈現(xiàn)，避免出現(xiàn)“貨不對(duì)版”，又能使商品主體與背景無縫融合， 讓光影看起來沒有破綻，有放置物感。接下來還要結(jié)合局部細(xì)節(jié)修復(fù)、超分辨率、增加濾鏡等多個(gè)環(huán)節(jié)提高圖像質(zhì)量，達(dá)到商用級(jí)別水準(zhǔn)。
AIGC應(yīng)用如此，大模型在電商領(lǐng)域走向大規(guī)模應(yīng)用的歷程同樣困難重重。特別是淘寶天貓要做的不是純粹的專業(yè)模型，而是一個(gè)有很強(qiáng)專業(yè)領(lǐng)域能力的通用模型，以解析淘寶用戶長(zhǎng)尾的自然語(yǔ)言問題，理解更加精準(zhǔn)的用戶意圖。
要實(shí)現(xiàn)這一點(diǎn)，在通用模型的基礎(chǔ)上首先要增加電商專業(yè)知識(shí)，在多年積累的電商行業(yè)數(shù)據(jù)中訓(xùn)練。
但此時(shí)通用大模型還在根據(jù)輸入續(xù)寫文本，比如當(dāng)用戶提出一個(gè)問題，模型很有可能按格式補(bǔ)充多個(gè)類似問題，而不是回答這個(gè)問題。
行業(yè)中解決這個(gè)問題的方法AI與人類偏好對(duì)齊。
SFT（指令微調(diào)）讓大模型學(xué)會(huì)如何完成用戶的指令，RLHF（人類反饋強(qiáng)化學(xué)習(xí)）讓大模型學(xué)會(huì)什么樣的回答滿足人類偏好。在淘寶天貓的實(shí)踐中，產(chǎn)品上線后還能不斷迭代用戶的反饋偏好。
接下來要解決的是大模型回答中的，業(yè)內(nèi)稱為“幻覺問題”。對(duì)此，淘寶天貓技術(shù)團(tuán)隊(duì)從模型內(nèi)外兩方面，雙管齊下去解決。
模型內(nèi)，也就是在模型訓(xùn)練階段就引入大量電商行業(yè)數(shù)據(jù)；模型外，通過RAG(檢索增強(qiáng)生成)技術(shù)，針對(duì)不同的問題，調(diào)用不同的知識(shí)庫(kù)，獲取實(shí)時(shí)更新的商品信息。
更進(jìn)一步的，針對(duì)需要實(shí)時(shí)調(diào)用外部工具的問題，淘寶天貓技術(shù)團(tuán)隊(duì)利用Tool learning技術(shù)，優(yōu)化大模型理解工具、選擇工具和調(diào)用工具的能力，并提供可解釋的工具調(diào)用路徑，使回答內(nèi)容更準(zhǔn)確，回答形式更加豐富。
比如「淘寶問問」里用戶的一次普通查詢，不僅調(diào)用了大模型生成能力，還調(diào)用了淘寶商品推薦能力和內(nèi)容社區(qū)的視頻推薦能力。更復(fù)雜的場(chǎng)景如旅行策劃，還會(huì)調(diào)用合作伙伴飛豬的機(jī)酒預(yù)訂能力。
最終，以「淘寶問問」為代表的一系列大模型產(chǎn)品，在大模型基礎(chǔ)上有意圖識(shí)別、任務(wù)規(guī)劃、記憶和使用外部工具能力，正朝著Agent(智能體)的方向發(fā)展，也就是大模型行業(yè)必爭(zhēng)的下一個(gè)階段。
相關(guān)文章
近期文章
更多
雷小軍
AI字體研究所
Altman
