![点击分享此内容可以赚币 分享](/master/images/share_but.png)
从隐空间认识CLIP多模态模型_高焕堂.pdf
《从隐空间认识CLIP多模态模型_高焕堂.pdf》由会员分享,可在线阅读,更多相关《从隐空间认识CLIP多模态模型_高焕堂.pdf(3页珍藏版)》请在咨信网上搜索。
1、8ELECTRONIC ENGINEERING&PRODUCT WORLD 2023.5Lectures 电子产品世界$讲座从隐空间认识CLIP多模态模型Understanding and manipulating the latent spaces of CLIP高焕堂(铭传大学、长庚大学教授)1 前言AIGC 可生成的内容形式包含文本(文句)、图像、音频和视频。它能将文本中的语言符号信息或知识,与视觉中可视化的信息(或知识)建立出对应的关联。两者互相加强,形成图文并茂的景象,激发人脑更多想象,扩大人们的思维空间。其中,最基础的就是文本(Text)与图像(Image)之间的知识关联。本篇来介
2、绍文本与图像的关联,并以 CLIP 模型为例,深入介绍多模态 AIGC 模型的幕后架构,例如隐空间(Latent space)就是其中的关键性机制。2 简介CLIP模型在 2020 年,OpenAI 团队提出了 CLIP,它是典型的多模态(Multi-modal)机器学习模型。OpenAI 从互联网上找到大量的文本(Text)与图像(Image)的配对,可以用来训练 CLIP 模型,然后让 CLIP 进行其预测任务,即是输入 1 张图像,然后预测出哪一个文本与它是配对的。CLIP 的目标是透过大量图片及文字描述,建立两者间的对应关系。其做法是利用 ResNet50 等来萃取图像的特征,并映射到
3、隐空间(Latent space)。也就是将图像编码成为隐空间向量。同时,也利用 Transformer 萃取与图像相配对文句的特征,并将文句编码成为隐空间向量。最后经由模型训练来逐渐提高两个向量的相似度。换句话说,CLIP能将图像和文句映像到同一个隐空间,因此可以迅速计算图像与文句的相似度。CLIP 模型学习整个文句与其对应的图像之间的关系。当我们在整个文句上训练时,模型可以学到更多的潜在的东西,并在图像和文句之间找到一些规律。值得留意的是,在训练CLIP模型时,我们输入的是整个文句,而不是像猫、狗、汽车、电影等单一类别而已。3 CLIP的基本架构CLIP 的核心设计概念是,把各文句和图像映
4、射到隐空间里的一个点(以向量表示)。针对每一个文句和图像都会提取其特征,并映射到这个隐空间里的某一点。然后经由矩阵运算,来估计它们之间的相似度,如图 1。图1 CLIP的基本概念(来源:https:/ CLIP 模型的过程中,会不断调整各点的位置(在隐空间里),以表达出它们之间的相似度。CLIP在整合文句与图像两种模态上有突破性的表现。一旦训练完成之后,就可以对新图像进行预测了,亦即预测出一个文本与它是配对的。例如,输入 1 张新图像,经由图像编码器(如 ResNet50)来提取这张图象的特征,然后映射到隐空间里的一个新的点。然后经由矩阵运算,即可预测出它与我们所给的一些文句的相似度,就可以得
5、到预测值了。此外,CLIP也能输入描述文句来找到相对应的图像。 2023.5电子产品世界讲座L ectures 4 图解CLIP的空间对映兹以中药材的CLIP为例,例如有4张中药材的图像,以及其对应的文句,或单词(图 2)。图2 中药名字对应的图片这里的文本与图像之间的对应关联,可以是人们给予的,也可以是从互联网页的数据而得来的。那么CLIP 模型就来建立这些关联性。在前面已经说明了,CLIP 会利用 ResNet50 等模型来协助提取各图像的特征,并将各图像(随机)对映到隐空间(即数学上欧式空间)的点。同时,也使用Transformer 模型来帮助提取个文句的特征,并将各文本(随机)对映到隐
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 空间 认识 CLIP 多模态 模型 高焕堂
![提示](https://www.zixin.com.cn/images/bang_tan.gif)
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。