基于FPGA+GPU的图像采集处理系统设计.pdf
《基于FPGA+GPU的图像采集处理系统设计.pdf》由会员分享,可在线阅读,更多相关《基于FPGA+GPU的图像采集处理系统设计.pdf(8页珍藏版)》请在咨信网上搜索。
1、随着嵌入式图像处理系统的快速发展,对于前端图像采集模块的需求越来越高;图像采集的速度、分辨率、可靠性以及集成度对后续设计的准确度由极大的影响;通过对数字图像采集系统进行研究,设计出了基于F P G A和G P U架构的图像采集处理系统,重点研究了图像采集处理系统的硬件设计过程和软件设计过程;在基于F P G AG P U的图像采集处理系统中,让具有强大运算处理能力的G P U专注于数据存储、用户交互以及后续的图像处理;系统中,F P G A则负责图像的采集、外设控制、任务调度;G P U与F P G A之间通过高速P C I E总线进行通信,分别设计编写基于L i n u x系统的驱动程序和F
2、 P G A端P C I E程序;实验结果表明,所设计基于F P G AG P U的图像采集处理系统可实现 M b p s的实时图像采集存储速度,传输过程实时稳定,数据传输完整.关键词:F P G A;G P U;图像采集;数据存储;任务调度D e s i g no f I m a g eA c q u i s i t i o na n dP r o c e s s i n gS y s t e mB a s e do nF P G Aa n dG P UJ I ANGJ u n l u n,F E NGD a q i a n g,XUX i n r u i,CHE NGK u n,CHANG
3、Z h o n g k u n,WANGZ h e n(S h a n d o n gI n s t i t u t eo fS p a c eE l e c t r o n i cT e c h n o l o g y,Y a n t a i ,C h i n a)A b s t r a c t:W i t h t h e r a p i dd e v e l o p m e n t o f e m b e d d e d i m a g ep r o c e s s i n gs y s t e m s,t h ed e m a n d f o r f r o n t e n d i m
4、a g e a c q u i s i t i o nm o d u l e si s i n c r e a s i n g T h es p e e d,r e s o l u t i o n,r e l i a b i l i t y,a n d i n t e g r a t i o no f i m a g ea c q u i s i t i o ng r e a t l ya f f e c t t h ea c c u r a c yo fs u b s e q u e n t i m a g ep r o c e s s i n g B ys t u d y i n gt h
5、 ed i g i t a l i m a g e a c q u i s i t i o ns y s t e m,a n i m a g e a c q u i s i t i o na n dp r o c e s s i n gs y s t e mb a s e do nF P G Aa n dG P Ua r c h i t e c t u r e i sd e s i g n e d,w i t hf o c u s i n go nt h eh a r d w a r ea n ds o f t w a r ed e s i g np r o c e s so f t h e
6、i m a g ea c q u i s i t i o na n dp r o c e s s i n gs y s t e m I nt h e i m a g ea c q u i s i t i o na n dp r o c e s s i n gs y s t e mb a s e do nF P G Aa n dG P U,t h eG P Uw i t hp o w e r f u l c o m p u t i n ga n dp r o c e s s i n gc a p a b i l i t i e si s f o c u s e do nt h ed a t as
7、 t o r a g e,u s e r i n t e r a c t i o n,a n ds u b s e q u e n t i m a g ep r o c e s s i n g I nt h es y s t e m,F P G Ai s r e s p o n s i b l e f o r t h e i m a g ea c q u i s i t i o n,p e r i p h e r a l c o n t r o l,a n dt a s ks c h e d u l i n g T h ec o mm u n i c a t i o nb e t w e e
8、nG P Ua n dF P G Ai sc a r r i e do u tt h r o u g ht h eh i g h s p e e dP C I Eb u s,a n dt h ed r i v e rp r o g r a m sb a s e do nL i n u xs y s t e ma n dF P G AP C I Ep r o g r a m s a r ed e s i g n e ds e p a r a t e l y T h ee x p e r i m e n t a l r e s u l t ss h o wt h a t t h ed e s i
9、g n e d i m a g ea c q u i s i t i o na n dp r o c e s s i n gs y s t e mb a s e do nF P G Aa n dG P Uc a na c h i e v ea r e a l t i m e i m a g ea c q u i s i t i o na n ds t o r a g es p e e do f M b p s T h e t r a n s m i s s i o np r o c e s s i sr e a l t i m ea n ds t a b l e,a n dt h e t r
10、a n s m i t t e dd a t a i sc o m p l e t e K e y w o r d s:F P G A;G P U;i m a g ed a t aa c q u i s i t i o n引言近年来,地面扫描观测设备得到快速发展,扫描观测需要实时采集存储数字图像,对图像采集技术的要求也越来越高.图像采集模块采集到的图像的质量对后续设计的准确性有极大的影响.作为图像信号处理系统的重要组成部分,图像采集模块的速度、分辨率、可靠性以及集成性等方面受到了越来越多的关注.目前,图像采集系统大多采用电脑端使用的图像采集卡,这种图像采集卡采集速度快、可以保证较高的采集精度,
11、但体积大、功耗高,而且只能在电脑端使用,无法在便携式产品中使用.从适应性角度考虑要求图像采集系统性价比高,环境的适应能力要强,并且要易安装和使用.嵌入式图像采集处理系统为图像采集提供了新的实现途径,但单纯应用A RM或D S P等嵌入式平台由于其存储容量有限、处理速度低、扩展性较差的特点,不能满足当前图像采集系统的带宽需求.图像采集前端模块是整个图像采集系统的核心部件,会直接影响到整个系统的工作执行效率.考虑到目前扫描观测设备的图像数据分辨率高、帧频快,如何使用恰当的方法采集、传输以及存储高质量的图像是一个非常重要的问题.图像采集的整体过程相对比较简单,但是图像采集时,图像的数据量非常的大,系
12、统对实时性要求非常高,图像采集的实时性是仅靠软件是无法实现的,开发人员要考虑使用软件与高速硬件系统相结合的方式来完成对图像的高速实时采集.文献 中,采用M S P 单片机作为主控芯片,通过U S B数据采集技术实现对监控现场视频数据的采集和传输,但该方案最终达到的数据传输速率仅为 M b p s.对于目前相机来说,常规的相机参数可达到 像素,单像素 位采样,帧频 H z,数据量可达到 M b p s.该系统难以满足实际应用需求.文献 中,提出了一种基于现场可编程逻辑门阵列(F P GA,f i e l dp r o g r a mm a b l eg a t ea r r a y)的高速图像采
13、集系投稿网址:w w wj s j c l y k z c o m计算机测量与控制第 卷 统硬件方案.采用F P G A作为图像采集主控芯片,大大简化了系统硬件结构,并提高了系统可靠性,同时可以应用于高速图像采集中.但F P GA操作起来流程复杂,应用门槛较高.同时为了保证采集到的图像的完整性和连续性,不仅要对图像数据进行采集,而且要对原始数据进行缓存.一般的图像采集模块主要包括存储器单元、C C D或者CMO S相机接口以及总线接口等.系统中设计了一个图像采集处理系统,采用X i l i n x公司的X C K TF P G A进行相机图像采集以及与其他设备如转台之间的信息交互.采用英伟达公
14、司的J e t s o nT X G P U作为图像数据存储处理的平台.X C K T通过L V D S接口采集相机数据,采集到数据后通过P C I E总线将图像数据传输给T X,T X 再将数据存储到固态硬盘中,以进行后续的处理.系统结构及原理对相机图像进行采集存储需要一个可靠性好、携带便捷以及实时性高的完整系统.该系统由电源模块、外设模块、F P G A、G P U、固态硬盘组成.其中:电源模块为系统中F P G A、G P U、外围电路器件提供供电,典 型 电 压 包 括:V、V、V、V和 V.外设模 块 实 现 与 相 机 等 外 部 设 备 的 通 信,包 括R S 接口、L V D
15、 S接口.G P U模块使用T X 模组,T X 使用L i n u x操作系统作为底层系统,可以充当上位机的功能.与此同时T X 实现通过P C I E从F P G A接收传送的相机数据,将接收图像数据通过S AT A接口存储到硬盘中,并执行相应的图像处理算法,将处理出的结果进行转发.F P G A模块通过 路L V D S接收到图像数据并通过P C I E发送到T X 模块中.系统的原理如图所示.图图像采集系统原理图系统硬件设计 J e t s o nT X 模块图形处理器(G P U,g r a p h i cp r o c e s s i n gu n i t)是一种专门进行 图 形
16、处 理 的 硬 件 设 备,经 过 近 年 来 的 快 速 发 展,G P U已经从最初的图形处理领域扩展到机器学习、深度学习、三维重建等并行计算领域,其架构从专用于图像处理的固定架构发展到了用于通用计算的并行计算架构.相比于C P U,G P U在并行计算、分布计算和浮点运算方面的运算能力可以高出数十倍乃至上百倍.在嵌入式硬件方面,英伟达公司在 年推出J e s t o nT X 模组,T X 是一款高性能、低功耗的A I单模块超级计算机,采用G P UC P U架构设计,其G P U采用新一代P a s c a l架构设计,具有 个C U D A核;C P U使用集成了四核的A RMR C
17、 o r t e xTMA 处理器(P S p r o c e s s i n gs y s t e m).外围电路方面该模组还包括/B A S E T以太网络接口,同时配备了G B的D D R 内存和 G Be MMC F l a s h存储空间.另外具备HDM I、C S I、S AT A等外部接口,其浮点计算能力可以达到 T f l o p s.因此选用T X 作为图像采集处理的核心模块十分方便快捷,其强大的数据处理能力可以将图像数据快速的写入到固态硬盘中,另外T X 还可以通过图形化界面与用户交互,容易操作.在本系统中T X 的作用包括两部分:一是利用S P I模块发送消息通知F P
18、GA开始进行图像数据采集;二是通过P C I E模块将图像数据从F P G A接收数据,并将数据通过S AT A接口写入到固态硬盘中.F P G A模块F P GA是一种可以通过编程来改变内部结构的“特殊芯片”,自X i l i n x公司于 年研发了世界上的首款型号为X C 的F P G A以来,F P GA的发展经历了多个阶段.目前最新的F P GA逻辑门的数量已经达到亿级以上,工艺尺寸也达到了 n m左右,无论是功耗还是性能,相比于X C 都得到了极大的提升.与普通的集成电路芯片相比,F P GA具有许多十分突出的特点,F P GA的可编程特性使它不仅可以用于A S I C(专用集成电路
19、)的设计,同时可以用来完成A S I C芯片的原型验证.F P G A常采用高速的CMO S工艺进行设计,具有低功耗的优势,而且其内部包含丰富的触发器和可编程I/O资源,可以用于实现较大规模的集成电路设计.F P GA在体系结构上有很大的并行度,这使其十分擅长并行数学计算.F P GA模块采用X i l i n x的X C K T芯片,通过 路L V D S接口接收相机数据,其中 位数据,位GA T E,位选通.路R S 作为相机控制接口,路R S 作为遥测遥控接口,一路R S 作为转台控制接口.数据采集转发F P G A具体型号为X C K T F F G I,该芯片的主要性能如下:具有 万
20、逻辑单元;具有 M b i t内部R AM;具有 个D S P E模块;具有 个G T X接口模块;具有 个CMT模块;具有 个H P I O管脚.由于该F P G A是基于S R AM结构的F P G A,具有设备断电后数据丢失的缺点.需要为X C K T F F G I专门配备一个程序存储器用来存储配置数据,在设备上电初始化时完成配置数据的装载.K 系列的F P G A支持,三种S P I加载方式,F l a s h选择S G L P T F I ,该芯片 V供电,容量 M b.由于相机输出 位宽的数据,帧频 H z,相机像素投稿网址:w w wj s j c l y k z c o m第
21、期蒋俊伦,等:基于F P G AG P U的图像采集处理系统设计 分辨率 ,由此将产生 b i t MH z (约为 M b p s)的数据量,考虑到T X 使用的是L i n u x系统,L i n u x是一种非实时响应的操作系统,这么快速的数据量即所谓的迸发数据流没有办法直接通过DMA传送给T X,需要将图像数据临时存储在内存条(D D R S D R AM)中.D D R 存储器是一种采用时钟双沿工作的高速存储器,是处理 器 常 用 的 片 外 存 储 器.与 静 态 随 机 访 问 存 储 器(S R AM,s t a t i cr a n d o ma c c e s sm e m
22、 o r y)所采用的CMO S工艺 不 同,D D R 存 储 器 采 用 动 态 随 机 访 问 存 储 器(D R AM,d y n a m i c r a n d o ma c c e s sm e m o r y)动态电路工艺,多采用电容储值,读写之前必须先对数据线进行预充电;读是破坏性的,读后必须写回;漏电流的存在使得D D R 必须保持定期刷新(读出放大后再写回).F P G A通过对D D R S D R AM的访问存储器控制,实现大容量迸发数据的读、写、刷新等时序操作.当F P GA收到图像数据后将数据缓存到D D R 内,当收满一副图像后F P G A将数据放到DMA内通过
23、P C I E总线发送给T X.电源模块电源模块为整个系统供电,采用 V电源作为输入电压,将直流 V供电转化成设备各组件工作所需的 V、V电源等,其中T X 模块供电模块与F P G A供电模块分别采用不同的电源模块,实现T X 模块与F P G A模块的相互独立.V为T X 模块供电,V为F P G A模块供电.直流 V输入电源后,首先经过滤波后供给D C/D C转换模块,转换成设备所需的工作电压,滤波后输出给各用电设备组件.供电模块原理如图所示.图供电模块原理框图 外设模块本系统中外设模块主要包括低电压差分信号(l o w v o l t a g ed i f f e r e n t i
24、a ls i g n a l i n g,L V D S)接 口、R S 接 口,L V D S共 路,其中 路为数据、路为选通、路为时钟,时钟速率为 M b p s.L V D S接口用于保证图像采集和传 输,可 以 将 图 像 高 速 数 据 实 时 的 进 行 传 输 存 储.R S 接口用于相机控制、转台控制等.系统软件设计基于F P G AG P U的图像采集处理系统软件程序主要包括F P GA程序设计、T X 驱动程序设计和T X 应用程序设计.F P G A开发基于X i l i n x公司的V i v a d o集成开发仿真环境.T X 本身自带L i n u x操作系统,可以
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 基于 FPGA BGPU 图像 采集 处理 系统 设计
1、咨信平台为文档C2C交易模式,即用户上传的文档直接被用户下载,收益归上传人(含作者)所有;本站仅是提供信息存储空间和展示预览,仅对用户上传内容的表现方式做保护处理,对上载内容不做任何修改或编辑。所展示的作品文档包括内容和图片全部来源于网络用户和作者上传投稿,我们不确定上传用户享有完全著作权,根据《信息网络传播权保护条例》,如果侵犯了您的版权、权益或隐私,请联系我们,核实后会尽快下架及时删除,并可随时和客服了解处理情况,尊重保护知识产权我们共同努力。
2、文档的总页数、文档格式和文档大小以系统显示为准(内容中显示的页数不一定正确),网站客服只以系统显示的页数、文件格式、文档大小作为仲裁依据,平台无法对文档的真实性、完整性、权威性、准确性、专业性及其观点立场做任何保证或承诺,下载前须认真查看,确认无误后再购买,务必慎重购买;若有违法违纪将进行移交司法处理,若涉侵权平台将进行基本处罚并下架。
3、本站所有内容均由用户上传,付费前请自行鉴别,如您付费,意味着您已接受本站规则且自行承担风险,本站不进行额外附加服务,虚拟产品一经售出概不退款(未进行购买下载可退充值款),文档一经付费(服务费)、不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
4、如你看到网页展示的文档有www.zixin.com.cn水印,是因预览和防盗链等技术需要对页面进行转换压缩成图而已,我们并不对上传的文档进行任何编辑或修改,文档下载后都不会有水印标识(原文档上传前个别存留的除外),下载后原文更清晰;试题试卷类文档,如果标题没有明确说明有答案则都视为没有答案,请知晓;PPT和DOC文档可被视为“模板”,允许上传人保留章节、目录结构的情况下删减部份的内容;PDF文档不管是原文档转换或图片扫描而得,本站不作要求视为允许,下载前自行私信或留言给上传者【自信****多点】。
5、本文档所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用;网站提供的党政主题相关内容(国旗、国徽、党徽--等)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
6、文档遇到问题,请及时私信或留言给本站上传会员【自信****多点】,需本站解决可联系【 微信客服】、【 QQ客服】,若有其他问题请点击或扫码反馈【 服务填表】;文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“【 版权申诉】”(推荐),意见反馈和侵权处理邮箱:1219186828@qq.com;也可以拔打客服电话:4008-655-100;投诉/维权电话:4009-655-100。