查看: 7254|回复: 31
Google在中国招聘和美国招聘要求一样吗
精华主题学分
活跃农民-感谢提供高质量信息和讨论, 积分 667, 距离下一级还需 333 积分
在线时间 小时
注册一亩三分地论坛，查看更多干货！
才可以下载或查看，没有帐号？
不知道去哪个版块发这个问题，发错了请指正。
看了google中国校园招聘的微博知道最近在中国找人。按微博的说法通过面试就可能去总部及欧治其他办事处工作，某网上专栏说中国的面试要求和美国要求一样。是不是意味着差不多编程能力的在美国投了简历和中国投了简历时区别不大呢的呢？&&还是说中国给的机会很少？&&请问地里有了解google在中国招聘详情的么？每年去总部的人多么？
精华主题学分
在线时间 小时
一手消息说：
Google国内职位面试要求特别特别特别高。面过了还要报总部批准，能进去的都是大牛大牛大大牛。
在美国反而要求低不少，可能因为招人比较多，然后也没有像国内那样被各种OI，ACM World Final大牛给宠坏。。。
去外企国内分部再转国外有机会，但是很少，不一定轮得到你。
<p id="rate_65" onmouseover="showTip(this)" tip="感谢分享！&大米 + 10 升
" class="mtn mbn">
精华主题学分
在线时间 小时
据我了解到的，去年浙大签到facebook的一个好像，北大清华也就两三个吧，facebook在中国没有分公司所以直接去美国总部，谷歌就不知道了，毕竟中国有分公司，签证身份神马的也挺费事，可能有去总部的，但是机会少些吧，难度也大，要是很牛的那种，肯定直接派去总部也有可能。微软中国新人直接派总部的人很少，有公司头衔的去总部机会大一些吧～你想啊，美国高校那么多码农，国内留下的名额有多少啊，门槛一样，但需要的能力应该更高吧～
精华主题学分
在线时间 小时
同求解答· 好人一生平安
精华主题学分
在线时间 小时
一手消息说：
Google国内职位面试要求特别特别特别高。面过了还要报总部批准，能进去的都是大牛大牛大大牛 ...
的确看其他网站面试过的人说声称的”全球统一招聘标准“ 其实在中国难很多。。。& &
有google上海北京职位工资的一手信息么 ？ 是和国内的薪资水平还是国外的水平呢？
精华主题学分
在线时间 小时
的确看其他网站面试过的人说声称的”全球统一招聘标准“ 其实在中国难很多。。。& &
有google ...
在国内的校招,不太可能是国际水准. 没有理由. 我知道的一些也都是国内的水准. 当然Google可能给的多一些. 早些年听说的是30w左右顶多了.
如果在北京上海,还按照美元给,年薪就是70w软妹币往上走了. 那早就是圈里大新闻了. 前一阵子百度少帅计划百万年薪都炒的那么厉害... 其实那个薪水在美国15w package, 按照岗位要求来说, 纯谈钱真心不能说太多.
在外企国内分布拿到美元工资就是global pay啦, 那很难的. 在微软可能要64才可以, 刚工作不要想啦~
精华主题学分
在线时间 小时
认识一个北大的cs研究生学姐，被招到美国总部了，不过好像签证出了问题，目前在等待中。
精华主题学分
在线时间 小时
在国内的校招,不太可能是国际水准. 没有理由. 我知道的一些也都是国内的水准. 当然Google可能给的多一些. ...
百度少帅那个package只有１５万吗？应该不止吧，我听拿到的人说fb什么的都match不了那个package啊.
精华主题学分
在线时间 小时
百度少帅那个package只有１５万吗？应该不止吧，我听拿到的人说fb什么的都match不了那个package啊.
他说的是15W美元吧
百度少帅计划按人民币算是100+W
精华主题学分
在线时间 小时
在国内的校招,不太可能是国际水准. 没有理由. 我知道的一些也都是国内的水准. 当然Google可能给的多一些. ...
64啥意思& &
精华主题学分
在线时间 小时
认识一个北大的cs研究生学姐，被招到美国总部了，不过好像签证出了问题，目前在等待中。
去年也听说忘了是哪的女生被要走了。。好像实力也一般& &&&女生是有加成么- -
精华主题学分
在线时间 小时
去年也听说忘了是哪的女生被要走了。。好像实力也一般& &&&女生是有加成么- -
女生有光环加成
精华主题学分
在线时间 小时
女生有光环加成
女民工真幸福啊& &&&
精华主题学分
在线时间 小时
64就是Level64的意思，是微软的内部等级，一般小本是Level59，小硕是Level60、61。一般做得最快的神人升到64也要6、7年吧，还有些做了十几年了卡在63、64。。。当然跳槽出去再跳回来的就另当别论了
精华主题学分
在线时间 小时
google上海也就20w左右吧，不搞竞赛的进google中国太难了，主要是国内这边google也没什么业务吧，上海google是google广告在这边，在环球金融中心那栋楼上班，环境也特别高大上
精华主题学分
在线时间 小时
64就是Level64的意思，是微软的内部等级，一般小本是Level59，小硕是Level60、61。一般做得最快的神人升 ...
微软员工分级制度不是废除了么 - -，，，
精华主题学分
在线时间 小时
他说的是15W美元吧
/IDL-special-shaoshuai.html
百度少帅计划按人民币算是100+W
我知道他说的是美元。但是15w美元折合成人民币又没有100w. 更何况那个宣传里说的年薪，他说的是package.而且照我朋友的情况，phd 15w的package怎么可能fb, google都表示match不了呢。
精华主题学分
在线时间 小时
在国内竞争激烈当然是激烈超越美国的，什么都是如此！
精华主题学分
在线时间 小时
百度少帅那个package只有１５万吗？应该不止吧，我听拿到的人说fb什么的都match不了那个package啊.
你要看少帅的岗位要求啊... 我觉得要求很高了.
少帅100万应该是总的package吧. 如果100万全是现金,另外再给股票啥的,那就很多了.
如果是总package, 换成美元16万. 16万的package几家大公司还是有的. 我同办公室的同学的亚马逊的package, 股票签字费把后几年才能到手的去掉, 也有快15万了... 而少帅收的那个alex smola的PhD,我觉得他肯定有机会拿到更好的offer.
精华主题学分
在线时间 小时
去年也听说忘了是哪的女生被要走了。。好像实力也一般& &&&女生是有加成么- -
每年Google啥的在清北直接招的本科生有两位数的... 今年似乎北大本科就给了7-8个offer?我记不清楚了.
签证问题我猜是H1B抽签,本科生概率低杯具了... 不过Google负责到底,会把你搞到澳大利亚, 爱尔兰, 苏黎世之类的地方, 然后再拿L系列签证去.
都是一手(直接朋友去的), 或者二手(熟的朋友或者老师的朋友/学生)消息.
<form method="post" autocomplete="off" id="fastpostform" action="forum.php?mod=post&action=reply&fid=73&tid=102763&extra=&replysubmit=yes&infloat=yes&handlekey=fastpost"
onSubmit="
// TODO Howard 11/3/2015
var sbtn = $('fastpostsubmit');
sbtn.disabled =
sbtn.innerHTML = ' 回复发表中... ';
sbtn.setAttribute('background', sbtn.style.background);
sbtn.setAttribute('bordercolor', sbtn.style.borderColor);
sbtn.style.background = '#C7C7C7';
sbtn.style.borderColor = '#8B8B8B';
var form =
// --product--
var isValid = fastpostvalidate(form, null, 0);
if(!isValid) reoverBtn();
return isV
// --product--
// --testing--
//setTimeout(function() {
// var isValid = fastpostvalidate(form, null, 0);
// if(!isValid) reoverBtn();
//}, 2000);
// --testing--
您需要登录后才可以回帖
回帖并转播
回帖后跳转到最后一页
一亩三分地推荐 /5
地主Warald亲手做你的申请，针对你的背景和目标，考虑申请、学习、就业、移民等系列问题，制定申请策略。
“offer”指全额奖学金，免学费全免+每月工资，Berkeley, CMU, JHU, UIUC, Gatech, UMich, UCLA, Columbia，欢迎观赏。
电子工程、计算机、统计、金数金工、化工等, Stanford, Berkeley, CMU, Cornell, Yale, Columbia, Chicago, Duke, UPenn, UIUC, Brown, UMich, JHU等
有留学、申请、找工、职业规划上的难题？先上论坛提问！
论坛考古也帮不上忙，发帖得到的回答仍然不够？电话找Warald来解答！
WARALD新书上市啦：《你不知道的美国留学》清华大学出版社，各大电商发售
Powered by既然 H1B 整体中签率呈递减趋势，美国大公司怎么确保 OPT 身份的员工能留下呢？ - 知乎1247被浏览190883分享邀请回答15382 条评论分享收藏感谢收起/prattle/从H1-B看美国移民制度，再看中国现状：我旁边就有认识的一个Facebook小弟，已经抽了2次H1-B，都没中，今年开始准备抽第三次。也有人在英国office虽然抽中了H1-B但是也不屑于来的，真是几家欢喜几家愁呀。同时之前Obama一直宣称要改进美国的immigration system，但是久久没有具体措施。现在只能寄希望于新一届政府可以在 H1-B 上有所作为了。多啰嗦一句，一个国家的移民制度其实就好比一个公司里的人才招聘一样，直接决定了一个国家能否让世界上优秀的人才有机会有途径进入你的国家工作和生活（进而为国家建设贡献力量）；而众所周知，招人对于任何一个公司（尤其创业公司）是最为重要的一步，对于一个国家亦然。虽然H1-B的制度现在看来比较落后，需要改进，但是美国依然凭借自己的政治经济制度和这一套移民体制吸引了成千上万的优秀人才进入美国。从人口结构上可以看出，美国的移民计划很好地补偿了自己本土人口的负增长，进而让社会发展可以稳步进行。中国在这方面完全是一个空白，要做的事情还很多，另外加上之前过度计划生育带来的问题，现在人口老龄化越来越严重。老龄化 -& 劳动力数量减少 -& 人力成本上升，如果你的创业项目能够很好地解决这一串问题（比如：有效的企业服务软件，Productivity tool，共享劳动力的平台，etc），将拥有很好的前景（欢迎来pitch我们FreeS Fund --&
qinchao [AT]
）。9311 条评论分享收藏感谢收起查看更多回答&p&相信很多来到这里的人和我第一次到这里一样，都是想找一种比较好的目标跟踪算法，或者想对目标跟踪这个领域有比较深入的了解，虽然这个问题是&b&经典目标跟踪算法&/b&，但事实上，可能我们并不需要那些曾经辉煌但已被拍在沙滩上的tracker(目标跟踪算法)，而是那些即将成为经典的，或者就目前来说最好用、速度和性能都看的过去tracker。我比较关注目标跟踪中的相关滤波方向，接下来我帮您介绍下我所认识的目标跟踪，尤其是相关滤波类方法，分享一些我认为比较好的算法，顺便谈谈我的看法。&/p&&p&1.图片来自某些slides和paper，如有侵权请提醒删除。&/p&&p&2.以下内容主要是论文的简单总结，代码分析和个人看法，不涉及任何公司内部资料。&/p&&p&3.转载请注明出处，谢谢。&/p&&p&4.如有错误欢迎指出，非常感谢。有问题可以私信我，也可以在评论区提出，上班族时间有限，有空我尽量都会回复，也感谢各位道友帮忙解答。&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&&b&先来混个脸熟，大概了解一下目标跟踪这个方向都有些什么&/b&。一切要从2013年开始说起，那一年的冬天和往常一样冷。。如果你问别人近几年有什么比较niubility的跟踪算法，大部分人都会扔给你吴毅老师的论文，&b&OTB50&/b&和&b&OTB100&/b&(OTB50这里指OTB-2013，OTB100这里指OTB-2015，感谢指正)：&/p&&ul&&li&Wu Y, Lim J, Yang M H. &b&Online object tracking: A benchmark&/b& [C]// CVPR, 2013.&/li&&li&Wu Y, Lim J, Yang M H. &b&Object tracking benchmark &/b&[J]. TPAMI, 2015.&/li&&/ul&&p&顶会转顶刊的顶级待遇，在加上引用量多，影响力不言而喻，已经是做tracking必须跑的数据库了，测试代码和序列都可以下载： &a href=&///?target=http%3A//cvlab.hanyang.ac.kr/tracker_benchmark/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Visual Tracker Benchmark&i class=&icon-external&&&/i&&/a&，OTB50包括50个序列，都经过人工标注：&/p&&img src=&/v2-e544f145ded9d69c98e092adaf2d8bc5_b.png& data-rawwidth=&1730& data-rawheight=&694& class=&origin_image zh-lightbox-thumb& width=&1730& data-original=&/v2-e544f145ded9d69c98e092adaf2d8bc5_r.png&&&p&论文在数据库上对比了&b&包括2012年及之前的29个顶尖的tracker&/b&，有大家比较熟悉的OAB, IVT, MIL, CT, TLD, Struck等，大都是顶会转顶刊的神作，由于之前没有比较公认的数据库，论文都是自卖自夸，大家也不知道到底哪个好用，所以这个database的意义非常重大，直接促进了跟踪算法的发展，后来又扩展为&b&OTB100&/b&发到TPAMI，有100个序列，难度更大更加权威，我们这里参考OTB100的结果，首先是29个tracker的情况(&i&标出了一些性能速度都比较好的算法&/i&)：&/p&&img src=&/v2-63db35d3d2f57965cea3c_b.png& data-rawwidth=&518& data-rawheight=&389& class=&origin_image zh-lightbox-thumb& width=&518& data-original=&/v2-63db35d3d2f57965cea3c_r.png&&&p&接下来再看结果(&i&更加详细的情况建议您去看论文比较清晰&/i&)：&/p&&img src=&/v2-92fe48e735d8a4ae1585_b.png& data-rawwidth=&1161& data-rawheight=&730& class=&origin_image zh-lightbox-thumb& width=&1161& data-original=&/v2-92fe48e735d8a4ae1585_r.png&&&p&直接上结论：平均来看&b&Struck, SCM, ASLA&/b&等算法的性能比较高，排在前三，着重强调&b&CSK&/b&，第一次向世人展示了相关滤波的潜力，&b&排第四还362FPS&/b&简直逆天了。速度排第二的是经典算法&b&CT(64fps)&/b&(&i&这段时间是压缩感知大热的时候，这里能看到很多稀疏相关算法~都是历史&/i&)。如果对更早期的算法感兴趣，推荐另一篇经典的survey(&i&反正我是没兴趣也没看过&/i&):&/p&&ul&&li&Yilmaz A, Javed O, Shah M. &b&Object tracking: A survey &/b&[J]. CSUR, 2006. &/li&&/ul&&p&2012年以前的算法基本就是这样，自从2012年AlexNet问世以后，CV各个领域都有了巨大变化，所以我猜你肯定还想知道年发生了什么，抱歉我也不知道(&i&容我卖个关子&/i&)，不过我们可以肯定的是，2013年以后的论文确定以及必定都会引用OTB50这篇论文，借助&b&谷歌学术中的被引用次数&/b&功能，得到如下结果：&/p&&img src=&/v2-ccb19ad37fe2a0393afbdf98_b.png& data-rawwidth=&907& data-rawheight=&563& class=&origin_image zh-lightbox-thumb& width=&907& data-original=&/v2-ccb19ad37fe2a0393afbdf98_r.png&&&p&这里仅列举几个排名靠前的，(&i&注意引用量&/i&)依次是&b&Struck&/b&转TPAMI, 三大相关滤波方法&b&KCF, CN, DSST&/b&, 和&b&VOT竞赛&/b&，这里仅作示范，有兴趣可以亲自去试试。&b&(这么做的理论依据是&/b&：一篇论文，在它之前的工作可以看它的引用文献，之后的工作可以看谁引用了它；虽然引用量并不能说明什么，但好的方法大家基本都会引用的(&i&表示认可&/i&)；之后还可以通过限定时间来查看某段时间的相关论文，如&a href=&tel:&&&/a&就能找到最新的论文了，至于论文质量需要仔细甄别；其他方向的重要论文也可以这么用，顺藤摸瓜，然后你就知道大牛是哪几位，接着关注跟踪一下他们的工作&b& )&/b&这样我们就大致知道目标跟踪领域的最新进展应该就是相关滤波无疑了，再往后还能看到相关滤波类算法有&b&SAMF, LCT, HCF, SRDCF&/b&等等。当然，引用量也与时间有关，建议分每年来看，这里就不贴图了(&i&相关滤波类新论文也可以通过查引用KCF的论文去找&/i&)。此外，最新版本OPENCV3.2除了&b&TLD&/b&，也包括了几个很新的跟踪算法 &a href=&///?target=http%3A//www.docs.opencv.org/3.2.0/d9/df8/group__tracking.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&OpenCV: Tracking API&i class=&icon-external&&&/i&&/a&：&/p&&img src=&/v2-7f1e3a8d9f_b.png& data-rawwidth=&984& data-rawheight=&342& class=&origin_image zh-lightbox-thumb& width=&984& data-original=&/v2-7f1e3a8d9f_r.png&&&p&TrackerKCF接口实现了&b&KCF&/b&和&b&CN&/b&，影响力可见一斑，这一点就可以说明很多问题了，还有个GOTURN是基于深度学习的方法，速度虽快但精度略差，窃以为太激进了...&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&&b&总体介绍下目标跟踪。&/b&这里说的目标跟踪，是通用单目标跟踪，第一帧给个矩形框，这个框在数据库里面是人工标注的，在实际情况下大多是检测算法的结果，然后需要跟踪算法在后续帧紧跟住这个框，以下是VOT对跟踪算法的要求：&/p&&img src=&/v2-518e71f77d3bf360acdc6f_b.png& data-rawwidth=&480& data-rawheight=&361& class=&origin_image zh-lightbox-thumb& width=&480& data-original=&/v2-518e71f77d3bf360acdc6f_r.png&&&p&通常目标跟踪面临&b&几大难点&/b&(吴毅在&b&VALSE&/b&的slides)：外观变形，光照变化，快速运动和运动模糊，背景相似干扰：&/p&&img src=&/v2-b5f8aff728d0de563869_b.png& data-rawwidth=&716& data-rawheight=&416& class=&origin_image zh-lightbox-thumb& width=&716& data-original=&/v2-b5f8aff728d0de563869_r.png&&&p&平面外旋转，平面内旋转，尺度变化，遮挡和出视野等情况：&/p&&img src=&/v2-3dbabf17d52c20bcbdf12_b.png& data-rawwidth=&622& data-rawheight=&460& class=&origin_image zh-lightbox-thumb& width=&622& data-original=&/v2-3dbabf17d52c20bcbdf12_r.png&&&p&正因为这些情况才让tracking变得很难，目前比较常用的数据库除了&b&OTB&/b&，还有谷歌学术找到的&b&VOT&/b&竞赛数据库(类比ImageNet)，已经举办了四年，VOT2015和VOT2016都包括60个序列，所有序列也是免费下载 &a href=&///?target=http%3A//votchallenge.net/challenges.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VOT Challenge | Challenges&i class=&icon-external&&&/i&&/a&：&/p&&ul&&li&Kristan M, Pflugfelder R, Leonardis A, et al. &b&The visual object tracking vot2013 challenge results&/b& [C]// ICCV, 2013.&/li&&li&Kristan M, Pflugfelder R, Leonardis A, et al. &b&The Visual Object Tracking VOT2014 Challenge Results&/b& [C]// ECCV, 2014.&/li&&li&Kristan M, Matas J, Leonardis A, et al. &b&The visual object tracking vot2015 challenge results&/b& [C]// ICCV, 2015.&/li&&li&Kristan M, Ales L, Jiri M, et al. &b&The Visual Object Tracking VOT2016 Challenge Results&/b& [C]// ECCV, 2016.&/li&&/ul&&p&&b&OTB和VOT区别&/b&：OTB包括25%的灰度序列，但VOT都是彩色序列，这也是造成很多颜色特征算法性能差异的原因；两个库的评价指标不一样，具体请参考论文；VOT库的序列分辨率普遍较高，这一点后面分析会提到。对于一个tracker，如果两个库(最好是OTB100和VOT2016)都跑了且结果上佳，那性能肯定是非常优秀的(&i&两个库调参你能调好，我服，认了~~&/i&)，如果只跑了一个。。(仅供参考)我比较认可的是VOT2016，因为序列都是精细标注，且评价指标我更加认可(&i&人家毕竟是竞赛，评价指标发过TPAMI的&/i&)，&b&差别最大的地方&/b&，OTB是随机帧开始，或矩形框加随机干扰初始化去跑，作者说这样更加符合检测算法给的框框；而VOT是第一帧初始化去跑，每次跟踪失败(预测框和标注框不重叠)时，5帧之后再次初始化，VOT以short-term为主，且认为跟踪检测应该在一起永不分离，detecter会多次初始化tracker。至于哪个更好，看你，和你的需求。&/p&&p&&b&补充&/b&：&b&OTB&/b&在2013年公开了，对于2013以后的算法是透明的，有调参的可能性，尤其是那些只跑OTB，而且论文中有关键参数直接给出还精确到小数点后两位的算法，建议您先实测再评价(&i&人心不古啊~被坑的多了&/i&)，但&b&VOT&/b&竞赛的数据库是每年更新，还动不动就重新标注，动不动就改变评价指标，对当年算法是不可见且难度很大的，所以结果更可靠。&b&如果您认可以上看法，后面会推荐很多在我看来顶尖又快速的算法。如果您不认可以上看法，后面也就没必要看下去了，谢谢！&/b&（&i&看每篇论文都会觉得这个工作太好太重要了，如果没有这篇论文，必会地球爆炸，宇宙重启~~所以就像大家都通过历年ILSVRC竞赛结果为主线了解深度学习的发展一样，第三方的结果更具说服力，所以我也以&/i&&b&竞赛排名+是否公开源码+实测性能&/b&&i&为标准分析每个方法&/i&）&/p&&p&&b&目标视觉跟踪(Visual Object Tracking)&/b&，大家比较公认分为两大类：&b&生成(generative)&/b&模型方法和&b&判别(discriminative)&/b&模型方法，目前比较流行的是判别类方法，也叫检测跟踪tracking-by-detection，为保持完整性，以下简单介绍。&/p&&p&&b&生成类方法&/b&，在当前帧对目标区域建模，下一帧寻找与模型最相似的区域就是预测位置，比较著名的有&b&卡尔曼滤波，粒子滤波，mean-shift&/b&等。举个例子，从当前帧知道了目标区域80%是红色，20%是绿色，然后在下一帧，搜索算法就像无头苍蝇，到处去找最符合这个颜色比例的区域，推荐算法&b&ASMS&/b& &a href=&///?target=https%3A///vojirt/asms& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&vojirt/asms&i class=&icon-external&&&/i&&/a&：&/p&&ul&&li&Vojir T, Noskova J, Matas J. &b&Robust scale-adaptive mean-shift for tracking&/b& [J]. Pattern Recognition Letters, 2014.&/li&&/ul&&p&&b&ASMS&/b&是VOT2015的第20名官方推荐的实时算法，VOT2016的32名(&i&中等水平&/i&)，平均帧率&b&125FPS&/b&，在经典mean-shift框架下加入了尺度估计，经典颜色直方图特征，加入了两个先验(尺度不剧变+可能偏最大)作为正则项，和反向尺度一致性检查。作者给了C++代码，在相关滤波和深度学习盛行的年代，还能看到mean-shift打榜还有如此高的性价比实在不容易(已泪目~~)，实测性能还不错，如果您对生成类方法情有独钟，这个非常推荐您去试试。(&i&某些算法，如果连这个你都比不过。。天台在24楼，不谢&/i&)&/p&&p&&b&判别类方法&/b&，OTB50里面的大部分方法都是这一类，CV中的经典套路&b&图像特征+机器学习&/b&， 当前帧以目标区域为正样本，背景区域为负样本，机器学习方法训练分类器，下一帧用训练好的分类器找最优区域(马超在VALSE的slides)：&/p&&img src=&/v2-d2c2473036eda496b79609_b.png& data-rawwidth=&1337& data-rawheight=&651& class=&origin_image zh-lightbox-thumb& width=&1337& data-original=&/v2-d2c2473036eda496b79609_r.png&&&p&与生成类方法最大的区别，是分类器训练过程中用到了&b&背景信息&/b&，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好。举个例子，在训练时告诉tracker目标80%是红色，20%是绿色，还告诉它背景中有橘红色，要格外注意别搞错了，这样的分类器知道更多信息，效果也肯定更好。&b&tracking-by-detection&/b&和&b&检测算法&/b&非常相似，如经典行人检测用HOG+SVM，&b&Struck&/b&用到了haar+structured output SVM，跟踪中为了尺度自适应也需要多尺度遍历搜索，区别仅在于跟踪算法对特征和在线机器学习的速度要求更高，检测范围和尺度更小而已。这点其实并不意外，大多数情况检测识别算法复杂度比较高不可能每帧都做，这时候用复杂度更低的跟踪算法就很合适了，只需要在跟踪失败(drift)或一定间隔以后再次检测去初始化tracker就可以了。其实我就想说，&b&FPS才TMD是最重要的指标，慢的要死的算法可以去死了&/b&(&i&喂同学，别这么偏激，速度可以慢慢优化嘛&/i&)。经典判别类方法推荐&b&Struck&/b&和&b&TLD&/b&，都能实时性能还行，Struck是2012年之前最好的方法，TLD是经典long-term的代表，即使效果差一点但思想非常值得借鉴：&/p&&ul&&li&Hare S, Golodetz S, Saffari A, et al. &b&Struck: Structured output tracking with kernels &/b&[J]. IEEE TPAMI, 2016. &/li&&li&Kalal Z, Mikolajczyk K, Matas J. &b&Tracking-learning-detection &/b&[J]. IEEE TPAMI, 2012. &/li&&/ul&&p&长江后浪推前浪，前面的已被排在沙滩上，后浪就是&b&相关滤波&/b&类方法(correlation filter简称CF，或discriminative correlation filter简称DCF，注意和后面KCF种的DCF方法区别，包括前面提到的那几个，后面要着重介绍)，和&b&深度学习&/b&(Deep ConvNet based)类方法，因为深度学习类并不了解就不瞎推荐了，除了Winsty的几篇 &a href=&///?target=http%3A//www.winsty.net/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Naiyan Wang - Home&i class=&icon-external&&&/i&&/a&，还有VOT2015的冠军&b&MDNet &/b&&a href=&///?target=http%3A//cvlab.postech.ac.kr/research/mdnet/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning Multi-Domain Convolutional Neural Networks for Visual Tracking&i class=&icon-external&&&/i&&/a&和VOT2016的冠军&b&TCNN &/b&&a href=&///?target=http%3A//www.votchallenge.net/vot2016/download/44_TCNN.zip& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&votchallenge.net/vot201&/span&&span class=&invisible&&6/download/44_TCNN.zip&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a& ，速度方面比较突出的如80FPS的&b&SiamFC &/b&&a href=&///?target=http%3A//www.robots.ox.ac.uk/%7Eluca/siamese-fc.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SiameseFC tracker&i class=&icon-external&&&/i&&/a&和100FPS的&b&GOTURN &/b&&a href=&///?target=https%3A///davheld/GOTURN& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&davheld/GOTURN&i class=&icon-external&&&/i&&/a&，注意是在GPU上。基于ResNet的&b&SiamFC-R&/b&在VOT2016表现不错，很看好后续发展，如果有兴趣可以去VALSE听作者自己讲解 &a href=&///?target=http%3A///w_19ruirwrel.html%23vfrm%3D8-8-0-1& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VALSE--LucaBertinetto-Oxford-JackValmadre-Oxford-pu&i class=&icon-external&&&/i&&/a&，至于GOTURN，效果比较差，跑100FPS又有什么用呢，所以还不推荐，暂时持观望态度。写论文的同学深度学习类是特点也有巨大潜力。&/p&&ul&&li&Nam H, Han B. &b&Learning multi-domain convolutional neural networks for visual tracking&/b& [C]// CVPR, 2016.&/li&&li&Nam H, Baek M, Han B. &b&Modeling and propagating cnns in a tree structure for visual tracking&/b&. arXiv preprint arXiv:, 2016.&/li&&li&Bertinetto L, Valmadre J, Henriques J F, et al. &b&Fully-convolutional siamese networks for object tracking&/b& [C]// ECCV, 2016.&/li&&li&Held D, Thrun S, Savarese S. &b&Learning to track at 100 fps with deep regression networks &/b&[C]// ECCV, 2016.&/li&&/ul&&p&还有几篇国人大作遇到了不要惊讶：MEEM, TGPR, CLRST, MUSTer，在VOT中能看到身影。&b&最后&/b&，深度学习END2END的强大威力在目标跟踪方向还远没有发挥出来，还没有和相关滤波类方法拉开多大差距(&i&速度慢是天生的我不怪你，但效果总该很高吧，不然你存在的意义是什么呢。。革命尚未成功，同志仍须努力&/i&)&/p&&p&最后强力推荐 &a class=&member_mention& href=&///people/2d6e027e5db50df5dea1& data-hash=&2d6e027e5db50df5dea1& data-hovercard=&p$b$2d6e027e5db50df5dea1&&@Qiang Wang&/a& 维护的资源&b&benchmark_results&/b&：大量顶级方法在OTB库上的性能对比，各种论文代码应有尽有，大神自己C++实现并开源的CSK, KCF和DAT，找不着路的同学请跟紧，别迷路 &a href=&///?target=https%3A///foolwood/benchmark_results& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&foolwood/benchmark_results&i class=&icon-external&&&/i&&/a&，还有他自己最新论文DCFNet论文加源码，别错过。&/p&&p&再隆重推荐&a class=&member_mention& href=&///people/24f6a8ba54a520ceb91b& data-hash=&24f6a8ba54a520ceb91b& data-hovercard=&p$b$24f6a8ba54a520ceb91b&&@H Hakase&/a& 维护的&b&相关滤波类资源&/b& &a href=&///?target=https%3A///HakaseH/CF_benchmark_results& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&HakaseH/CF_benchmark_results&i class=&icon-external&&&/i&&/a& ，详细分类和论文代码资源，走过路过别错过，是我见过的最详尽的相关滤波资源，可见非常之用心！&/p&&p&(&i&两位大神，看到了请来我处交一下广告费，9折优惠~~&/i&)&/p&&img src=&/v2-afaabd2d4a1_b.png& data-rawwidth=&1674& data-rawheight=&679& class=&origin_image zh-lightbox-thumb& width=&1674& data-original=&/v2-afaabd2d4a1_r.png&&&p&/*************************************我是分割线**********************************************/&/p&&p&&b&接下来介绍几个最经典的高速相关滤波类跟踪算法CSK, KCF/DCF, CN。&/b&很多人最早了解CF，应该和我一样，都是被下面这张图吸引了：&/p&&img src=&/v2-cddc24ac950d23_b.png& data-rawwidth=&407& data-rawheight=&239& class=&content_image& width=&407&&&p&这是KCF/DCF算法在OTB50上(&i&&b&2014年4月就挂arVix了,&/b& 那时候OTB100还没有发表&/i&)的实验结果，Precision和FPS碾压了OTB50上最好的Struck，看惯了勉强实时的Struck和TLD，飙到高速的KCF/DCF突然有点让人不敢相信，其实KCF/DCF就是在OTB上大放异彩的CSK的多通道特征改进算法。注意到那个超高速615FPS的MOSSE了吧(&i&严重超速这是您的罚单&/i&)，这是目标跟踪领域的第一篇相关滤波类方法，这其实是真正第一次显示了相关滤波的潜力。和KCF同一时期的还有个CN，在2014'CVPR上引起剧烈反响的颜色特征方法，其实也是CSK的多通道颜色特征改进算法。&b&从MOSSE(615)到 CSK(362) 再到 KCF(172FPS), DCF(292FPS), CN(152FPS), CN2(202FPS)&/b&，速度虽然是越来越慢，但效果越来越好，而且始终保持在高速水平：&/p&&ul&&li&Bolme D S, Beveridge J R, Draper B A, et al. &b&Visual object tracking using adaptive correlation filters&/b& [C]// CVPR, 2010.&/li&&li&Henriques J F, Caseiro R, Martins P, et al. &b&Exploiting the circulant structure of tracking-by- detection with kernels &/b&[C]// ECCV, 2012.&/li&&li&Henriques J F, Rui C, Martins P, et al. &b&High-Speed Tracking with Kernelized Correlation Filters &/b&[J]. IEEE TPAMI, 2015.&/li&&li&Danelljan M, Shahbaz Khan F, Felsberg M, et al. &b&Adaptive color attributes for real-time visual tracking&/b& [C]// CVPR, 2014.&/li&&/ul&&br&&img src=&/v2-2ad_b.png& data-rawwidth=&1540& data-rawheight=&222& class=&origin_image zh-lightbox-thumb& width=&1540& data-original=&/v2-2ad_r.png&&&p&CSK和KCF都是&b&Henriques J F&/b&(&i&牛津大学&/i&)&a href=&///?target=http%3A//www.robots.ox.ac.uk/%7Ejoao/index.html%23& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Jo?o F. Henriques&i class=&icon-external&&&/i&&/a& 大神先后两篇论文，影响后来很多工作的岭回归，循环移位的近似密集采样，还给出了整个相关滤波算法的详细推导。还有岭回归加kernel-trick的封闭解，多通道HOG特征。&/p&&p&&b&Martin Danelljan&/b&大牛(林雪平大学)用多通道颜色特征&b&Color Names(CN)&/b&去扩展CSK得到了不错的效果，算法也简称&b&CN&/b& &a href=&///?target=http%3A//www.cvl.isy.liu.se/research/objrec/visualtracking/colvistrack/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Coloring Visual Tracking&i class=&icon-external&&&/i&&/a& 。&/p&&p&MOSSE是单通道灰度特征的相关滤波，CSK在MOSSE的基础上扩展了密集采样(加padding)和kernel-trick，KCF在CSK的基础上扩展了多通道梯度的HOG特征，CN在CSK的基础上扩展了多通道颜色的Color Names。HOG是梯度特征，而CN是颜色特征，两者可以互补，所以HOG+CN在近两年的跟踪算法中成为了hand-craft特征标配。最后，根据KCF/DCF的实验结果，讨论两个问题：&/p&&ul&&li&&b&1. 为什么只用单通道灰度特征的KCF和用了多通道HOG特征的KCF速度差异很小？&/b&&/li&&/ul&&p&第一，HOG，作者用了HOG的快速算法fHOG，来自Piotr's Computer Vision Matlab Toolbox，C代码而且做了SSE优化。如对fHOG有疑问，请参考论文Object Detection with Discriminatively Trained Part Based Models第12页。
第二，HOG特征常用cell size是4，这就意味着，100*100的图像，HOG特征图的维度只有25*25，而Raw pixels是灰度图归一化，维度依然是100*100，我们简单算一下：27通道HOG特征的复杂度是,而单通道灰度特征的复杂度是&img src=&///equation?tex=10000+log%+%3D+40000& alt=&10000 log(10000) = 40000& eeimg=&1&& ，结果也是相差不多，符合表格(&i&不知道这种算法对不对，如果有误请指出，谢谢&/i&)。&/p&&p&看代码你会发现，作者在扩展后目标区域面积较大时，会先对提取到的图像块做因子2的下采样，到50*50这样复杂度就变成了&img src=&///equation?tex=2500+log%+%3D+8495& alt=&2500 log(2500) = 8495& eeimg=&1&& ，下降了非常多。那你可能会想，如果下采样再多一点，复杂度就更低了，但这是以牺牲跟踪精度为代价的，再举个例子，如果图像块面积为200*200，先下采样到100*100，再提取HOG特征，分辨率降到了25*25，这就意味着响应图的分辨率也是25*25，也就实说，响应图每位移1个像素，原始图像中跟踪框要移动8个像素，这样就降低了跟踪精度。在精度要求不高时，你完全可以稍微牺牲下精度提高帧率(&i&但真的不能再下采样了&/i&)。&/p&&ul&&li&&b&2. HOG特征的KCF和DCF哪个更好？&/b&&/li&&/ul&&p&大部分人都会认为KCF效果超过DCF，而且各属性的准确度都在DCF之上，然而，如果换个角度来看，以DCF为基准，再来看加了kernel-trick的KCF，mean precision仅提高了0.4%，而FPS下降了41%，这么看是不是挺惊讶的呢？除了图像块像素总数，KCF的复杂度还主要和kernel-trick相关。所以，下文中的CF方法&b&如果没有kernel-trick，就简称基于DCF，如果加了kernel-trick，就简称基于KCF&/b&(&i&剧透，基本两类各占一半&/i&)。当然这里的CN也有kernel-trick，但请注意，这是Martin Danelljan大神第一次使用kernel-trick，也是最后一次。。。&/p&&p&可能会有这样的疑问，kernel-trick这么强大的东西，怎么才提高这么点？这里就不得不提到Winsty的另一篇大作：&/p&&ul&&li&Wang N, Shi J, Yeung D Y, et al. Understanding and diagnosing visual tracking systems[C]// ICCV, 2015. &/li&&/ul&&p&一句话，&b&别看那些五花八门的机器学习方法，那都是虚的，目标跟踪算法中特征才是最重要的&/b&（就是因为这篇文章我成了WIN叔粉丝，哈哈）&b&，&/b&以上就是前三个首先推荐的高速算法，CSK, KCF/DCF和CN。&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&VOT2014竞赛 &a href=&///?target=http%3A//votchallenge.net/vot2014/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VOT2014 Benchmark&i class=&icon-external&&&/i&&/a& 。这一年有25个精挑细选的序列，38个算法，那时候深度学习的战火还没有烧到tracking，所以也只能CF独霸一方了，下面是前几名的具体情况：&/p&&img src=&/v2-9aad5ed14edb0d087bd653c9c9d73e87_b.png& data-rawwidth=&897& data-rawheight=&248& class=&origin_image zh-lightbox-thumb& width=&897& data-original=&/v2-9aad5ed14edb0d087bd653c9c9d73e87_r.png&&&p&前三名都是相关滤波CF类方法，第三名的KCF已经很熟悉了，这里稍微有点区别就是加了多尺度检测和子像素峰值估计，再加上VOT序列的分辨率比较高(检测更新图像块的分辨率比较高)，导致KCF的速度只有24.23(EFO换算&b&66.6FPS&/b&)。这里的speed指的的&b&EFO&/b&(Equivalent Filter Operations)，在VOT2015和VOT2016里面也用这个参数衡量算法速度，这里一次性列出来供参考(MATLAB实现的tracker实际速度要更高一些)：&/p&&img src=&/v2-4b431e58f906bf88be6c38_b.png& data-rawwidth=&769& data-rawheight=&172& class=&origin_image zh-lightbox-thumb& width=&769& data-original=&/v2-4b431e58f906bf88be6c38_r.png&&&p&&b&其实前三名除了特征略有差异，核心都是扩展了多尺度检测&/b&，概要如下：&/p&&img src=&/v2-e493b50e7cb39b84ffc6a3_b.png& data-rawwidth=&808& data-rawheight=&239& class=&origin_image zh-lightbox-thumb& width=&808& data-original=&/v2-e493b50e7cb39b84ffc6a3_r.png&&&p&&b&尺度变化&/b&是跟踪中比较基本和常见的问题，前面介绍的三个算法都没有尺度更新，如果目标缩小，滤波器就会学习到大量背景信息，如果目标扩大，滤波器就跟着目标局部纹理走了，这两种情况都很可能出现非预期的结果，导致漂移和失败。&/p&&p&推荐&b&SAMF&/b& &a href=&///?target=https%3A///ihpdep/samf& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ihpdep/samf&i class=&icon-external&&&/i&&/a&，来自浙大的工作，基于KCF，特征是HOG+CN，多尺度方法是平移滤波器在多尺度缩放的图像块上进行目标检测，取响应最大的那个平移位置和响应所在尺度：&/p&&ul&&li&Li Y, Zhu J. &b&A scale adaptive kernel correlation filter tracker with feature integration&/b& [C]// ECCV, 2014.&/li&&/ul&&p&和Martin Danelljan的&b&DSST&/b& &a href=&///?target=http%3A//www.cvl.isy.liu.se/research/objrec/visualtracking/scalvistrack/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Accurate scale estimation for visual tracking&i class=&icon-external&&&/i&&/a& ，专门训练类似MOSSE的尺度滤波器用于检测尺度变化，开创了平移滤波+尺度滤波，之后转PAMI做了一系列加速：&/p&&ul&&li&Danelljan M, H?ger G, Khan F, et al. &b&Accurate scale estimation for robust visual tracking&/b& [C]// BMVC, 2014.&/li&&li&Danelljan M, Hager G, Khan F S, et al. &b&Discriminative Scale Space Tracking &/b&[J]. IEEE TPAMI, 2017.&/li&&/ul&&img src=&/v2-ceafcb41ac2fca6a3b001bd5c240c93e_b.png& data-rawwidth=&1319& data-rawheight=&423& class=&origin_image zh-lightbox-thumb& width=&1319& data-original=&/v2-ceafcb41ac2fca6a3b001bd5c240c93e_r.png&&&p&简单对比下这两种多尺度方法：&/p&&ul&&li&&b&DSST和SAMF所采用的尺度检测方法哪个更好&/b&？&/li&&/ul&&p&首先给大家讲个笑话：Martin Danelljan大神提出DSST之后，他的后续论文就再没有用过。&/p&&ol&&li&虽然SAMF和DSST都可以跟上普通的目标尺度变化，但SAMF只有7个尺度比较粗，而DSST有33个尺度比较精细准确；&/li&&li&DSST先检测最佳平移再检测最佳尺度，是分布最优，而SAMF是平移尺度一起检测，是平移和尺度同时最优，而往往局部最优和全局最优是不一样的；&/li&&li&DSST看成两个问题可以采用不同的方法和特征更加灵活，但需要额外训练一个滤波器，每帧尺度检测需要采样33个图像块，分别计算特征，加窗，FFT，尺度滤波器还要额外训练；SAMF只需要一个滤波器，不需要额外训练和存储，每个尺度检测就一次提特征和FFT，但在图像块较大时计算量比DSST高。&/li&&/ol&&p&所以尺度检测DSST并不总是比SAMF好，其实，&b&在VOT2015和VOT2016上SAMF都是超过DSST的&/b&，当然这主要是因为特征更好，但至少说明尺度方法不差。虽然DSST比SAMF更具创新度，但SAMF也是很优秀的方法。(&i&记得高中数学老师说过，“一个人一生能有一点点创新就非常了不起了”，所以我们才会看到那么那么多灌水论文，创新真的太难了，那些虽然创新力不够但踏踏实实有效果，敢公开源码经得起验证的论文同样值得钦佩&/i&)&/p&&ul&&li&&b&DSST一定要33个尺度吗？&/b&&/li&&/ul&&p&如果你认真跑过实验，就会发现DSST标配的33个尺度非常非常敏感，轻易降低尺度数量，即使你增加相应步长，尺度滤波器也会完全跟不上尺度变化。关于这一点我想到的可能解释是，训练尺度滤波器用的是一维样本，而且没有循环移位，这就意味着一次训练更新只有33个样本，如果降低样本数量，会造成训练不足，分类器判别力严重下降，不像平移滤波器有非常多的移位样本(&i&如果不对或您有其他看法欢迎交流&/i&)。&b&总之，请不要轻易尝试大幅降低尺度数量，如果非要用尺度滤波器33和1.02就好&/b&。&/p&&p&以上就是两种推荐的尺度检测方法，以后简称为&b&类似DSST的多尺度&/b&和&b&类似SAMF的多尺度&/b&。如果您对尺度的要求不高而更看重速度，SAMF只要3个尺度就可以粗略跟上尺度变化(比如VOT2014中的&b&KCF&/b&)；如果您需要精确尺度跟踪，则推荐DSST但速度稍慢，且DSST的尺度数量不能轻易减少；如果尺度变化不明显则不推荐使用。&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&&b&VOT2015竞赛&/b& &a href=&///?target=http%3A//votchallenge.net/vot2015/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VOT2015 Challenge | Home&i class=&icon-external&&&/i&&/a& 如期而至，这一年有60个精挑细选的序列，62个tracker，最大看点是&b&深度学习&/b&开始进击tracking，&b&MDNet&/b&直接拿下当年的冠军，而&b&结合深度特征的相关滤波&/b&方法DeepSRDCF是第二名，主要&b&解决边界效应&/b&的SRDCF仅HOG特征排在第四：&/p&&img src=&/v2-06caea4e02775_b.png& data-rawwidth=&1553& data-rawheight=&599& class=&origin_image zh-lightbox-thumb& width=&1553& data-original=&/v2-06caea4e02775_r.png&&&p&随着VOT竞赛的影响力扩大，举办方也是用心良苦，经典的和顶尖的齐聚一堂，百家争鸣，&b&多达62个tracker&/b&皇城PK，华山论剑。除了前面介绍的深度学习和相关滤波，还有结合object proposals(&i&类物体区域检测&/i&)的&b&EBT(&/b&&a href=&/p/& class=&internal&&EBT：Proposal与Tracking不得不说的秘密 - 知乎专栏&/a&&b&)&/b&排第三，Mean-Shift类颜色算法&b&ASMS&/b&是推荐实时算法，还请注意另一个颜色算法&b&DAT&/b&，而第9的那个Struck已经不是原来的了。除此之外，还能看到经典方法如OAB, STC, CMT, CT, NCC等都排在倒数位置， 经典方法已经被远远拉开了距离，所以在决定用那些经典方法之前，可以先测试几个新算法看看，说不定有惊喜。&/p&&p&&b&在介绍SRDCF之前，先来分析下相关滤波有什么缺点。总体来说，相关滤波类方法对快速变形和快速运动情况的跟踪效果不好&/b&。&/p&&p&&b&快速变形主要因为CF是模板类方法。&/b&容易跟丢这个比较好理解，前面分析了相关滤波是模板类方法，如果目标快速变形，那基于HOG的梯度模板肯定就跟不上了，如果快速变色，那基于CN的颜色模板肯定也就跟不上了。这个还和模型更新策略与更新速度有关，固定学习率的线性加权更新，如果学习率太大，部分或短暂遮挡和任何检测不准确，模型就会学习到背景信息，积累到一定程度模型跟着背景私奔了，一去不复返。如果学习率太小，目标已经变形了而模板还是那个模板，就会变得不认识目标。(&i&举个例子，多年不见的同学，你很可能就认不出了，而经常见面的同学，即使变化很大你也认识，因为常见的同学在你大脑里面的模型在持续更新，而多年不见就是很久不更新&/i&)&/p&&p&&b&快速运动主要是边界效应(Boundary Effets)&/b&，而且边界效应产生的错误样本会造成分类器判别力不够强，下面分训练阶段和检测阶段分别讨论。&/p&&p&&b&训练阶段，合成样本降低了判别能力&/b&。如果&b&不加余弦窗&/b&，那么移位样本是长这样的：&/p&&img src=&/v2-fbcd68a286_b.png& data-rawwidth=&1209& data-rawheight=&573& class=&origin_image zh-lightbox-thumb& width=&1209& data-original=&/v2-fbcd68a286_r.png&&&p&除了那个最原始样本，其他样本都是“合成”的，100*100的图像块，只有1/10000的样本是真实的，这样的样本集根本不能拿来训练。如果&b&加了余弦窗&/b&，由于图像边缘像素值都是0，循环移位过程中只要目标保持完整那这个样本就是合理的，只有目标中心接近边缘时，目标跨越边界的那些样本是错误的，这样虽不真实但合理的样本数量增加到了大约2/3(padding= 1)，即使这样仍然有1/3(&a href=&tel:&&&/a&)的样本是不合理的，这些样本会降低分类器的判别能力。再者，&b&加余弦窗也不是“免费的”&/b&，余弦窗将图像块的边缘区域像素全部变成0，大量过滤掉分类器本来非常需要学习的背景信息，原本训练时判别器能看到的背景信息就非常有限，我们还加了个余弦窗挡住了背景，这样进一步降低了分类器的判别力(&i&是不是上帝在我前遮住了帘。。不是上帝，是余弦窗&/i&)。&/p&&p&&b&检测阶段，相关滤波对快速运动的目标检测比较乏力&/b&。相关滤波训练的图像块和检测的图像块大小必须是一样的，这就是说你训练了一个100*100的滤波器，那你也只能检测100*100的区域，如果打算通过加更大的padding来扩展检测区域，那样除了扩展了复杂度，并不会有什么好处。目标运动可能是目标自身移动，或摄像机移动，按照目标在检测区域的位置分四种情况来看：&/p&&ol&&li&如果目标在中心附近，检测准确且成功。&/li&&li&如果目标移动到了边界附近但还没有出边界，加了余弦窗以后，部分目标像素会被过滤掉，这时候就没法保证这里的响应是全局最大的，而且，这时候的检测样本和训练过程中的那些不合理样本很像，所以很可能会失败。&/li&&li&如果目标的一部分已经移出了这个区域，而我们还要加余弦窗，很可能就过滤掉了仅存的目标像素，检测失败。&/li&&li&如果整个目标已经位移出了这个区域，那肯定就检测失败了。&/li&&/ol&&p&&b&以上就是边界效应(Boundary Effets)，推荐两个主流的解决边界效应的方法，但速度比较慢，并不推荐用于实时场合&/b&。&/p&&p&&b&Martin Danelljan&/b&大牛的&b&SRDCF&/b& &a href=&///?target=http%3A//www.cvl.isy.liu.se/research/objrec/visualtracking/regvistrack/index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning Spatially Regularized Correlation Filters for Visual Tracking&i class=&icon-external&&&/i&&/a&，主要思路：既然边界效应发生在边界附近，那就忽略所有移位样本的边界部分像素，或者说边界附近滤波器系数为0：&/p&&ul&&li&Danelljan M, Hager G, Shahbaz Khan F, et al. &b&Learning spatially regularized correlation filters for visual tracking&/b& [C]// ICCV. 2015.&/li&&/ul&&img src=&/v2-c5bbc6b84b_b.png& data-rawwidth=&1321& data-rawheight=&400& class=&origin_image zh-lightbox-thumb& width=&1321& data-original=&/v2-c5bbc6b84b_r.png&&&p&SRDCF基于DCF，类SAMF多尺度，采用&b&更大的检测区域&/b&(padding = 4)，同时&b&加入空域正则化&/b&，惩罚边界区域的滤波器系数，没有闭合解，采用高斯-塞德尔方法迭代优化。&/p&&p&另一种方法是&b&Hamed Kiani&/b&提出的基于灰度特征MOSSE的&b&CFLM&/b& &a href=&///?target=http%3A///cfwlb.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Correlation Filters with Limited Boundaries&i class=&icon-external&&&/i&&/a& 和基于HOG特征的&b&BACF&/b&，主要思路是采用较大尺寸检测图像块和较小尺寸滤波器来提高真实样本的比例，或者说滤波器填充0以保持和检测图像一样大，同样没有闭合解，采用ADMM迭代优化：&/p&&ul&&li&Kiani Galoogahi H, Sim T, Lucey S. &b&Correlation filters with limited boundaries &/b&[C]// CVPR, 2015.&/li&&li&Kiani Galoogahi H,, Fagg A, Lucey S. &b&Learning Background-Aware Correlation Filters for Visual Tracking &/b&[C]// arXiv preprint arXiv:, 2017.&/li&&/ul&&img src=&/v2-8b5a1516ecc6c2bf1373a_b.png& data-rawwidth=&1157& data-rawheight=&505& class=&origin_image zh-lightbox-thumb& width=&1157& data-original=&/v2-8b5a1516ecc6c2bf1373a_r.png&&&p&其实这两个解决方案挺像的，都是用更大的检测和更新图像块，训练作用域比较小的相关滤波器，不同点是SRDCF的滤波器系数从中心到边缘平滑过渡到0，而CFLM直接用0填充滤波器边缘。&/p&&p&VOT2015相关滤波方面还有排在第二名，&b&结合深度特征&/b&的&b&DeepSRDCF&/b&，因为深度特征都非常慢，在CPU上别说高速，实时都到不了，虽然性能非常高，但这里就不推荐，先跳过。&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&&b&VOT2016竞赛&/b& &a href=&///?target=http%3A//votchallenge.net/vot2016/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VOT2016 Challenge | Home&i class=&icon-external&&&/i&&/a&，依然是VOT2015那60个序列，不过这次做了重新标注更加公平合理，今年有70位参赛选手，意料之中深度学习已经雄霸天下了，8个纯&b&CNN方法&/b&和6个&b&结合深度特征&/b&的CF方法大都名列前茅，还有一片的CF方法，最最最重要的是，良心举办方竟然公开了他们能拿到的&b&38个tracker，部分tracker代码和主页，下载地址&/b&：&a href=&///?target=http%3A//votchallenge.net/vot2016/trackers.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&VOT2016 Challenge | Trackers&i class=&icon-external&&&/i&&/a& (&i&以后妈妈再也不用担心我找不到源码了~&/i&)，注意部分是下载链接，部分是源码压缩包，部分源码是二进制文件，好不好用一试便知，方便对比和研究，需要的赶快去试试。马上来看竞赛结果(&i&这里仅列举前60个&/i&)：&/p&&img src=&/v2-26092e9decb_b.png& data-rawwidth=&862& data-rawheight=&507& class=&origin_image zh-lightbox-thumb& width=&862& data-original=&/v2-26092e9decb_r.png&&&p&标出来了前面介绍过的或比较重要的方法，结合多层深度特征的相关滤波&b&C-COT&/b&排第一名，而CNN方法&b&TCNN&/b&是VOT2016的冠军，作者和MDNet是同一人，纯颜色方法&b&DAT&/b&和&b&ASMS&/b&都在中等水平(&i&其实两种方法实测表现非常接近&/i&)，其他tracker的情况请参考论文。再来看速度，SMACF没有公开代码，&b&ASMS&/b&依然那么快，排在前10的方法中也有两个速度比较快，分别是排第5的&b&Staple&/b&，和其改进算法排第9的&b&STAPLE+&/b&，而且STAPLE+是今年的推荐实时算法。首先恭喜Luca Bertinetto大牛的&b&SiamFC&/b&和&b&Staple&/b&都表现非常不错，然后在为大牛默哀三分钟(&i&VOT2016的paper原文&/i&)：&/p&&blockquote&This was particularly obvious in case of SiamFC trackers, which runs orders higher than realtime (albeit on GPU), and Staple, which is realtime, but are incorrectly among the non-realtime trackers.&/blockquote&&p&VOT2016竟然发生了乌龙事件，&b&Staple在论文中是80FPS，怎么EFO在这里只有11&/b&？幸好公开代码有Staple和STAPLE+，有兴趣您可以去实测下，虽然我电脑不如Luca Bertinetto大牛，但Staple我也能跑60-70FPS，而更可笑的是，&b&STAPLE+比Staple慢了大约7-8倍&/b&，竟然EFO高出4倍，到底怎么回事呢？&/p&&p&首先&b&看Staple的代码&/b&，如果您直接下载Staple并设置params.visualization = 1来跑，Staple调用Computer Vision System Toolbox来显示序列图像，而恰好如果您没有这个工具箱，默认每帧都会用imshow(im)来显示图像所以非常非常慢，而设置&b&params.visualization = 0&/b&就跑的飞快(&i&作者你是孙猴子派来的逗逼吗&/i&)，建议您将显示图像部分代码替换成DSST中对应部分代码就可以正常跑和显示了。&/p&&p&再来&b&看STAPLE+的代码&/b&，改进包括额外从颜色概率图中提取HOG特征，特征增加到&b&56通道&/b&(Staple是28通道)，平移检测额外加入了&b&大位移光流运动估计&/b&的响应，所以才会这么慢，而且肯定会这么慢。&/p&&p&所以很大可能是&b&VOT举办方把Staple和STAPLE+的EFO弄反了&/b&，&b&VOT2016的实时推荐算法应该是排第5的Staple，相关滤波结合颜色方法，没有深度特征更没有CNN，跑80FPS还能排在第五&/b&，这就是接下来主要介绍的，2016年最NIUBILITY的目标跟踪算法之一Staple (&i&让排在后面的一众深度学习算法汗颜，怀疑人生&/i&)。&/p&&p&&b&颜色特征&/b&，在目标跟踪中颜色是个非常重要的特征，不管多少个人在一起，只要目标穿不用颜色的一幅就非常明显。前面介绍过2014年CVPR的CN是相关滤波框架下的模板颜色方法，这里隆重介绍&b&统计颜色特征方法DAT&/b& &a href=&///?target=http%3A//lrs.icg.tugraz.at/members/possegger%23dat& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Learning, Recognition, and Surveillance @ ICG&i class=&icon-external&&&/i&&/a& ，帧率15FPS：&/p&&ul&&li&Possegger H, Mauthner T, Bischof H. &b&In defense of color-based model-free tracking&/b& [C]// CVPR, 2015. &/li&&/ul&&p&如果要用一句话介绍&b&Luca Bertinetto&/b&大牛(&i&牛津大学&/i&)的&b&Staple&/b& &a href=&///?target=http%3A//www.robots.ox.ac.uk/%7Eluca/staple.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Staple tracker&i class=&icon-external&&&/i&&/a&，那就是把模板特征方法DSST(基于DCF)和统计特征方法DAT结合： &/p&&ul&&li&Bertinetto L, Valmadre J, Golodetz S, et al. &b&Staple: Complementary Learners for Real-Time Tracking&/b& [C]// CVPR, 2016.&/li&&/ul&&p&前面分析了相关滤波模板类特征(HOG)对快速变形和快速运动效果不好，但对运动模糊光照变化等情况比较好；而颜色统计特征(颜色直方图)对变形不敏感，而且不属于相关滤波框架没有边界效应，快速运动当然也是没问题的，但对光照变化和背景相似颜色不好。综上，这两类方法可以互补，也就是说DSST和DAT可以互补结合：&/p&&img src=&/v2-e662af9c37c8fe_b.png& data-rawwidth=&748& data-rawheight=&334& class=&origin_image zh-lightbox-thumb& width=&748& data-original=&/v2-e662af9c37c8fe_r.png&&&p&两个框架的算法高效无缝结合，25FPS的DSST和15FPS的DAT，而结合后速度竟然达到了80FPS。DSST框架把跟踪划分为两个问题，即平移检测和尺度检测，DAT就加在平移检测部分，相关滤波有一个响应图，像素级前景概率也有一个响应图，两个响应图&b&线性加权&/b&得到最终响应图，其他部分与DSST类似，平移滤波器、尺度滤波器和颜色概率模型都以固定学习率线性加权更新。&/p&&p&另一种相关滤波结合颜色概率的方法是&b&CSR-DCF&/b&，提出了空域可靠性和通道可靠性，&b&13FPS&/b&性能直逼C-COT:&/p&&ul&&li&Luke?i? A, Vojí? T, ?ehovin L, et al. &b&Discriminative Correlation Filter with Channel and Spatial Reliability&/b& [C]// CVPR, 2017.&/li&&/ul&&p&CSR-DCF中的空域可靠性得到的二值掩膜就类似于&b&CFLM中的掩膜矩阵P&/b&，在这里自适应选择更容易跟踪的目标区域且减小边界效应；以往多通道特征都是直接求和，而CSR-DCF中&b&通道采用加权求和&/b&，而通道可靠性就是那个自适应加权系数。采用&b&ADMM&/b&迭代优化。&/p&&img src=&/v2-3a4be80f75f3e490d69b3_b.png& data-rawwidth=&473& data-rawheight=&410& class=&origin_image zh-lightbox-thumb& width=&473& data-original=&/v2-3a4be80f75f3e490d69b3_r.png&&&p&相关滤波还有第一名的&b&C-COT&/b&，和DeepSRDCF一样先跳过。&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&以前提到的很多CF算法，也包括VOT竞赛，都是针对&b&short-term&/b&的跟踪问题，即短期跟踪，我们只关注短期内(如100~500帧)跟踪是否准确。但在实际应用场合，我们希望正确跟踪时间长一点，如几分钟或十几分钟，这就是长期跟踪问题。&/p&&p&&b&Long-term&/b&就是希望tracker能长期正确跟踪，我们分析了前面介绍的方法不适合这种应用场合，必须是short-term tracker + detecter配合才能实现正确的长期跟踪。&/p&&blockquote&用一句话介绍Long-term，就是给普通tracker配一个detecter，在发现跟踪出错的时候调用自带detecter重新检测并矫正tracker。 &/blockquote&&p&接下来介绍CF方向一篇比较有代表性的long-term方法，马超大神的&b&LCT&/b& &a href=&///?target=https%3A///chaoma99/lct-tracker& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&chaoma99/lct-tracker&i class=&icon-external&&&/i&&/a&： &/p&&ul&&li&Ma C, Yang X, Zhang C, et al. &b&Long-term correlation tracking&/b&[C]// CVPR, 2015. &/li&&/ul&&p&LCT在DSST一个平移相关滤波Rc和一个尺度相关滤波的基础上，又加入第三个&b&负责检测目标置信度的相关滤波Rt&/b&，检测模块Online Detector是&b&TLD中所用的随机蔟分类器&/b&(random fern)，在代码中改为SVM。第三个相关滤波类似MOSSE不加padding，而且特征也不加cosine窗，放在平移检测之后。 &/p&&img src=&/v2-20b5ac0d34f80afa5df7652a2dda6b55_b.png& data-rawwidth=&600& data-rawheight=&190& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/v2-20b5ac0d34f80afa5df7652a2dda6b55_r.png&&&p&LCT加入检测机制，对遮挡和出视野等情况理论上较好，速度27fps，实验只跑了OTB-2013，跟踪精度非常高，根据其他论文LCT在OTB-2015和 VOT上效果略差一点可能是两个核心阈值没有自适应， 关于long-term，TLD和LCT的思想都值得参考 。&/p&&p&接下来介绍&b&跟踪置信度&/b&。 跟踪算法需要能反映每一次跟踪结果的可靠程度，这一点非常重要，不然就可能造成跟丢了还不知道的情况。
有两种指标可以反映相关滤波类方法的跟踪置信度：前面见过的&b&最大响应值&/b&，和没见过的&b&响应模式&/b&，或者综合反映这两点的指标。 &/p&&p&&b&LMCF&/b&(MM Wang的目标跟踪专栏：&a href=&/visual-tracking& class=&internal&&目标跟踪算法 - 知乎专栏&/a& )提出了多峰检测和高置信度更新：&/p&&ul&&li&Wang M, Liu Y, Huang Z. &b&Large Margin Object Tracking with Circulant Feature Maps&/b& [C]// CVPR, 2017. &/li&&/ul&&img src=&/v2-6da4d2c2f_b.png& data-rawwidth=&958& data-rawheight=&632& class=&origin_image zh-lightbox-thumb& width=&958& data-original=&/v2-6da4d2c2f_r.png&&&p&高置信度更新&b&，&/b&只有在跟踪置信度比较高的时候才更新跟踪模型，避免目标模型被污染，同时提升速度。
第一个置信度指标是最大响应分数Fmax，就是最大响应值(Staple和LCT中都有提到)。 第二个置信度指标是平均峰值相关能量(average peak-to correlation energy, &b&APCE&/b&)，反应响应图的波动程度和检测目标的置信水平，这个(可能)是目前最好的指标，推荐：&/p&&img src=&/v2-be2a8f0d6aea77db40cdbd232d6ccd06_b.png& data-rawwidth=&513& data-rawheight=&144& class=&origin_image zh-lightbox-thumb& width=&513& data-original=&/v2-be2a8f0d6aea77db40cdbd232d6ccd06_r.png&&&p&跟踪置信度指标还有，&b&MOSSE&/b&中的峰值旁瓣比(Peak to Sidelobe Ratio, &b&PSR&/b&)， 由相关滤波峰值，与11*11峰值窗口以外旁瓣的均值与标准差计算得到，推荐：&/p&&img src=&/v2-446d0c1df38e25da40ee0f_b.png& data-rawwidth=&179& data-rawheight=&68& class=&content_image& width=&179&&&p&跟踪置信度指标还有，在&b&CSR-DCF&/b&的空域可靠性中，也用了两个类似指标反映通道可靠性， 第一个指标也是每个通道的最大响应峰值，就是Fmax，第二个指标是响应图中第二和第一主模式之间的比率，反映每个通道响应中主模式的表现力，但需要先做极大值检测： &/p&&img src=&/v2-7fbcbdfafb529_b.png& data-rawwidth=&545& data-rawheight=&59& class=&origin_image zh-lightbox-thumb& width=&545& data-original=&/v2-7fbcbdfafb529_r.png&&&p&以上就是目前相关滤波方法中提到的比较好的跟踪置信度指标。&/p&&p&/*************************************我是分割线**********************************************/&/p&&p&最后这部分是&b&Martin Danelljan&/b&的专场，主要介绍他的一些列工作，尤其是结合深度特征的相关滤波方法，代码都在他主页&a href=&///?target=http%3A//www.cvl.isy.liu.se/research/objrec/visualtracking/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Visual Tracking&i class=&icon-external&&&/i&&/a&，就不一一贴出了。&/p&&ul&&li&Danelljan M, Shahbaz Khan F, Felsberg M, et al. &b&Adaptive color attributes for real-time visual tracking&/b& [C]// CVPR, 2014.&/li&&/ul&&p&在&b&CN&/b&中提出了非常重要的多通道颜色特征Color Names，用于CSK框架取得非常好得效果，还提出了加速算法&b&CN2&/b&，通过类PCA的自适应降维方法，对特征通道数量降维(10 -& 2)，平滑项增加跨越不同特征子空间时的代价，也就是PCA中的协方差矩阵线性更新防止降维矩阵变化太大。&/p&&ul&&li&Danelljan M, Hager G, Khan F S, et al. &b&Discriminative Scale Space Tracking &/b&[J]. IEEE TPAMI, 2017.&/li&&/ul&&p&&b&DSST&/b&是VOT2014的第一名，开创了平移滤波+尺度滤波的方式。在&b&fDSST&/b&中对DSST进行加速，PCA方法将平移滤波HOG特征的通道降维(31 -& 18)，QR方法将尺度滤波器~1000*17的特征降维到17*17，最后用三角插值(频域插值)将尺度数量从17插值到33以获得更精确的尺度定位。&/p&&p&&b&SRDCF&/b&是VOT2015的第四名，为了减轻边界效应扩大检测区域，优化目标增加了空间约束项，用高斯-塞德尔方法迭代优化，并用牛顿法迭代优化平移检测的子网格精确目标定位。&/p&&ul&&li&Danelljan M, Hager G, Shahbaz Khan F, et al. &b&Adaptive decontamination of the training set: A unified formulation for discriminative visual tracking&/b& [C]// CVPR, 2016. &/li&&/ul&&img src=&/v2-cf6ffce23f2da678e971b1_b.png& data-rawwidth=&826& data-rawheight=&228& class=&origin_image zh-lightbox-thumb& width=&826& data-original=&/v2-cf6ffce23f2da678e971b1_r.png&&&p&&b&SRDCFdecon&/b&在SRDCF的基础上，改进了样本和学习率问题。以前的相关滤波都是固定学习率线性加权更新模型，虽然这样比较简单不用保存以前样本，但在定位不准确、遮挡、背景扰动等情况会污染模型导致漂移。SRDCFdecon选择保存以往样本(图像块包括正，负样本)，在优化目标函数中添加样本权重参数和正则项，采用交替凸搜索，首先固定样本权重，高斯-塞德尔方法迭代优化模型参数，然后固定模型参数，凸二次规划方法优化样本权重。&/p&&ul&&li&Danelljan M, Hager G, Shahbaz Khan F, et al. &b&Convolutional features for correlation filter based visual tracking&/b& [C]// ICCVW, 2015. &/li&&/ul&&p&&b&DeepSRDCF&/b&是VOT2015的第二名，将SRDCF中的HOG特征替换为CNN中单层卷积层的深度特征(也就是卷积网络的激活值)，效果有了极大提升。这里用&b&imagenet-vgg-2048 network&/b&，VGG网络的迁移能力比较强，而且MatConvNet就是VGG组的，MATLAB调用非常方便。论文还测试了不同卷积层在目标跟踪任务中的表现：&/p&&img src=&/v2-15eaa1e7a50c7ad671fb84a42c7bfc20_b.png& data-rawwidth=&447& data-rawheight=&218& class=&origin_image zh-lightbox-thumb& width=&447& data-original=&/v2-15eaa1e7a50c7ad671fb84a42c7bfc20_r.png&&&p&第1层表现最好，第2和第5次之。由于卷积层数越高语义信息越多，但纹理细节越少，从1到4层越来越差的原因之一就是特征图的分辨率越来越低，但第5层反而很高，是因为包括完整的语义信息，判别力比较强(本来就是用来做识别的)。&/p&&img src=&/v2-926b5cc8b7c2951abc9ae04ff021a4b7_b.png& data-rawwidth=&482& data-rawheight=&89& class=&origin_image zh-lightbox-thumb& width=&482& data-original=&/v2-926b5cc8b7c2951abc9ae04ff021a4b7_r.png&&&p&注意区分这里的深度特征和基于深度学习的方法，深度特征来自ImageNet上预训练的图像分类网络，没有fine-turn这一过程，不存在过拟合的问题。而基于深度学习的方法大多需要在跟踪序列上end-to-end训练或fine-turn，如果样本数量和多样性有限就很可能过拟合。&/p&&ul&&li&Ma C, Huang J B, Yang X, et al. &b&Hierarchical convolutional features for visual tracking&/b& [C]// ICCV, 2015. &/li&&/ul&&img src=&/v2-2a92edb85f02fb35de56e0fc327d7da1_b.png& data-rawwidth=&460& data-rawheight=&267& class=&origin_image zh-lightbox-thumb& width=&460& data-original=&/v2-2a92edb85f02fb35de56e0fc327d7da1_r.png&&&p&值得一提的还有马超大神的&b&HCF&/b&，结合多层卷积特征提升效果，用了VGG19的Conv5-4, Conv4-4和Conv3-4的激活值作为特征，所有特征都缩放到图像块分辨率，虽然按照论文应该是由粗到细确定目标，但代码中比较直接，三种卷积层的响应以固定权值1, 0.5, 0.02线性加权作为最终响应。虽然用了多层卷积特征，但没有关注边界效应而且线性加权的方式过于简单，HCF在VOT2016仅排在28名（单层卷积深度特征的DeepSRDCF是第13名）。&/p&&ul&&li&Danelljan M, Robinson A, Khan F S, et al. &b&Beyond correlation filters: Learning continuous convolution operators for visual tracking&/b& [C]// ECCV, 2016.&/li&&/ul&&img src=&/v2-68b84b96bafad5d40c93_b.png& data-rawwidth=&657& data-rawheight=&419& class=&origin_image zh-lightbox-thumb& width=&657& data-original=&/v2-68b84b96bafad5d40c93_r.png&&&p&&b&C-COT&/b&是VOT2016的第一名，综合了SRDCF的空域正则化和SRDCFdecon的自适应样本权重，还将DeepSRDCF的单层卷积的深度特征扩展为多成卷积的深度特征（VGG第1和5层），为了应对不同卷积层分辨率不同的问题，提出了连续空间域插值转换操作，在训练之前通过频域隐式插值将特征图插值到连续空域，方便集成多分辨率特征图，并且保持定位的高精度。目标函数通过共轭梯度下降方法迭代优化，比高斯-塞德尔方法要快，自适应样本权值直接采用先验权值，没有交替凸优化过程，检测中用牛顿法迭代优化目标位置。&/p&&p&注意以上SRDCF, SRDCFdecon，DeepSRDCF，C-COT都无法实时，这一系列工作虽然效果越来越好，但也越来越复杂，在相关滤波越来越慢失去速度优势的时候，Martin Danelljan在2017CVPR的&b&ECO&/b&来了一脚急刹车，大神来告诉我们什么叫又好又快，不忘初心：&/p&&ul&&li&Danelljan M, Bhat G, Khan F S, et al. &b&ECO: Efficient Convolution Operators for Tracking&/b& [C]// CVPR, 2017.&/li&&/ul&&p&ECO是C-COT的加速版，从模型大小、样本集大小和更新策略三个方便加速，速度比C-COT提升了20倍，加量还减价，EAO提升了13.3%，最最最厉害的是， hand-crafted features的ECO-HC有60FPS。。吹完了，来看看具体做法。&/p&&p&第一减少模型参数，定义了&b&factorized convolution operator&/b&(分解卷积操作)，效果类似PCA，用PCA初始化，然后仅在第一帧优化这个降维矩阵，以后帧都直接用，简单来说就是有监督降维，深度特征时模型参数减少了80%。&/p&&img src=&/v2-092e56fe4b646ffd04d4b_b.png& data-rawwidth=&994& data-rawheight=&270& class=&origin_image zh-lightbox-thumb& width=&994& data-original=&/v2-092e56fe4b646ffd04d4b_r.png&&&p&第二减少样本数量， &b&compact generative model&/b&(紧凑的样本集生成模型)，采用Gaussian Mixture Model (GMM)合并相似样本，建立更具代表性和多样性的样本集，需要保存和优化的样本集数量降到C-COT的1/8。&/p&&img src=&/v2-99becf6d45c_b.png& data-rawwidth=&644& data-rawheight=&338& class=&origin_image zh-lightbox-thumb& width=&644& data-original=&/v2-99becf6d45c_r.png&&&p&第三改变更新策略，&b&sparser updating scheme&/b&(稀疏更新策略)，每隔5帧做一次优化更新模型参数，不但提高了算法速度，而且提高了对突变，遮挡等情况的稳定性。但样本集是每帧都更新的，稀疏更新并不会错过间隔期的样本变化信息。&/p&&p&ECO的成功当然还有很多细节，而且有些我也看的不是很懂，总之很厉害就是了。。ECO实验跑了四个库(VOT2016, UAV123, OTB-2015, and TempleColor)都是第一，而且没有过拟合的问题，仅性能来说ECO是目前最好的相关滤波算法，也有可能是最好的目标跟踪算法。hand-crafted features版本的ECO-HC，降维部分原来&b&HOG+CN的42维特征降到13维&/b&，其他部分类似，实验结果虽然没给ECO-HC在VOT2016的结果(&i&有跑过的告知以下。。陆然小妹妹说跑完给我结果但一直也没给我&/i&)，但其他三个都很高，而且论文给出速度是60FPS。&/p&&p&最后是来自Luca Bertinetto的&b&CFNet&/b& &a href=&///?target=http%3A//www.robots.ox.ac.uk/%7Eluca/cfnet.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&End-to-end representation learning for Correlation Filter based tracking&i class=&icon-external&&&/i&&/a&，除了上面介绍的相关滤波结合深度特征，相关滤波也可以end-to-end方式在CNN中训练了：&/p&&ul&&li&Valmadre J, Bertinetto L, Henriques J F, et al. &b&End-to-end representation learning for Correlation Filter based tracking&/b& [C]// CVPR, 2017. &/li&&/ul&&img src=&/v2-7bb1fdadc728fe589722_b.png& data-rawwidth=&864& data-rawheight=&350& class=&origin_image zh-lightbox-thumb& width=&864& data-original=&/v2-7bb1fdadc728fe589722_r.png&&&p&在SiamFC的基础上，将相关滤波也作为CNN中的一层，最重要的是cf层的前向传播和反向传播公式推导，两层卷积层的CFNet在GPU上是75FPS，综合表现并没有很多惊艳，可能是难以处理CF层的边界效应吧，持观望态度。&/p&&p&/*************************************我是分割线*********************************************/&/p&&p&目前相关滤波方向贡献最多的是以下两个组(&i&有创新有代码&/i&)：&/p&&p&牛津大学：&b&Joao F. Henriques&/b&和&b&Luca Bertinetto&/b&，代表：CSK, KCF/DCF, Staple, CFNet (其他SiamFC, Learnet).&/p&&p&林雪平大学：&b&Martin Danelljan&/b&，代表：CN, DSST, SRDCF, DeepSRDCF, SRDCFdecon, C-COT, ECO.&/p&&p&国内也有很多高校的优秀工作就不一一列举了，大家多多关注和支持几位老师和博士们的工作吧，反正有代码的好论文是我来者不拒的，嘿嘿~&/p&&br&&p&最后一次更新于，近期不会再更新这个回答了。&/p&&p&欢迎大家关注我的目标跟踪专栏：&a href=&/DCF-tracking& class=&internal&&目标跟踪之NIUBILITY的相关滤波 - 知乎专栏&/a&&/p&
相信很多来到这里的人和我第一次到这里一样，都是想找一种比较好的目标跟踪算法，或者想对目标跟踪这个领域有比较深入的了解，虽然这个问题是经典目标跟踪算法，但事实上，可能我们并不需要那些曾经辉煌但已被拍在沙滩上的tracker(目标跟踪算法)，而是那些…
&p&Update:&/p&&p&计算机视觉顶会之一的&a href=&/?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR2017&i class=&icon-external&&&/i&&/a&将于7月21日至7月26日在夏威夷举行。下面为目前关于CVPR2017的论文解读的文章总结。欢迎大家收藏并推荐~（小助手微信：Extreme-Vision）&/p&&p&&br&&/p&&p&所有文章都已经出来，点击这里查看CVPR2017论文&/p&&p&&a href=&/?target=http%3A///CVPR2017.py& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/C&/span&&span class=&invisible&&VPR2017.py&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&&br&&/p&&p&分类论文title（暂时未全部有pdf链接）&/p&&p&&a href=&/?target=http%3A///cvpr2017.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR 2017 papers on the web&i class=&icon-external&&&/i&&/a&&/p&&p&&br&&/p&&h2&1.&a href=&/p/& class=&internal&&【简评】[CVPR2017]Loss Max-Pooling for Semantic Image Segmentation&/a&&/h2&&p&论文主要解决的是semantic segmentation中imbalanced training data distributions问题。在semantic segmentation数据集包括现实世界中存在明显的长尾分布的问题，即大多数的数据组成了小部分的类别，因此会导致学习器更偏向于这些类别。&/p&&p&&br&&/p&&h2&2.&a href=&/?target=http%3A//cvmart.net/community/article/detail/60& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR 2017论文笔记— Dilated Residual Networks&i class=&icon-external&&&/i&&/a&&/h2&&p&这篇论文是作者将何恺明(Kaiming He)博士残差网络Deep Residual Networks与其之前研究的Dilated Convolution相结合的结果。&/p&&p&&br&&/p&&h2&3.&a href=&/?target=http%3A//cvmart.net/community/article/detail/61& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR2017论文：使用VTransE网络进行视觉关系检测&i class=&icon-external&&&/i&&/a&&/h2&&p&知识表示学习的思想（TransE）已经被成功应用于视觉关系提取（Visual Relation Extraction），提交 CVPR 2017 的新论文《Visual Translation Embedding Network for Visual Relation Detection》提出的 VTransE 方法是在这方面所迈出的重要一步。清华大学计算机系助理研究员刘知远对此评论说：「视觉关系和语义关系既有重叠又有互补，未来会有很多有趣的问题值得探索。」&/p&&p&&br&&/p&&h2&4.&a href=&/p/& class=&internal&&CVPR2017：深度纹理编码网络 (Deep TEN: Texture Encoding Network)&/a&&/h2&&p&文中论文提出了一个新的深度学习模型，这个模型推广了传统的字典学习 (dictionary learning) 和残差编码 (Residual Encoders)。&/p&&p&&br&&/p&&h2&5.&a href=&/p/& class=&internal&&CVPR 2017论文：基于网格的运动统计，用于快速、超鲁棒的特征匹配（附大神解读）&/a&&/h2&&p&论文GMS的方法实际上是消除错误匹配的一种方案，比如可以替换ransac。算法执行的大致流程是：先执行任意一种特征点的检测和特征点的描述子计算，论文中采用的是ORB特征。然后执行暴力匹配BF，最后执行GMS以消除错误匹配。&/p&&p&&br&&/p&&h2&6.&a href=&/p/& class=&internal&&CVPR 2017 目标跟踪相关论文&/a&&/h2&&p&文中包括main conference中单目标跟踪相关的论文，总共11篇，相关滤波7篇，其中1篇是oral，3篇用到卷积特征，相关滤波占了64%，(非卷积特征的)CNN相关4篇，可以看出目标跟踪现在最火的是相关滤波和深度学习。&/p&&p&&br&&/p&&h2&7.&a href=&/?target=http%3A//mp./s/RctssN9I3etY7MNQL7e2qA& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&论文笔记——CVPR 2017 Annotating Object Instances with a Polygon-RNN&i class=&icon-external&&&/i&&/a&&/h2&&p&文章作者基于深度学习提出一种半自动目标事例标注（semi-automatic annotation of object instances）的算法。&/p&&p&&br&&/p&&h2&8.&a href=&/p/& class=&internal&&CVPR 2017:Large Margin Object Tracking with Circulant Feature Maps&/a&&/h2&&p&文章作者基于深度学习提出一种半自动目标事例标注（semi-automatic annotation of object instances）的算法。&/p&&p&&br&&/p&&h2&9.&a href=&/p/& class=&internal&&目标跟踪算法：ECO:（Efficient Convolution Operators for Tracking）&/a&&/h2&&p&Martin Danelljan的又一新作。继C-COT之后又一刷新纪录的作品。不管是从结果还是速度上都有提升，尤其是速度提升明显。用传统特征HOG+CN的版本速度有60+FPS，用CNN+HOG+CN的速度有8FPS。&/p&&h2&10.&a href=&/question/& class=&internal&&CVPR 2017 值得关注的亮点（知乎问答）&/a&&/h2&&p&各位大神在目标检测，目标跟踪，GAN等领域都提出了自己的看法，可以看看.&/p&&p&&br&&/p&&h2&11.&a href=&/?target=https%3A///news/bcrZU4G0RjHVKJ.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&李飞飞协同斯坦福、CMU带来全新成果：从网络嘈杂的视频中进行学习&i class=&icon-external&&&/i&&/a&&/h2&&p&这项研究是李飞飞团队在今年CVPR上的一项最新工作，该方法提出了一种模型用于自动标注网络中巨量的嘈杂视频。&/p&&p&&br&&/p&&h2&12.&a href=&/?target=http%3A//blog.csdn.net/zhangjunhit/article/details/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&对抗学习用于目标检测--A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection&i class=&icon-external&&&/i&&/a&&/h2&&p&本文将对抗学习引入到目标检测问题中，通过对抗网络生成一下遮挡和变形的训练样本来训练检测网络，从而使得网络能够对遮挡和变形问题更加的 robust.&/p&&p&&br&&/p&&h2&13.&a href=&/?target=http%3A//blog.csdn.net/zhangjunhit/article/details/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&行人姿态估计--Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields&i class=&icon-external&&&/i&&/a&&/h2&&p&多人姿态实时估计，这里主要亮点还是 多人实时+效果。&/p&&p&&br&&/p&&h2&14&a href=&/?target=http%3A//blog.csdn.net/zhangjunhit/article/category/6801399& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR2017论文解读博客&i class=&icon-external&&&/i&&/a&&/h2&&p&博主解读了多篇CVPR2017论文，可以一读&/p&&p&&br&&/p&&p&&b&15&a href=&/?target=http%3A///event/cvpr2017& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&微软亚洲研究院创研论坛 CVPR 2017 论文分享会&i class=&icon-external&&&/i&&/a&&/b&&/p&&p&微软亚研院创研举办的关于CVPR2017的论文分享会，共有22篇论文10到15分钟的解读，涉及跟踪，检测，人脸再识别等多个计算机视觉主题。可以回看视频。&/p&&p&&br&&/p&&h2&16VALSE CVPR 2017专场&/h2&&p&VALSE举办的三场关于cvpr217论文解读的线上分享，有大牛出现。&/p&&p&视频链接: &a href=&/?target=http%3A///s/1o8MAWL8& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/s/1o8MAWL&/span&&span class=&invisible&&8&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a& 密码: x6i6（视频转自valse官方）&/p&&p&&br&&/p&&h2&17&a href=&/?target=https%3A///news/D5qSICrej6xIdzJ.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR 2017获奖论文&i class=&icon-external&&&/i&&/a&&/h2&&p&本届 CVPR 共有两篇最佳论文、两篇最佳论文提名、一篇最佳学生论文。苹果去年 12 月发表的对抗网络 SimGAN 研究，是两篇最佳论文之一。&/p&&p&&br&&/p&&h2&18&a href=&/?target=http%3A//cvmart.net/community/article/detail/93& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR 2017最佳论文解读：密集连接卷积网络&i class=&icon-external&&&/i&&/a&&/h2&&p&CVPR 2017获奖论文公布，其中一篇最佳论文为康奈尔大学、清华大学、Facebook FAIR 实验室合著的《Densely Connected Convolutional Networks》。在这篇文章中，Momenta 高级研发工程师胡杰对这篇文章进行了解读。此文为该系列专栏的第三篇。&/p&&h2&19 &a href=&/?target=http%3A//mp./s/x0r-2J_YdYgIQlRDqvGofg& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CVPR 2017论文解读：用于单目图像车辆3D检测的多任务网络&i class=&icon-external&&&/i&&/a&&/h2&&p&车辆检测是一个经典的基于图像的目标检测问题，也是智能驾驶感知过程的核心问题之一。这篇文章主要处理单目图像中的车辆检测问题。&/p&&p&&br&&/p&&h2&&a href=&/?target=https%3A//mp./s/TelGG-uVQyxwQjiDGE1pqA& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&20CVPR 2017论文解读：特征金字塔网络&i class=&icon-external&&&/i&&/a&&/h2&&p&这里介绍的文章是来自 Facebook 的特征金字塔网络 Feature Pyramid Networks(FPN)。FPN 主要解决的是物体检测中的多尺度问题，通过简单的网络连接改变，在基本不增加原有模型计算量情况下，大幅}