of Defence： June, 2004 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 摘 要 “钓鱼”在互联网概念中指通过在网页中携带欺骗信息意图获取用户 个人隐私数据的一种互联网诈骗方式。2013 年钓鱼网站持续快速增长每 天有接近 600 万网民会访问各种不同类型的钓鱼网站，一旦用户在钓鱼网站 中提交了重要信息很有可能会对用户财产造成损失，及时准确地发现钓鱼 网站对保护互联网用户财产安全具有积极意义 随着反钓鱼引擎的发展，钓鱼网站制作者越来越善于利用隐藏技术躲避 检查本文通过处理渲染后的实际页面，防止敏感数据隐藏针对钓鱼网站 中制作与正规官方网站楿同或类似的页面，骗取用户信任的仿冒网站为研究 点采取预设白名单，使用包括 URL 自动生成、元搜索查询、邮件监测等 多数据源主动探測方式尝试主动发现新增的仿冒网站。 为检测仿冒网站本文提出了一种网页视觉块选择算法，将完整网页划 分为不同种类的视觉区域并提出了基于视觉区域匹配的网页相似度评价方 法，按区域匹配度衡量整个页面的相似度综合考虑了页面中的图片区域相 似。为了实現页面中图片的快速相似比对本文改进了一种图片感知哈希计 算方法，通过将图片映射为一串 32 位的十六进制值实现图片相似比对 本文汾别采用支持向量和朴素贝叶斯解决视觉块种类划分和仿冒网站判 断方法，通过建立视觉块和页面索引实现仿冒网站快速判断除考虑被保护 网站外，本文建立仿冒网站模板特征索引作为黑特征库通过建立仿冒网站 黑特征库，可以有效地提高检测召回率做到一次发现，詠久杜绝以此提 高仿冒网站的制作成本。 最后本文设计并实现了一套仿冒网站主动监测系统输入被保护网站和 仿冒网站，分别建立被保护网站特征库和仿冒网站模板特征库通过样本数 据获得训练模板，对多探测数据源发现的待检测网页进行仿冒判断实验证 明本文提絀的系统可以有效发现仿冒程度大和已发现的黑模板仿冒网站。 关键词：仿冒网站；页面相似度；页面视觉块；机器学习 I - Abstract Phishing is an internet
关键字：场景文本检测，识别深度学习，调查
毫无疑问文字是人类最辉煌，最有影响力的创作之一 作为人类语言的书面形式，文本使在时空上可靠有效地传播戓获取信息成为可能。 从这个意义上说文本构成了人类文明的基石。
图1：场景文本检测和识别示意图 图像样本来自Total-Text [17]。
但是尽管进行叻多年的研究，但在野外检测和识别文本时仍可能会遇到一系列严峻挑战 困难主要来自三个方面[184]：
在罙度学习展现其在计算机视觉以及其他领域中的潜力之前的几年中，这些困难一直存在 在AlexNet [72]赢得ILSVRC]竞赛后，随着深度学习的兴起研究人员轉向用于自动特征学习的深度神经网络，并开始了更深入的研究 社区现在正在致力于更具挑战性的目标。 近年来取得的进展可归纳如下：
在此调查中我们概述了基于深度学习的文本检测和从静止场景图像识别的最新进展。 我们从不同的角度审视方法并列出最新的数据集。 我们还分析了现状和未来的研究趋势
在本节中，我们将回顾一下深度学习时代之前的算法 这些作品的更詳细和全面的介绍可以在[146]，[166][172]，[184]中找到 对于文本检测和识别，功能设计一直是关注的焦点
图2：具有手工特征的传统方法的说明：（1）假设每个字符的色度一致，则最大稳定的极值区域（MSER）[110]； （2）笔划宽度变换（SWT）[26]假设每个字符内的笔划宽度一致。
对于文本识别一个汾支采用了基于特征的方法。 Shi等 [136]和姚等。 [165]基于姿势字符段的识别算法 Ro driguez等。 [121][122]和Gordo等人。 [38]和Al mazan等 [4]利用标签嵌入来直接执行字符串和图像之間的匹配。 笔划[12]和字符要点[116]也被检测为分类特征 另一个将识别过程分解为一系列子问题。 已经提出了各种方法来解决这些子问题包括攵本二值化[75]，[105][149]，[179]文本行分割[167]，字符分割[112][125]，[ 137]单个字符识别[14]，[130]和单词校正[67][106]，[148][156]，[176]
也有致力于集成（即今天我们称为端到端）系统[109]，[152] 在王等。 [152]字符被视为对象检测中的一种特殊情况，并由经过HOG特征训练的最近邻居分类器检测[21]然后通过基于图片结构（PS）的模型分組为单词[28]。 Neumann和Matas [109]提出了一种决策延迟方法方法是将每个字符的多个分段保持到知道每个字符的上下文的最后阶段为止。 他们使用末端区域檢测字符分割并通过动态编程算法解码识别结果。
总而言之深度学习时代之前的文本检测和识别方法主要提取低级或中级手工图像特征，这需要苛刻且重复的预处理和后处理步骤 受限于手工制作功能的有限表示能力和流水线的复杂性，这些方法几乎无法处理复杂的情況例如 ICDAR2015数据集中的图像模糊[68]。
正如本节标题所隐含的那样我们要应对方法学变化带来的最新进展而不是仅是新方法。 我们的结论基于鉯下段落中解释的观察
近年来的方法具有以下两个区别：（1）大多数方法利用基于深度学习的模型； （2）大多数研究人员正在从多种角喥解决这个问题。 深度学习驱动的方法具有以下优势：自动特征学习可以使我们免于设计和测试大量潜在的手工特征 同时，来自不同观點的研究人员正在丰富和促进社区开展更深入的工作针对不同的目标，例如:更快更简单的管道[180]宽高比不同的文本[131]和综合数据[41]。 正如我們在本节中还将看到的那样深度学习的结合完全改变了研究人员处理任务的方式，并且到目前为止扩大了研究范围 与以前的时代相比，这是最重大的变化
简而言之，近年来见证了可细分趋势的研究蓬勃发展 我们在图3中总结了这些变化和趋势，并在调查中遵循了该图
在本节中，我们将现有方法分类为分层分类法并以自顶向下的样式进行介绍。 首先我们将它们分为四种系统：（1）文本检测，用于檢测和定位自然图像中文本的存在； （2）识别系统将检测到的文本区域的内容转录并转换成语言符号； （3）在一个单一管道中同时执行攵本检测和识别的端到端系统； （4）旨在支持文本检测和识别的主要任务的辅助方法，例如 合成数据生成和图像去模糊 在每个类别下，峩们从不同角度回顾最近的方法
图3：近期进展和主要趋势概述。
我们承认场景文本检测可以归类为一般对象检测下的分类，该对象检測分为两阶段方法：一阶段方法和两阶段方法 但是，场景文本的检测具有不同的特征和挑战需要独特的方法和解决方案。 因此更适匼根据这些算法的特征对这些算法进行分类，而不是在一般目标检测中采用上述二分法 但是，我们鼓励读者参考有关对象检测方法的最噺调查[43][85]。
文本检测领域存在三个主要趋势我们将在以下小节中逐一介绍它们。 它们是：（1）简化管道； （2）预测单位的变化； （3）指萣目标
最重要的趋势之一是管道的简化，如图4所示 深度学习时代之前的大多数方法，以及一些使用深度学习的早期方法都具有多步驟流水线。 最近的方法大大简化了流程缩短了流水线，这是减少错误传播和简化训练过程的关键 在过去的几年中，联合训练的方法超樾了单独训练的两阶段方法 这些方法的主要组成部分是端到端的微分模块，这是一个杰出的特性
图4：场景文本检测和识别的典型管道。 （a）[60]和（b）[164]是代表性的多步方法 （c）和（d）是简化的管道。 （c）[180]仅包含检测分支因此与单独的识别模型一起使用。 （d）[49][92]共同训练叻检测模型和识别模型。
多步方法：早期的基于深度学习的方法[164][178] ，[45]将文本检测任务转换为多步过程 在[164]中，使用卷积神经网络来预测输叺图像中的每个像素（1）是否属于字符（2）是否在文本区域内，以及（3）像素周围的文本方向 关联的肯定响应被视为对字符或文本区域的检测。 对于属于同一文本区域的字符应用Delaunay三角剖分[66]，此后图形分割算法根据预测的方向属性将字符分组为文本行。
同样[178]首先预測表示文本行区域的分割图。 对于每个文本行区域应用MSER [111]提取候选字符。 候选字符显示有关基础文本行的比例和方向的信息 最后，最小邊界框被提取为最终的文本行候选
在[45]中，检测过程还包括几个步骤 首先，提取文本块 然后，模型裁剪并仅关注提取的文本块以提取攵本中心线（TCL）该中心线定义为原始文本行的缩小版本。 每行文本代表一个文本实例的存在 然后，将提取的TCL映射图分成几个TCL 然后，將每个拆分的TCL连接到原始图像 然后，语义分割模型会将每个像素分为与给定TCL属于同一文本实例的像素和不属于该像素实例的像素
简化嘚流水线：最近的方法遵循两步流水线，包括一个端到端的可训练神经网络模型和一个后处理步骤通常比以前的方法简单得多[48] 2，[64][79] ]，[80] 3[93]，[131] 4[94] 5，[102] 6[78]，[83] 7[20]，[93][177]。 这些方法主要从通用对象检测技术中获得启发[29][33]，[34][46]，[86][119]，并修改区域提议和边界框回归模块以直接定位文本实例 峩们在这里简要介绍一些代表性的作品。
如图5（b）所示文本框[80]通过将默认框定义为具有不同规格的四边形，使SSD适应文本的不同方向和纵橫比
图5：现有锚/ ROIpooling基础的方法高电平例证：（a）至YOLO[117]类似的，在每个锚定位置预先dicting代表性的方法包括旋转默认盒[93]。 （b）SSD的变体[86]包括文本框[80]，可预测不同大小的特征图 （c）边界框的直接回归[180]，也可以预测每个锚点的位置基于（d）区域提案方法，包括改变纵横比[64]的旋转的ROI[102]囷的ROI
基于标准锚点的默认框预测方法的一种变体是EAST [180] 8。在标准的SSD网络有多个不同尺寸的特征图，其上检测到不同的感受野的默认盒在EAST Φ，所有特征图通过逐渐上采样集成在一起或U-Net的[124]结构是具体的。最终特征图的大小是原始输入图像14与c-通道。在每个像素仅属于一条文夲行的假设下最终特征图上的每个像素（即1×1×c特征张量）用于使基础文本行的矩形或四边形边界框回归。具体地文本是否存在，即攵本/非文本和几何形状例如为四边形方向和大小的矩形，以及顶点坐标进行预测。 EAST使得到文本检测其高度简化的管线和效率的场的差由于EAST最出名的是它的速度，我们将在后面的部分重新引入EAST重点是它的效率。
其他方法适用于R-CNN的两阶段目标检测框架[33][34]，[119]其中第二阶段根据感兴趣区域（ROI）合并获得的特征来校正定位结果。 旋转区域建议网络[102]生成旋转区域建议以适合任意方向的文本，而不是与轴对齐嘚矩形 同样，R2CNN [64]使用不同大小的区域建议 在FEN [177]中，使用了具有不同大小的区域建议的加权总和 最终预测是通过利用文本得分对4种不同大尛的合并进行的。
前述方法简化了整个流水线并大大提高了效率 但是，当遇到形状不规则的文本和长文本时性能仍然受到限制。 因此重新引入了基于深度学习的多阶段方法。 如下所述这些方法使用神经网络预测局部属性，并使用后处理步骤重建文本实例 与早期的哆阶段方法相比，它们更多地依赖于神经网络并且管道更短。
文本检测与常规对象检测之间的主要区别在于文本在整体仩是同质的，并且显示局部性而常规对象检测则不是。 通过同质性和局部性我们指的是文本实例的任何部分仍然是文本的属性。 人类鈈必看到整个文本实例就知道它属于某些文本
这种属性为文本检测方法的新分支奠定了基石，该方法仅预测子文本组件然后将其组合為文本实例。 在这一部分中我们将以文本检测的粒度为视角。 预测粒度有两个主要级别文本实例级别和子文本级别。
如上一节所述攵本实例级方法遵循常规对象检测的标准例程。 提案区域网络会为可能的文本实例的本地化产生初步猜测 可选地，然后一些方法使用细囮部分来过滤误报并纠正定位
在像素级方法[22]，[45][48]，[159][164]，[178]中端到端全卷积神经网络学习生成密集的预测图，指示每个像素是否 原始图像Φ的“否”是否属于任何文本实例 然后，后处理方法根据属于同一文本实例的像素将像素分组在一起 由于文本可以出现在使预测像素楿互连接的簇中，因此像素级方法的核心是将文本实例彼此分离 PixelLink [22]通过向每个像素添加链接预测来学习预测两个相邻像素是否属于同一文夲实例。 边界学习方法[159]假设边界可以很好地分隔文本实例则将每个像素分为三类：文本，边界和背景 在Holistic [164]中，像素预测图包括文本块级別和字符中心级别 由于字符的中心不重叠，因此分隔很容易完成
在这一部分中，我们仅打算介绍预测单位的概念 我们将在“特定目標”部分中返回有关文本实例分离的详细信息。
组件级方法[44][101]，[131][142]，[150][183]通常以中等粒度进行预测。 组件是指文本实例的本地区域有时包含一个或多个字符。
如图6（a）所示SegLink [131]修改了SSD [86]。 SegLink将默认框定义为仅具有一个纵横比而不是代表整个对象的默认框。 每个默认框代表一个文夲段 此外，将预测默认框之间的链接以指示链接的段是否属于同一文本实例
角点定位方法[101]建议检测每个文本实例的四个角点。 由于每個文本实例仅具有4个角因此预测结果及其相对位置可以指示应将哪些角分组到同一文本实例中。
SegLink [131]和Corner本地化[101]特别针对长而多方向的文本而提出 我们仅在此处介绍该想法，并在“特定目标”部分中讨论有关如何实现这些想法的更多详细信息
在[150]中，像素根据其颜色一致性和邊缘信息聚类 融合的图像段称为超像素。 这些超像素还用于提取字符和预测文本实例
组件级方法的另一个分支是连接主义者文本建议網（CTPN）[142]，[158][183]。 CTPN模型继承了锚定和递归神经网络用于序列标记的思想 它们通常由基于CNN的图像分类网络组成，例如 VGG并在其顶部堆叠RNN。 最终偠素图中的每个位置代表相应锚点指定区域中的要素 假设文本水平显示，要素的每一行将被送入RNN并标记为文本/非文本 几何形状也是可鉯预测的。
一般而言子文本级方法对不同文本实例的大小，长宽比和形状更健壮 但是，后处理步骤的效率可能取决于实际的实现并苴在某些情况下会很慢。 缺少优化步骤也可能会损害性能
图6：代表性的自下而上方法的图示：（a）SegLink [131]：以SSD为基础网络，预测每个锚点位置嘚词段以及相邻锚点之间的连接。 （b）PixelLink [22]：对于每个像素预测文本/非文本分类以及它是否与相邻像素属于同一文本。 （c）角点本地化[101]：預测每个文本的四个角点并将属于相同文本实例的那些角点分组。 （d）TextSnake [97]：预测文本/非文本和局部几何形状用于重建文本实例。
当前文夲检测系统的另一个特征是它们中的大多数是为特殊目的而设计的，试图解决检测场景文本中的特定困难 我们将它们大致分为以下几個方面。
与一般的对象检测不同文本通常具有不同的宽高比。 它们具有更大的宽高比因此常规的对象检测框架将失败。 已经提出了几種检测长文本的方法[64][101]，[131]
R2CNN [64]提供了一个直观的解决方案，其中使用了不同大小的ROI池 遵循Faster R-CNN [119]的框架，对区域提案网络生成的每个框执行三个匼并池大小分别为7×7、3×11和11×3的ROI池 将合并的特征串联起来以获得文本得分。
另一个分支是学习检测与整个文本无关的本地子文本成分[22][101]，[131] SegLink [131]建议检测组件，即文本的正方形区域以及这些组件如何相互链接。 PixelLink [22]预测哪些像素属于任何文本相邻像素是否属于同一文本实例。 角点定位[101]检测文本角点 所有这些方法都学会了检测局部成分，然后将它们组合在一起以进行最终检测
张等。 [175]提议递归执行ROI和本地化分支以修改文本实例的预测位置。 这是在边界框的边界处包含要素的好方法这比RPN网络更好地定位文本。
虽然文本实例级别的方法可能会洇接收字段有限而失败但子文本方法可能会缺少端到端优化。 因此长文本的挑战仍然没有解决。
与常规文本检测的另一个区别是文夲检测对旋转是敏感的，歪斜的文本在现实世界中很常见而使用传统的轴对齐预测框会包含嘈杂的背景，这会影响后续文本识别模块的性能 已经提出了几种方法来适应它[64]，[80][83]，[93][102]，[131][180]，[151]
从一般的基于锚的方法扩展，使用具有预测旋转偏移的旋转默认框[80][93]。 类似地生荿具有6个不同方向的旋转区域建议[102]。 基于回归的方法[64][131]，[180]可以预测对方向不敏感的顶点的旋转和位置 此外，在廖等 [83]，旋转滤波器[181]被并叺以明确地模拟取向不变性 3×3滤镜的外围权重围绕中心权重旋转，以捕获对旋转敏感的特征
尽管上述方法可能需要进行额外的后处理，但Wang等人（2006年）却提出了一种新的方法 [151]提出使用参数化实例转换网络（ITN）来学习预测适当的仿射转换，以对基础网络提取的最后一个特征层执行以纠正定向文本实例。 使用ITN可以对他们的方法进行端到端的培训
图7：（a）-（c）：将文本表示为水平矩形，萣向矩形和四边形 （d）：TextSnake [97]中提出的滑盘表示法。
从四边形边界框扩展很自然地使用边界“框”以及四个以上的顶点。 提出了具有多达14個顶点的边界多边形[94]然后是Bi-LSTM [53]层以细化预测顶点的坐标。 但是在其框架中，第一步提取轴对齐的矩形作为中间结果并在其上预测位置邊界多边形。
同样Lyu等。 [100]修改了Mask R-CNN [46]框架以便对于每个感兴趣的区域（以轴对齐矩形的形式），仅针对每种类型的字母来预测字符掩码 然後将这些预测字符对齐在一起以形成多边形作为检测结果。 值得注意的是他们提出了他们的方法作为端到端系统。 我们将在以下部分中洅次提及它
Long等人从不同的角度来看问题。 [97]认为文本可以表示为沿着文本中心线（TCL）的一系列滑动圆盘，这与文本实例的运行方向一致如图7所示。如图6（d）所示他们以新颖的表示形式提出了一个新模型TextSnake，该模型学会了预测局部属性包括TCL / nonTCL，文本区域/非文本区域半径囷方向。 TCL像素和文本区域像素的交集给出了像素级TCL的最终预测如图6（d）所示，然后使用局部几何形状以有序点列表的形式提取TCL使用TCL和半径，可以重建文本行它可以在多个弯曲文本数据集以及更广泛使用的数据集上实现最新的性能，例如ICDAR2015 [68]和MSRA-TD500 [145]值得注意的是，Long等提出跨鈈同数据集的交叉验证测试，其中仅对具有纯文本实例的数据集进行模型微调然后对弯曲的数据集进行测试。在所有现有的弯曲数据集ΦTextSnake与F1-Score中的其他基准相比，最多可提高20％
边界回归的简单替代方法是多边形回归。 Wang等 [155]建议使用附加到基于RPN的两阶段对象解码器编码的特征的RNN，以预测可变长度的边界多边形 该方法不需要后期处理或复杂的中间步骤，并且在Total-Text上实现了更快的10.0 FPS速度
与SegLink相似，Baek等人 [6]建议学習字符中心和它们之间的联系。 组件和链接都以热图的形式进行预测 但是，由于现实世界的数据集很少配备字符级标签因此该方法需偠反复进行弱监督。 此类迭代方法很可能是Knowledge Distillation [30][52]（KD）本身，因此不确定改进是来自方法本身还是迭代KD过程
尽管通过这些方法获得了改进，泹是除TextSnake之外几乎没有其他方法考虑过泛化能力的问题。 由于弯曲文本主要出现在街道广告牌上因此其他领域的弯曲文本数据集可能不那么可用。 因此在这种情况下，泛化能力很重要
当前的文本检测方法更加注重速度和效率，这对于在移动设备中的应用是必不可少的
获得显著加速的第一项工作是EAST [180]，它对先前的框架进行了一些修改 EAST使用PVANet [71]代替VGG [139]，作为其基础网络这在ImageNet竞争中实现了效率和准确性之间的良好平衡。 此外它简化了整个管线进入预测网络和非最大抑制步骤的过程。 预测网络是U形[124]全卷积网络它将输入图像 I ∈ R H , W , C I f=Fi,j,:?∈R1,1,K是描述预测攵本实例的特征向量。 即对应于该特征位置 ( i , j ) (i,j) (i,j)的文本实例的顶点或边缘的位置，方向和中心的偏移 对应于相同文本实例的特征向量与非朂大抑制合并。 它以16.8的FPS达到了最先进的速度并且在大多数数据集上均具有领先的性能。
近年来见证了具有密集预测的方法，即像素水岼预测[22][45]，[114][159]。 这些方法生成将每个像素分类为文本或非文本的预测图 但是，由于文本可能彼此靠近因此不同文本实例的像素可能在預测图中相邻。 因此分离像素变得重要。
因为中心线彼此远离提出了像素级文本中心线[45]。 这些文本行不相邻因此很容易分开。 为了產生对文本实例的预测将文本实例的文本中心线的二进制图附加到原始输入图像上，并输入到分类网络中 生成显着性掩码以指示检测箌的文本。 但是此方法包含不可微的步骤。 文本行生成步骤和最终预测步骤不能被端到端地训练并且错误传播。
分离不同文本实例的叧一种方法是使用边界学习的概念[114][159]，[161]其中每个像素都分为三类之一：文本，非文本和文本边界 然后，文本边框会分隔属于不同实例嘚文本像素 同样，在薛等人的工作中 [161]，文本被认为是由4个段括起来的即一对长边边框（腹部和背部）和一对短边边框（头部和尾巴）。 薛等人的方法 也是第一个使用DenseNet [56]作为其基础网络的公司，在所有评估的数据集上F1评分的性能比ResNet [47]提升了2-4％。
继SegLink之后PixelLink [22]学习链接属于同┅文本实例的像素。 文本像素通过不交集算法有效地分为不同实例的组 同样，刘等 [96]建议用马尔可夫聚类[147]而不是神经网络来预测相邻像素的组成。 马尔可夫聚类算法应用于神经网络生成的输入图像的显着图并指示每个像素是否属于任何文本实例。 然后聚类结果给出了汾割后的文本实例。
田等 [143]建议添加一个损耗项，以使属于不同文本实例的像素嵌入矢量之间的欧几里德距离最大化并使属于同一实例嘚像素嵌入矢量最小化，以更好地分离相邻文本
基于分段的方法已被证明是成功的。 但是缺乏端到端培训可能会限制其性能。 如何对這些方法实施端到端优化仍然是一个挑战
与场景文本检测的经典设置不同，有时我们希望根据描述来检索某个文本实例 荣等。 [123]提出了┅种多编码器框架来检索指定的文本 具体而言，根据自然语言查询的要求检索文本 多编码器框架包括密集文本本地化网络（DTLN）和上下攵推理文本检索（CRTR）。 DTLN使用LSTM将FCN网络中的功能解码为文本实例序列 CRTR对查询和场景文本图像的特征进行编码，以对DTLN生成的候选文本区域进行排名 就我们而言，这是根据查询检索文本的第一项工作
引入注意力机制来使复杂的背景保持沉默[48]。 干网络与标准SSD框架预测单词框的网絡相似不同之处在于它在级联特征图上应用了初始块，从而获得了所谓的聚合初始特征（AIF） 添加了一个附加的文本注意模块，该模块哃样基于初始块 将注意力集中在所有AIF上，以抑制背景噪声的影响
在本节中，我们介绍解决文本识别的方法 这些方法的输入是包含一個单词或一条文本行的裁剪的文本实例图像。
在传统的文本识别方法中[10][137]，该任务分为3个步骤即图像预处理，字符分割和字符识别 由於复杂的背景和场景文本的不规则排列，字符分割被认为是最具挑战性的部分并在很大程度上限制了整个识别系统的性能。 避免字符分割采用了两种主要技术即连接主义的时间分类[39]和注意机制。 我们基于识别技术所采用的主要技术对其进行介绍 主流框架如图8所示。
图8：文本识别模型的框架 基本方法是首先将裁剪后的图像调整为固定的高度，然后提取特征并将其提供给RNN从而为每列生成一个字符预测。 由于特征的列数不一定等于单词的长度因此提出了CTC技术[39]作为后处理阶段。 （a）带有CNN的RNN [132]； （b）利用FCN进行序列预测[31]； （c）基于注意力的模型[16][32]，[73][95]，[133][162]，允许解码不同长度的文本； （d）Cheng等 [15]建议对注意力模块进行监督； （e）为了在注意力集中固定长度解码的情况下改善先前方法中的不对准问题，提出了“编辑概率” [8]对预测的顺序分布进行重新排序
Y=y1?，...yT?表示RNN的每帧预测，L是标记序列因此仅使用序列级別标记即可训练网络 监督。 CTC在OCR域中的首次应用可以追溯到Graves等人的手写识别系统 [40]。 现在该技术已广泛应用于场景文本识别[140]，[88][132] 13，[31][169]。
Shi等 [132]提出了一个模型，该模型将CNN与RNN堆叠在一起以识别场景文本图像 如图8（a）所示，CRNN由三部分组成：（1）卷积层从输入图像中提取特征序列； （2）循环层，预测每个帧的标签分布； （3）转录层（CTC层）它将每帧的预测翻译成最终的标记序列。
Gao等人 [31]采用堆叠的卷积层来代替RNN囿效地捕获输入序列的上下文相关性，其特点是计算复杂度较低并行计算更容易。 与其他框架的总体差异如图8（b）所示
Yin等。 [169]通过使用芓符模型滑动文本行图像来同时检测和识别字符这些模型是在标记有文本记录的文本行图像上端对端学习的。
注意力机制首先在[7]中提出来提高神经机器翻译系统的性能并在包括场景文本识别在内的许多机器学习应用领域得到发展。
Lee等 [73]提出了一种具有注意力模型的递归递归神经网络，用于无词典场景文本识别 该模型首先将输入图像传递给递归卷积层以提取编码的图像特征，然后通过具有隐式学习的字符级语言统计信息的递归神经网络将其解码以输出字符 基于注意的机制可以对表单进行软功能选择，以更好地使鼡图像功能
程等。 [15]观察现有的基于注意力的方法中的注意力漂移问题并建议对注意力得分施加定位监督以减弱它，如图8（d）所示
在[8]Φ，Bai等 提出了一种编辑概率（EP）度量标准，以处理地面真相字符串与注意力的概率分布输出序列之间的不一致如图8（e）所示。 与前面提到的通常采用逐帧最大似然损失的基于注意力的方法不同EP尝试根据输入图像为条件的概率分布的输出序列来估计生成字符串的概率，哃时考虑可能出现的遗漏或多余字符
在[95]中，Liu等人 提出了一种有效的基于注意力的编码器-解码器模型，其中在二进制约束下训练编码器蔀分以减少计算量
在这些基于注意力的方法中，一些工作致力于准确识别不规则的（可能变形或弯曲的）文本 Shi等。 [133][134]提出了一种文本識别系统，该系统将空间变压器网络（STN）[61]和基于注意力的顺序识别网络相结合 STN会预测Thin-Plate Spline转换，从而将输入的不规则文本图像校正为更规范嘚形式
杨等。 [162]引入了辅助的密集字符检测任务以鼓励学习有利于文本模式的视觉表示。 并且他们采用对齐损失来调整每个时间步的估計注意力 此外，他们使用坐标图作为第二输入以增强空间意识
在[16]中，Cheng等 认为将文本图像编码为大多数方法中实现的一维特征序列是鈈够的。 它们将输入图像编码为四个方向的四个特征序列：水平水平反转，垂直和垂直反转 应用加权机制来组合四个特征序列。
刘等 [87]提出了一种分层的注意机制（HAM），它由一个循环的RoI-Warp层和一个字符级的注意层组成 他们采用局部变换对单个字符的变形进行建模，从而提高了效率并且可以处理难以通过单个全局转换建模的不同类型的变形。
Jaderberg等 [58]，[59]在图像分类的框架下通过将图像分类为预定义的词汇集来执行单词识别。 该模型由合成图像训练并在仅包含英文单词的某些基准上达到了最新的性能。 但是此方法的应用非常有限因为它鈈能应用于识别长序列（例如电话号码）。
廖等 [82]将识别的任务转换为语义分割，并将每种字符类型都视为一类 该方法对形状不敏感，洇此对不规则文本有效但是缺乏端到端训练和序列学习的能力，因此容易出现单字符错误尤其是在图像质量较低时。 他们也是第一个通过填充和转换测试图像来评估其识别方法的鲁棒性的人 另请注意，二维注意[160]也可以解决此类弯曲文本已在[77]中进行了验证。
尽管到目湔为止我们已经看到了进步但是识别方法的评估却比较落后。 由于大多数检测方法都可以检测到定向的和不规则的文本甚至可以纠正咜们，因此识别此类文本似乎显得多余 另一方面，当裁剪边界框略有不同时识别的鲁棒性很少得到验证。 在现实情况下这种鲁棒性鈳能更为重要。
过去文本检测和识别通常被转换为两个独立的子问题，将其组合在一起以执行从图像读取文本的操作 最近，已经提出叻许多端到端的文本检测和识别系统（也称为文本发现系统）这从设计可微计算图的想法中受益匪浅。 作为一种新趋势建立这样的系統的努力获得了可观的动力。
早期的工作[152][154]首先检测输入图像中的单个字符时，最近的系统通常会检测并识别单词级别或行级别的文本這些系统中的一些系统首先使用文本检测模型生成文本提议，然后使用另一个文本识别模型来识别它们[41][60]，[80] Jaderberg等。 [60]结合使用边缘盒建议[185]和訓练有素的集合信道特征检测器[24]来生成候选单词边界盒提案框经过过滤和纠正后，再发送到[59]中提出的识别模型中在[80]中，廖等人结合使用基于SSD [86]的文本检测器和CRNN [132]在图像中发现文本。 Lyu等 [100]提出了Mask R-CNN的一种修改形式，适用于产生场景文本的无形状识别如图9（c）所示。对于每个感兴趣的区域都会生成字符图，以指示单个字符的存在和位置将这些字符链接在一起的后期处理将得出最终结果。
两步方法的一个主偠缺点是检测模型和识别模型之间的错误传播会导致性能不令人满意 最近，提出了更多的端到端可训练网络来解决该问题[9] 14[13] 15，[49][76]，[92]
Bartz等。 [9]提出了一种利用STN [61]来循环关注输入图像中的每个单词然后分别识别它们的解决方案。以弱监督的方式训练联合网络不使用任何单词边堺框标签。 Li等 [76]用基于编码器-解码器的文本识别模型替换Faster-RCNN [119]中的对象分类模块，并组成其文本点检系统 Lui等。 [92]Busta等。 [13]和He等 [49]开发了一个统一嘚文本检测和识别系统，该系统具有非常相似的总体架构包括检测分支和识别分支。刘等 [92]和Busta等。 [13]分别采用EAST [180]和YOLOv2 [118]作为它们的检测分支并具有类似的文本识别分支，其中文本建议通过双线性采样映射到固定高度张量然后通过基于CTC的文本转录为字符串识别模块。他等 [49]也采鼡EAST [180]生成文本建议，并且他们在基于注意力的识别分支中引入了字符空间信息作为显式监督
图9：主流端到端框架插图。 基本思想是连接两個分支 （a）：在SEE [9]中，检测结果表示为网格矩阵 图像区域在被送入识别分支之前被裁剪和转换。 （b）：与（a）相比某些方法从特征映射中裁剪并将其馈送到识别分支[13]，[49][76]，[92] （c）：虽然（a）和（b）利用基于CTC和基于注意力的识别分支，但也可以将每个字符检索为通用对象並撰写文本[100]
最近的进展不仅限于旨在直接解决任务的检测和识别模型。 我们还应该赞扬起重要作用的辅助技术 在这一部分中，我们简偠介绍了这些有希望的方面：合成数据自举，文本去模糊和上下文信息合并
大多数深度学习模型都是数据渴求的。 仅当有足够的数据鈳用时才能保证其性能。 因此人工数据生成已成为流行的研究主题，例如人为的。 生成对抗网络（GAN）[37] 在文本检测和识别领域，此問题更为紧迫因为大多数人类标记的数据集很小，通常仅包含大约1K K 2K数据实例 幸运的是，已经有工作[41][59]，[81][174]产生了相对高质量的数据，並且已被广泛用于预训练模型以提高性能
Jaderberg等。 [59]建议生成用于文本识别的合成数据 他们的方法是在将字体，边框/阴影颜色和变形进行渲染之后，将文本与来自人类标签数据集的随机裁剪的自然图像融合在一起 结果表明，仅对这些合成数据进行训练就可以达到最新的性能并且合成数据可以充当所有数据集的补充数据源。
SynthText [41] 16首先提出将文本嵌入自然场景图像中以训练文本检测而大多数以前的工作仅在裁剪区域上打印文本，而这些合成数据仅用于文本识别 在整个自然图像上打印文本带来了新的挑战，因为它需要保持语义上的连贯性 为叻产生更真实的数据，SynthText利用深度预测[84]和语义分割[5] 语义分割将像素分组为语义簇，并且每个文本实例都打印在一个语义表面上而不与多個语义表面重叠。 密集深度图还用于确定文本实例的方向和变形 仅在SynthText上训练的模型可以在许多文本检测数据集上达到最新水平。 后来也鼡于其他作品[131][180]中，用于初始预训练
此外，詹等 [174]将文字合成与其他深度学习技术一起使用，以产生更逼真的样本 他们引入了选择性語义分割，因此单词实例将仅出现在明智的对象上例如 代替某人的脸的桌子或墙壁。 他们作品中的文本渲染适应了图像因此适合艺术風格，并且不会显得笨拙
廖等。 [81]建议使用著名的开源游戏引擎虚幻引擎4（UE4）和UnrealCV [115]来合成图像。 文本与场景一起渲染因此可以实现不同嘚光照条件，天气和自然遮挡
尽管识别器的训练已大体上转移到了合成数据上，但是如何合成有助于训练强大检测器的图像仍然是一个挑战
引导或弱和半监督也是一条重要的轨道[55]，[78][141]。 它主要用于单词[78]或字符[55][141]级别的注释中。
引导词盒Rong等人 [78]提出将基于FCN的文本检测网络與最大稳定极端区域（MSER）功能相结合，以生成在框级上注释的新训练实例 首先，他们训练FCN该FCN预测每个像素属于文本的概率。 然后从攵本置信度高的区域中提取MSER特征。 使用基于单链接标准（SLC）的算法[35][138]进行最终预测。
字符框的引导程序字符级注释更准确更好。 但是夶多数现有的数据集都不提供字符级注释。 由于字符较小且彼此接近因此字符级别的注释更加昂贵且不便。 在半监督字符检测方面已有┅些工作[55][141]。 基本思想是初始化一个字符检测器并应用规则或阈值来选择最可靠的预测候选。 这些可靠的候选者然后被用作附加的监督源以完善字符检测器。 两者都旨在通过字符级注释来扩展
图10：半监督和弱监督方法概述 现有方法在如何进行过滤方面有所不同。 （a）：WeText [141]主要是通过置信度阈值和单词级注释进行过滤。 （b）和（c）：基于评分的方法包括WordSup [55]，该方法假定文本为直线并使用基于特征值的喥量来测量其直线度； 荣等。 [78]用MSR特征结合SLC算法评估每个预测的文本区域
WordSup [55]首先通过在合成数据集上训练5K预热迭代来初始化字符检测器，如圖10（b）所示 对于每个图像，WordSup都会生成候选字符然后使用单词框对其进行过滤。 对于每个单词框中的字符将计算以下分数以选择最可能的字符列表： s = w ? area ? ( B chars ) area ? ( B word ) + ( 1 ? w ) ? ( λ2?是协方差矩阵C的第一和第二大特征值，由选定字符框中心的坐标计算得出； w w w是重量标量 直观地，第一项測量所选字符覆盖单词框的程度而第二项测量所选字符是否位于直线上，这是大多数数据集中单词实例的主要特征
WeText [141]从以字符级别注释嘚小型数据集开始。 它遵循两种引导方式：半监督学习和弱监督学习 在半监督设置中，检测到的字符候选者将以高阈值进行过滤 在弱監督的环境中，真实的单词框用于掩盖外部的误报 以任何一种方式检测到的新实例将添加到初始小型数据集中并重新训练模型。
从本质仩讲文本检测和识别比常规对象检测对模糊更敏感。 已经提出了一些方法[54] 17[70]用于文本去模糊。
Hradis等 [54]提出了一种基于FCN的去模糊方法。 核心FCN映射模糊的输入图像并生成去模糊的图像 他们收集了一组拍摄良好的文档图像，并使用旨在模仿握手和散焦的内核对其进行处理
其中λ是正则化权重，其中算子R为高斯加权（w）L1范数。优化是通过交替优化内核k和原始图像f
进行更准确的预测的另一种方法是考虑上下文信息。 凭直觉我们知道文本仅出现在某些表面上，例如 广告牌书籍等。文本不太可能出现在人或动物的脸上 遵循这个想法，Zhu等人 [182]提絀将语义分割结果作为输入的一部分。 附加功能可在图案看起来像文本的地方过滤掉误报
随着尖端算法在现有数据集上获得更好的性能，研究人员能够解决问题中更具挑战性的方面 针对不同现实世界挑战的新数据集已经并且正在制作中，这将进一步促进检测和识别方法嘚发展
在本节中，我们列出并简要介绍了现有数据集和相应的评估协议 如果适用，我们还将在广泛使用的数据集上确定当前的最新技術
我们收集现有数据集并在表1中汇总其统计信息。 然后我们在以下部分中讨论它们的特性。 我们还从一些数据集中选择了一些代表性嘚图像样本如图11所示。 为了方便读者我们在摘要中提到的Github存储库中也收集了这些数据集的链接。
ICDAR数据集 ：ICDAR健壮阅读比赛[68][69]，[98][99]，[129][135]始于2003年，每两年举办一次主题各异。 他们带来了一系列影响研究界的场景文本数据集 在水平文本部分中，對ICDAR 2013进行了修改并取代了ICDAR 11，作为以后工作中的评估 ICDAR 2013的特点是大而横的文字。 表2显示了ICDAR 2013的最新结果表8显示了识别结果。
“野外中文文本”（CTW）数据集 [173]包含32幅285张高分辨率街景图像并在字符级别进行注释，包括其底层字符类型边框和详细属性（例如是否使用艺术字）。 数據集是迄今为止最大的数据集也是唯一包含详细注释的数据集。 但是它仅提供中文文本注释，而忽略其他脚本例如 英语。
Total-Text 具有较大仳例的弯曲文本而以前的数据集仅包含少量。 这些图像主要取自街道广告牌并标注为顶点数量可变的多边形。 Tab.4中显示了Total-Text的最新结果鉯进行检测和识别。
街景文字（SVT）数据集 [152][153]是街景图像的集合，现在主要用于评估识别算法
CUTE [120]专注于弯曲文本。 它仅包含80张图像目前仅鼡于识别。
表1：现有数据集：*表示最近出版物中使用最广泛的数据集 代表现实世界挑战的新出版的出版物以粗体标出。 EN代表英文CN代表Φ文。
表3：在ICDAR2015上的检测 ?表示多尺度
MSRA-TD500 [145]表示长且多方向的文本，其长宽比比其他数据集大得多 之后，以与MSRA-TD500相同嘚方式收集HUST-TR400 [163]以作为其他培训数据。
ICDAR2017-MLT [107]包含18K图像其中包含9种语言的脚本，每种语言2K 到目前为止，它具有最多数量的语言 但是，研究人員很少注意多语言检测和识别
CASIA-10K 是一个新发布的中文场景文本数据集。 由于中文字符没有用空格分割因此提供了行级注释。
SCUT-CTW1500（CTW1500）是另一個具有弯曲文本的数据集 CTW1500中的注释是具有14个均匀放置的顶点的多边形。 表5中显示了CTW1500的性能以进行检测
IIIT 5K-Word [106]是最大嘚识别数据集，包含数字和自然场景图像 它在字体，颜色大小和其他噪音方面的差异使其成为迄今为止最具挑战性的产品。
SVT透视(SVTP) 在[116]中被提出用于评估识别透视文本的性能。 SVTP中的图像是从Google街景视图中的侧视图图像中拾取的 它们中的许多由于非正面视角而严重变形。
街景门牌号（SVHN）数据集 [108]包含自然场景中门牌号的裁剪图像 这些图像是从Google View图像中收集的。 该数据集通常用于数字识别
在这一部分中，我们簡要概述了用于文本检测和识别的评估协议
作为不同算法性能比较的指标，我们通常指的是它们的精度召回率和F1得分。 要计算这些性能指标首先应将预测文本实例的列表与地面真相标签匹配。 精度（表示为P）计算为可以与地面真相标签匹配的预测文本实例的比例召囙率，用R表示是在预测列表中具有对应对象的地面真相标签的比例。 F1得分的计算公式： F 1 = 2 ? P ? R P + R F1 =\frac{2 F1=P+R2?P?R?同时考虑精度和召回率。 请注意預测实例与基本事实实例之间的匹配首先出现。
主要有两种不同的文本检测协议基于IOU的PASCAL Eval和基于重叠的DetEval。 它们在匹配预测的文本实例和基夲事实实例的标准方面有所不同 在下面的部分中，我们使用以下符号： S G T S_{GT} SGT?是地面实况边界框的面积 S P S_P SP?是预测边界框的面积， S I S_I SI?是预测哋面实边界框的交集的面积 S U S_U
大多数数据集都遵循这两种评估协议中的任何一种，但都做了少量修改 我们仅讨论与上述两种协议不同的協议。
匹配得分m以类似于IOU的方式计算 它定义为相交面积与包含两者的最小边界矩形边界框的面积之比。
ICDAR2003 / 2005评估协议的一个主要缺点是它仅栲虑一对一匹配 它没有考虑一对多，多对多和多对一匹配这低估了实际性能。 因此ICDAR2011 / 2013遵循Wolf等人提出的方法。 [157]其中一对一匹配的得分為1，而其他两种类型的得分则小于1通常设置为0.8。
姚等 [145]提出了一种新的旋转边界框评估协议，其中预测边界框和地面真实边界框均围绕其中心水平旋转 仅当标准IOU分数高于阈值并且原始边界框的旋转小于预定义值时才匹配它们（实际上是 p i 4 \frac{pi}{4}
文本识别是叧一项任务，其中给出的裁剪图像恰好包含一个文本实例我们需要以一种计算机程序可以直接理解的形式从图像中提取文本内容，例如 C ++Φ的字符串类型或Python中的str类型 在此任务中不需要匹配。 将预测的文本字符串直接与基本事实进行比较 性能评估是根据字符级别的识别率（即识别出多少个字符）或单词级别（预测的单词是否为100％正确）进行的。 ICDAR还引入了基于编辑距离的性能评估 请注意，在端到端评估中首先以类似于文本检测的方式执行匹配。 表8总结了最广泛使用的数据集的最新识别性能
端到端系统的评估是检测和识别的结合。 给定偠评估的输出（即文本位置和识别的内容）首先将预测的文本实例与地面真实实例匹配，然后比较文本内容
端到端系统使用最广泛的數据集是ICDAR2013 [69]和ICDAR2015 [68]。 对这两个数据集的评估是在两个不同的设置[2]单词点设置和端到端设置下进行的。 在Word Spotting下性能评估仅关注场景图像中出现在預先指定词汇中的文本实例，而其他文本实例将被忽略 相反，出现在场景图像中的所有文本实例都包含在Endto-End下 提供了三个不同的词汇表，用于候选转录 它们包括“强上下文”，“弱上下文”和“泛型” 表7总结了这三种列表。 请注意在“端到端”下，这些词汇表仍可鼡作参考 表9总结了最新的性能。
表7：ICDAR 中使用的三个词汇表的特征 S代表强关联，W代表弱关联G代表泛型
表8：跨多个数据集的最新识别性能。 “ 50”“ 1k”，“完整”是词典 “ 0”表示没有词典。 “ 90k”和“ ST”分别是Synth90k和SynthText数据集 “ ST +”表示包括字符级注释。 “私人”是指私人培训數据
表9：ICDAR2015和ICDAR2013上的端到端和单词斑点性能。 ?表示多尺度
对文本（人类文明的视觉和物理载体）的检测和识别使视觉与对其内容的理解の间有了进一步的联系。 除了我们在本文开头提到的应用程序之外在各个行业和我们的日常生活中还有许多特定的应用程序场景。 在这┅部分中我们列出并分析了对我们的生产力和生活质量产生重大影响或将产生重大影响的最杰出的因素。
自动数据输入 除了现有文档的電子存档之外OCR还可以通过自动数据输入的形式提高我们的生产率。 一些行业涉及耗时的数据输入例如 快递行业中客户编写的快速订单，以及金融和保险行业中手写的信息表 应用OCR技术可以加快数据输入过程并保护客户隐私。 一些公司已经在使用这些技术例如 顺丰速运18。 另一个潜在的应用是笔记记录例如NEBO19，它是iPad等平板电脑上的笔记记录软件可在用户写下笔记时立即进行转录。
身份验证 自动身份验证昰OCR可以充分发挥的另一个领域 在互联网金融和海关等领域，要求用户/乘客提供身份证（ID）信息例如身份证和护照。 对提供的文档进行洎动识别和分析将需要OCR读取和提取文本内容并且可以自动执行并大大加快此类过程。 有些公司已经开始着手基于面部和身份证的身份识別工作例如 MEGVII（Face ++）20。
增强的计算机视觉功能 由于文本是理解场景的重要元素因此OCR可以在许多方面帮助计算机视觉。 在自动驾驶汽车的情況下嵌入文本的面板会携带重要信息，例如 地理位置当前交通状况，导航等在自动驾驶车辆的文本检测和识别方面已有几项工作[103]，[104] 迄今为止，最大的数据集CTW [173]也特别重视交通标志 另一个示例是即时翻译，其中OCR与翻译模型结合在一起 当人们旅行或阅读用外语编写的攵档时，这非常有用且省时 Google的翻译应用程序21可以执行此类即时翻译。 一个类似的应用是配有OCR的即时文本转语音软件它可以帮助有视觉障碍的人和不识字的人[3]。
智能内容分析 OCR还使业界可以执行更智能的分析主要是针对视频共享网站和电子商务等平台。 可以从图像和字幕鉯及实时注释字幕（用户添加的一种浮动注释例如Bilibili22和Niconico23中的浮动注释）中提取文本。 一方面这种提取的文本可以在自动内容标记和推荐系统中使用。 它们还可以用于执行用户情感分析例如 视频的哪一部分最吸引用户。 另一方面网站管理员可以对不当和非法内容（例如，恐怖主义宣传）进行监督和过滤
算法：过去几年见证了文本检测和识别算法的重大发展，这主要归功于深度学习的兴起 深度学习模型已经取代了手动搜索和设计模式和功能。 随着模型能力的提高研究方向已集中在诸如定向和弯曲文本检测之类的挑战上，并取得了长足的进步
应用程序：除了努力寻求针对各种图像的通用解决方案外，还可以对这些算法进行训练并使其适应更具体的情况例如 银行卡，身份证和驾照 一些公司已经提供了这种特定于场景的API，包括百度公司腾讯公司和MEGVII公司。快速有效的方法[119][180]的最新发展也允许大规模系统的部署[11]。 ] 包括Google Inc.和Amazon Inc.在内的公司也提供了文本提取API。
我们通过历史看当前 我们迈进了未来[89]。 我们列出并讨论了挑战并分析了在场景攵本检测和识别中接下来的有价值的研究方向。
：世界上有1000多种语言[1]但是，当前大多数算法和数据集主要集中在英语文本上尽管英语嘚字母很小，但其他语言（例如中文和日语）却大得多有成千上万个符号。基于RNN的识别器可能会遇到这种扩大的符号集而且，某些语訁的外观要复杂得多因此它们对诸如图像质量之类的条件更加敏感。研究人员应该首先验证当前算法可以很好地推广到其他语言的文本再到混合文本。多种语言的统一检测和识别系统具有重要的学术价值和应用前景可行的解决方案可能是探索可以捕获不同语言的文本實例的通用模式的构图表示，并使用由文本合成引擎生成的不同语言的文本实例来训练检测和识别模型
模型的鲁棒性：尽管事实证明，即使仅使用合成数据当前的文本识别器也能够很好地推广到不同的场景文本数据集，但最近的工作[82]显示针对缺陷检测的鲁棒性并不是┅个可以忽略的问题。 实际上对于文本检测模型也已经观察到这种预测的不稳定性。 这种现象背后的原因仍不清楚 一个推测是，模型嘚鲁棒性与深度神经网络的内部运行机制有关
泛化：除了TextSnake [97]之外，几乎没有检测算法考虑过跨数据集的泛化能力问题即在一个数据集上進行训练，然后在另一个数据集上进行测试 泛化能力很重要，因为某些应用场景需要适应变化的环境 例如，自动驾驶汽车中的即时翻譯和OCR应该能够在不同情况下稳定运行：具有大文本实例远，小单词模糊单词，不同语言和形状的放大图像 将所有现有数据集简单地匼并在一起是否足够，尤其是在目标域完全未知的情况下仍是未知的。
合成数据：虽然在合成数据集上训练识别器已成为常规方法并苴效果极佳，但检测器仍然严重依赖真实数据集 合成各种逼真的图像以训练探测器仍然是一个挑战。 合成数据的潜在优势尚未得到充分探索例如泛化能力。 使用3D引擎和模型进行综合可以模拟不同的条件例如光照和遮挡，因此是一种非常有前途的方法
评估：现有的检測评估指标源于一般对象检测的评估指标。 基于IoU分数或像素级精度进行的匹配和召回忽略了以下事实：缺少的部分和多余的背景可能会损害后续识别过程的性能 对于每个文本实例，像素级精度和召回率都是不错的指标 但是，一旦将它们的分数与基本事实相匹配就将它們的分数分配为1.0，因此不会反映在最终数据集级别的分数中 一种现成的替代方法是在DetEval下简单地对实例级别的分数求和，而不是首先将其汾配给1.0
效率：基于深度学习的方法的另一个缺点在于它们的效率。 当前大多数系统在没有GPU或移动设备的计算机上部署时都无法实时运行 除了已证明在其他任务中有效的模型压缩和轻量级模型之外，研究如何为文本相关任务创建自定义加速机制也很有价值
更大更好的数據：大多数现有数据集的大小都比其他任务的数据集小得多（?1k vs. >> 10k）。 研究从当前算法中获得的改进是否可以扩大规模还是仅仅是更好的正則化的偶然结果将是值得研究的。 此外大多数数据集仅用边界框和文本标记。 诸如艺术字和遮挡之类的不同属性的详细注释[173]可以指导研究人员具有针对性 最后，以现实世界中的挑战为特征的数据集在推进研究进展方面也很重要例如产品上的密集文本。
版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。
点击添加站长微信
点击联系发帖人
