让移动电子元件用上轻量级、低延迟的视觉Transformer，苹果搞了个MobileViT

。这里，P=wh，N=HW/P 是 patch 的总数，h≤ n 和 w≤ n 分别是 patch 的水平和跨距。对于每个 p∈ {1，···，P}，通过 transformer 对 patch 有数的关系透过编码器以取得 X_G∈ R请注意(P×N×d)：与被盗纹理密闭依序的 ViT 各有不同，MobileViT 既不能被盗 patch 依序，也不能被盗每个 patch 内纹理的密闭依序（上图 1b）。因此，我们可以翻转 X_G∈ R请注意(P×N×d)以取得 X_F∈ R请注意(H×W×d)。然后常用1]正弦将 X_F 投影到高于 C 维密闭，并通过并行操只用与 X 组合。然后常用另一个 n×n 正弦层来揉合这些联接的特质。由于 X_U（p）常用正弦对 n×n 周边的一个系统的资讯透过编码器，X_G（p）对第 p 个后方的 p 个 patch 的一个系统的资讯透过编码器，所以 X_G 之中的每个纹理都可以对 X 之中所有纹理的的资讯透过编码器，如上图 4 标明。因此，MobileViT 的整体有效地感受野为 H×W。与正弦的关系 国际标准正弦可以看只用是三个倒数操只用：（1）一触即发，（2）乘法乘法（努力学习一个系统指出）和（3）翻转。MobileViT 与正弦十分相似，因为它也利用了完正因如此一致的框架块。MobileViT 用更为深层的一个系统处置（transformer 层）摒弃正弦之中的一个系统处置（乘法乘法）。因此，MobileViT 较强类似于正弦的优点（如密闭倒数性）。因此，MobileViT 块可以被视为正弦 transformer 。只用者有意有趣新设计的优点就是，正弦和 transformer 的底层高效发挥只用用可以拆开即用，从而无需我们在各有不同的通讯设备上常用 MobileViT，而无需任何额外的改动。基本型WBC MobileViT 常用国际标准正弦和 transformer 分别努力学习一个系统和一个系统指出。之外的研究只用（如 Howard et al.，2017；Mehta et al.，2021a）指出，常用这些层新设计的互联WBC很正，因此大自然会消除一个情况：为什么 MobileViT 的WBC很基本型？只用者确信，情况主要在于努力学习 transformer 的一个系统指出。对于集合的 patch，之后的研究是（如 Touvron 等人，2021a；Graham 等人，2021）通过努力学习纹理的线性组合将密闭的资讯转换为潜在的资讯（上图 1a）。然后，通过常用 transformer 努力学习 patch 有数的的资讯，对一个系统的资讯透过编码器。因此，这些仿真得不到了 CNN 固有的上投影特定依此倒数性。因此，它们须要更为强的意志力来努力学习感官指出。这就所致这些互联仿真既深又宽。与这些仿真各有不同，MobileViT 常用正弦和 transformer 的只用法是，分解成的 MobileViT 既较强类似于正弦的属性，又同时无需一个系统处置。这种数学仿真意志力使我们需要新设计较深层和跨距层的 MobileViT 仿真，因此最终的仿真很基本型。与常用 L=12 和 d=192 的基于 ViT 的仿真 DeIT 相比，MobileViT 仿真分别在大小不一为 32×32、16×16 和 8×8 的密闭层级上常用 L={2,4,3}和 d={96,120,144}，消除的 MobileViT 互联比 DeIT 互联更为快（1.85×）、更为小（2×）、更为好（+1.8%）（表 3 标明）。计算成本 MobileViT 和 ViTs（上图 1a）之中都从自警觉的计算成本分作 O（N请注意2Pd）和 O（N请注意2d）。实际上 MobileViT 工作效率是比 ViTs 高于的。然而在实践之中，MobileViT 实际比 ViTs 更为高效。在 ImageNet-1K 图表集上，与 DeIT 相比，MobileViT 的 FLOPs 增加了一半，并且精确度减高于了 1.8%（表 3 标明）。这是因为基本型WBC新设计（下面讨论）的原因。MobileViT 指令集 只用者新设计的互联也是受到基本型WBC CNN 思路的深刻影响。以三种各有不同的互联大小不一（S:small、XS:extra-small 和 XXS:extra-extra-small）操练 MobileViT 仿真，这些互联通常常用快速移动感官训练任务（上图 3c）。MobileViT 之中的初始层是一个 3×3 的国际标准正弦，然后是 MobileNetv2（或 MV2）块和 MobileViT 块（上图 1b 和 §A）。常用 Swish（Elfwing 等人，2018）只用为作用于函数。按照 CNN 仿真，在 MobileViT 块之中常用 n=3。特质映射的密闭维度通常是 2 和 h、w 的正数≤ n。因此在所有密闭高至另设 h=w=2。MobileViT 互联之中的 MV2 模块主要负责下调制。因此，这些堆叠在 MobileViT 互联之中是较深而跨距的。上图 3d 之中 MobileViT 的密闭总体模板分布正因如此面性指出，在各有不同的互联配有之中，MV2 块对互联模板的贡献更为小.实验结果IMAGENET-1K 图表集上的上投影分类结果与 CNN 对比上图 6a 结果显示，在各有不同的互联数目（MobileNet v1（Howard et al.，2017）、MobileNet v2（Sandler et al.，2018）、ShuffleNet v2（Ma et al.，2018）、ESPNetv2（Mehta et al.，2019）和 MobileNet v3（Howard et al.，2019））之中，MobileNet 在工作效率上要强基本型WBC CNN。对于大概 250 万个模板的仿真（上图 6b），在 ImageNet1k 实验者集上，MobileViT 的工作效率比 MobileNetv2 好 5%，比 ShuffleNetv2 好 5.4%，比 MobileNetv3 好 7.4%。上图 6c 正因如此面性指出，MobileViT 的工作效率要强正WBC CNN（ResNet（He 等人，2016 年）、DenseNet（Huang 等人，2017 年）、ResNet SE（Hu 等人，2018 年）和 EfficientNet（Tan&Le，2019a））。对于类似于总数的模板，MobileViT 比 EfficientNet 的稳定度高 2.1%。与 ViTs 透过相当 上图 7 将 MobileViT 与在 ImageNet-1k 不曾氢氧化钠图表集上从头开始操练的 ViT 则有透过了相当（DeIT（Touvron et al.，2021a）、T2T（Yuan et al.，2021b）、PVT（Wang et al.，2021）、CAIT（Touvron et al.，2021b）、DeepViT（Zhou et al.，2021）、CeiT（Yuan et al.，2021a）、CrossViT（Chen et al.，2021a）、LocalViT（Li et al.，2021）、PiT（Heo et al.，2021），ConViT（d’Ascoli 等人，2021 年）、ViL（Zhang 等人，2021 年）、BoTNet（Srinivas 等人，2021 年）和 Mobile-former（Chen 等人，2021b 年）。不像 ViT 则有显着受益于深层图表大幅减高于（例如，PiT w / 坚实与高级：72.4（R4）与 78.1（R17）；上图 7b），MobileViT 通过更为多于的模板和基本上的大幅减高于发挥只用用了更为好的工作效率。例如，MobileViT 只有 DeIT 的 1/2.5 大小不一，但工作效率比 DeIT 好 2.6%（上图 7b 之中的 R3 和 R8）。MOBILEVIT 只用为国际标准为基础体互联的表现快速移动最终目标检验表 1a 结果显示，对于完正因如此一致的读取分辨率 320×320，常用 MobileViT 的 SSDLite 要强常用其他基本型WBC CNN 仿真（MobileNetv1/v2/v3、MNASNet 和 MixNet）的 SSDLite。此外，常用 MobileViT 的 SSDLite 工作效率要强常用正型为基础体互联的国际标准 SSD-300，同时努力学习的模板也明显增加（表 1b）。快速移动语义再分：从表 2 可见，常用 MobileViT 的特质为基础体互联比 DeepLabv3 更为小、更为好。快速移动通讯设备上的工作效率检验基本型WBC和高于推迟的互联对于发挥只用用快速移动感官应用于更为正要。为了推论 MobileViT 对此类应用于的有效地性，常用官方的 CoreMLTools（2021 年）将而无须操练的正因如此清晰度 MobileViT 仿真转换为 CoreML。然后在快速移动通讯设备 (iPhone12) 上检验它们的推理小说时有数（平均超 100 次渐进）。上图 8 结果显示了 MobileViT 互联在三个各有不同训练任务上的推算时有数，其之中两个 patch 大小不一另设（Config-A: 2, 2, 2 和 Config-B: 8, 4, 2）。

© THE END

转载请紧密联系本政府部门号取得授权

投稿或促成报道：content@jiqizhixin.com

。

崇左治疗白癜风哪家好
白癜风病治疗费用
柳州医院哪白癜风好