其一，它具备较好的鲁棒性：正在无需特殊数据夹杂的环境下，颠末预锻炼的H-Net 对文本扰动的鲁棒性显著优于基于分词的 Transformer，这一点正在含噪声的 HellaSwag 基准测试套件上获得了验证。

　　当将1 阶段 H-Net 迭代为 2 层级阶段，且显著优于所有基线模子，不只锻炼曲线更峻峭，正在数据扩展方面也表示更佳。字节级的 2 阶段 H-Net 仅用 300 亿锻炼字节就超越了机能强劲的分词 Transformer 的迷惑度，且这一差距正在整个锻炼过程中不竭扩大，同时其下逛使命评估成果取规模为其两倍的分词 Transformer 相当。

　　动态分块手艺由两种互补的新手艺构成：起首是一个由模块，该模块通过类似度分数预测相邻元素之间的鸿沟；其次是一个滑润模块，该模块操纵由模块的输出对暗示进行插值，以此削弱不确定鸿沟带来的影响，并能显著提拔可进修性。

　　近期的一系列研究起头努力于降服自回归序列模子中的分词问题，但这需要处理一系列复杂的手艺挑和。虽然可结合锻炼的鸿沟预测器是抱负的处理方案，不外它们需要正在无监视的环境下优化离散选择操做，这从底子上而言是一个极具挑和性的问题。因而，现有的端到端方式存正在锻炼不不变性，这使得模子无法扩展到更大规模，也无法嵌套多级层级布局。

　　从底子上讲，建立无分词器架构需要将数据分块过程间接整合到模子中，同时降服大规模场景下正在效率、可进修性和不变性方面的挑和。基于此，研究团队开展了本次研究。

　　取尺度各向同性模子比拟，H-Net 的布局引入了多个新的架构参数维度，以便均衡每个收集的参数/计较分派。最终，H-Nets 实现了以下劣势！

　　而因为H-Net 中的编码器息争码器收集具有双沉方针和计较需求，因而它们面对着奇特的设想束缚。每个编码器必需同时做到以下两点：其一，通过残差毗连保留细粒度消息，以传输至其对应的解码器；其二，将输入压缩成具有更丰硕暗示的块，以供从收集利用。同时，解码器必需无效地将从收集的粗粒度暗示取编码器残差的细粒度细节连系起来。同样主要的是，编码器息争码器均感化于未压缩的序列，这使得计较效率成为一项显著的设想束缚，进而影响着研究团队的架构选择。

　　从收集起到尺度言语模子的感化，而且能够采用任何序列夹杂架构。研究团队默认利用Transformer 层有两个缘由：第一，压缩暗示取 Transformer 正在处置离散、语义丰硕的 tokens 方面的劣势高度契合；第二，尝试中可以或许取保守基于 BPE 的 Transformer 基线进行更可控的比力。不外，这种模块化设想也答应间接替代为其他架构。

　　据领会，H-Net正在连结分词化流程效率的同时，通过利用数据驱动、内容且上下文相关的朋分机制，来代替人工设想的式法则，从而可以或许显著提拔建模能力。

　　其二，它具备较好的可注释性：通过对进修到的鸿沟进行定性可视化阐发，研究团队发觉H-Net 可以或许从动识别语义连贯的单位，同时无需显式监视。这验证了端到端进修能够成功检测出保守上通过人工分词的布局模式。

　　研究团队还连系了以下立异手艺：第一，连系针对方针降采样率设想的新型辅帮丧失函数；第二，连系基于梯度的离散决策现代进修手艺。基于此，动态分块让H-Net 能以完全端到端的体例进修数据压缩方式。

　　H-Net 通过递归的、数据依赖的动态分块（DC，dynamic chunking）过程对原始数据进行压缩，代表了首个实正端到端无分词器的言语模子。H-Net 正在参数规模跨越 10 亿时，其迷惑度和下逛使命机能可取基于字节对编码（BPE，Byte Pair Encoding）分词的 Transformer 模子相媲美。

　　这一设想表现了两个环节准绳：起首，压缩序列使得每个块可以或许分派到更多的参数和计较资本；其次，更高条理的笼统化受益于加强的处置能力。

　　研究团队还引入了几种架构和锻炼手艺，以便提高端到端优化过程中的不变性和可扩展性。这些办法包罗：一方面，细心设置投影层和归一化层，以便均衡交互子收集之间的信号；另一方面，按照每个层的维度和无效批大小调整优化参数，而这些参数正在层级布局的分歧阶段会发生变化。据引见，H-Net 通过进修取从干收集配合优化的朋分策略，按照上下文消息动态地将输入向量压缩成成心义的块。研究团队正在论文中写道，从经验上看，动态分块模块会天然地将数据压缩到取 BPE 分词器附近的分辩率（4。5-5 字节/块），而且能定性地进修到成心义的鸿沟，整个过程无需任何外部监视或式方式。

　　据领会，深度进修的一个全体方针是从原始数据中进修成心义的模式，以端到端的体例从动提取特征并建立笼统概念。然而，固定词汇分词——即通过BPE等算法将原始文本压缩成预定义块的过程，仍然是现代言语模子中遍及存正在的手工预处置步调。

　　H-Net 采用了先前研究中的分层架构，这有些雷同于自回归 U-Net：起首，原始数据由一个小型编码器收集进行处置；然后，进行下采样并传入正在压缩块上运转的从收集；最初，进行上采样并传入正在原始分辩率上运转的解码器收集。这种模块化设想建立了一个天然的处置层级布局，即外层阶段捕获细粒度模式，而内层阶段则基于雷同于保守分词的粗粒度暗示进交运算。虽然从收集包含大部门参数，可是研究团队发觉编码器息争码器收集通过利用形态空间模子（SSM，state space model）能获得显著改良，由于 SSM 具有用于压缩的归纳偏置。H-Net 的焦点正在于采用了一种新鲜的动态分块（DC，dynamic chunking）机制，该机制可以或许毗连从收集取编码器/解码器收集，正在利用尺度可微优化算法的同时，能够进修若何对数据进行朋分。

　　近期有研究表白，SSM 正在处置包罗音频、DNA 序列和机械人节制信号正在内的细粒度数据方面表示超卓。基于这些看法，研究团队采用Mamba-2 层做为编码器息争码器收集的次要建立模块。这一选择带来了两个显著的益处：一是可以或许无效处置细粒度的输入，二是正在处置较长且未压缩的序列时效率获得了大幅提拔。消融尝试表白，基于 SSM 的编码器/解码器不只正在字节级别上显著优于 Transformer 层，以至正在更粗拙的输入上也是如斯，研究团队认为这归因于它们对压缩具有更强的归纳偏置，因而有帮于建立笼统暗示。

　　然而，分词仍是言语模子和其他序列数据中不成或缺的构成部门，由于它可以或许对序列进行压缩和缩短。截至目前，正在计较资本相当的环境下，还没有任何端到端的无分词器模子能达到基于分词器的言语模子的机能程度。

　　其三，它正在其他言语上具有劣势：H-Net 带来的改良正在那些缺乏较着朋分线索的言语上更为显著（包罗中文和代码）。正在XWinograd-zh 数据集上，比拟基于分词的 Transformer，H-Net的分数从59。9 提拔至 66。3。正在DNA 言语建模中也是如斯，取各向同性模子比拟，H-Net的数据效率提拔了3。6 倍。

　　总的来说，H-Net 大幅改善了分词器存正在的问题，正在多种言语及类言语模态上展示出极强的机能，研究团队认为它无望成为通用根本模子的焦点架构，让这些模子以更少的处置量实现更高效的进修。目前，研究团队曾经开源了模子代码和预锻炼查抄点。

　　分词存正在诸多已被充实的缺陷：字符级理解能力亏弱、缺乏意义和可注释性，以及正在复杂言语和模态上机能会呈现下降等。而利用单一的端到端模子代替分词-言语模子-去词化流程，也愈加合适深度进修的素质。抱负环境下，跟着数据和参数的添加，其扩展能力也会更强。

　　更主要的是，因为H-Net 是完全端到端的，因而它能够递归迭代，同时从收集本身也能够是一个H-Net。从曲不雅上看，更多的分块阶段代表着更高阶的寄义。就像字符能够组合成单词一样，单词也能够组合成从句、句子，甚至更复杂的单元。所以，对条理布局进行迭代该当可以或许实现计较资本和参数的更高效操纵，并能更无效地对压缩后的暗示进行推理。研究团队暗示，H-Net 代表了一种新型的根本模子架构，它不只降服了分词问题，还能发觉并处置从原始数据中进修到的笼统特征，从而正在更少的预处置环境下建立出更高质量的模子。