亚美尼亚语大模型突破：开放生态如何从零构建高质量LLM？

开放生态系统的必要性

在人工智能领域，语言资源的不平等分布长期存在。像亚美尼亚语这样拥有独特文字系统且形态丰富的语言，长期以来缺乏专门构建的预训练语料库、领域特定数据集以及可审计的开放模型。尽管多语言网络爬取数据中包含亚美尼亚语文本片段，但这些数据往往混杂着大量噪声、重复内容，并且严重污染了标准评估基准。这种状况不仅限制了亚美尼亚语自然语言处理技术的发展，也阻碍了本地社区参与全球AI创新进程。

COPA团队的突破在于认识到：单纯依赖通用多语言数据无法解决低资源语言的根本问题。他们采取了一种系统性方法，从数据源头开始重构整个技术栈。这种方法的核心理念是"透明即可靠"——通过公开每一个训练token、每一行处理代码和每一个超参数，确保研究成果可被独立验证和持续改进。这种开放性不仅提升了模型性能，更重要的是建立了社区信任，为其他资源稀缺语言的AI发展提供了可复制的范式。

值得注意的是，亚美尼亚语的特殊性使其成为检验低资源语言处理方案的理想案例。其复杂的形态变化（一个词根可衍生出数十种变体）、独特的字母系统（38个字母，与任何其他文字系统无直接关联）以及东西方言差异，都对传统NLP方法构成挑战。COPA团队没有试图用通用解决方案强行适配，而是针对这些特性设计专门的数据处理流程，这种"因地制宜"的策略值得所有低资源语言项目借鉴。

数据构建的双重创新

ArmWeb和ArmSTEM两个数据集的构建体现了截然不同但互补的创新思路。ArmWeb聚焦于高质量单语数据的获取，而ArmSTEM则探索跨语言知识迁移的可能性。这种双轨并进的策略有效解决了低资源语言面临的两大核心困境：基础语言模型训练数据不足，以及专业领域知识覆盖有限。

ArmWeb的构建过程堪称数据工程的典范。团队没有简单地从现有网络爬取数据中提取亚美尼亚语片段，而是回溯到15年积累的新闻档案，这些原始数据以结构化形式存储，天然避免了网页HTML中的广告、导航栏等噪声。更关键的是，他们实施了严格的去重和去污染流程：采用MinHash算法进行近似重复检测时，特别调整了相似度阈值以适应新闻文本特性；通过13-gram扫描技术识别并移除与10个主流亚美尼亚语评估基准的重叠内容。数据显示，未经处理的ArmWeb初始版本有3.3%的文档污染评估集，而对比其他公开语料库如FineWeb-2（污染率高达17.4%），这种主动清理的价值显而易见。

ArmSTEM则展示了如何将英语优质STEM资源转化为可靠的亚美尼亚语训练数据。传统机器翻译在处理数学符号、科学术语时极易出错，团队设计的"盲重解"验证机制巧妙地绕过了这一难题。具体而言，翻译后的亚美尼亚语问题由独立模型尝试解答，只有当答案与原始英文版本完全一致时才被接受。对于约10%无法通过验证的数学题和27%的科学题，系统会标记为"求解器限制"而非直接丢弃，这种细粒度分类既保证了数据质量，又保留了潜在有价值的内容。人类评估员对300个样本的验证显示，所有经重解验证的题目都被评为语义准确（Cohen's κ=1.0），证明了该方法的有效性。

灾难性遗忘的破解之道

持续预训练中的灾难性遗忘问题一直是语言适应领域的经典难题。COPA团队的实验揭示了一个反直觉发现：单纯增加目标语言数据量反而可能导致性能下降。在News-CPT实验中，使用10⁻⁴学习率进行纯新闻文本训练后，Belebele阅读理解分数从基线的0.619暴跌至0.407，损失超过21个百分点。即使降低学习率至3×10⁻⁵，也只能部分恢复性能。这表明传统"更多目标语言数据更好"的假设在低资源场景下可能失效。

真正的突破来自STEM-CPT方案——将6%的新闻数据替换为ArmSTEM内容。在相同学习率下，该方案不仅完全抵消了遗忘效应，甚至使模型在多个任务上超越原始基线。特别是3×10⁻⁵学习率配合STEM数据的组合，最终实现了0.50的平均得分，显著优于未适配的Gemma-4-E4B（0.48）。这一结果暗示STEM数据可能通过两种机制缓解遗忘：一是其问答格式天然包含结构化知识表示，有助于模型保持推理能力；二是跨语言平行数据提供了额外的正则化效果，防止模型过度拟合单一语言模式。

有趣的是，重复训练次数并非关键因素。使用11万题子集（每个样本重复7-9次）与完整37万题语料库（约1.3轮遍历）的对比实验显示，两者在likelihood评估上表现相当。这说明数据质量（经验证的准确性）和格式特性（问答结构）比单纯的数量或重复次数更重要。不过，在生成任务中，重复训练组表现出更强的格式遵循能力（0.62 vs 0.57），暗示适度重复可能帮助模型内化输出规范。

生成能力的意外收获

最令人惊讶的发现或许是：未经指令微调的arm-gemma-e4b在生成任务上表现优异。在ArmBench-LLM基准的14项准确性任务中，该模型平均得分0.62，显著优于指令微调的ArmenianGPT-1.0-3B（0.57）和其他基线模型。特别是在科学多选题（1.000）、SynDARin（0.920）和DREAM（0.840）等任务上达到或接近完美表现。

这种"免费"获得的生成能力源于ArmSTEM数据的独特性质。传统基线模型（如原始Gemma-4）虽然掌握知识，却难以按要求格式输出答案；而QA格式的训练数据无形中教会了模型如何结构化表达。例如在标点符号修正任务中，arm-gemma-e4b得分0.514，远超基线的0.105，说明模型不仅理解语法规则，还能准确应用。同样，在历史考试题（2.50分）和文学考试题（3.25分）上，模型展现出将知识转化为具体答案的能力。

然而，这种优势存在明显边界。在需要复杂推理的MMLU-Pro-Hy任务上，指令微调的ArmenianGPT仍以0.281领先于arm-gemma-e4b的0.251。词性标注（POS）任务更是出现严重退化（0.18→0.01），反映模型在细粒度语言学特征捕捉上的不足。这些局限表明，虽然QA格式数据能提升特定生成能力，但全面的指令遵循仍需专门的微调阶段。团队已计划开发指令微调版本来解决这些问题。

方法论的普适价值

COPA团队的工作远不止于亚美尼亚语的技术突破，其方法论对全球数百种资源稀缺语言具有重要参考价值。首先，数据构建策略高度模块化：新闻语料处理流程只需替换语言标识符和文本规范化表即可迁移；STEM翻译验证框架理论上适用于任何有英语优质资源的语言。其次，实验设计强调可复现性——所有超参数（5个混合权重、学习率、调度方案、随机种子）均公开，训练代码采用MIT许可，极大降低了其他团队的复现门槛。

特别值得关注的是去污染技术的普适性。团队开发的13-gram扫描工具不仅能检测与标准基准的重叠，还可扩展至任何自定义评估集。考虑到当前大模型普遍存在训练/测试数据泄露问题，这种主动清理机制应成为低资源语言项目的标配。ArmWeb与现有爬取数据的互补性也提示我们：与其盲目扩大数据规模，不如精选高质量来源并进行深度融合。缩放实验显示，ArmWeb+CulturaX的组合在1.3B参数模型上优势更加明显，验证了"质量优于数量"的原则。

未来方向已清晰规划：更具挑战性的竞赛数学数据集将拓展模型的推理边界，而指令微调版本将解锁完整的对话能力。但或许最重要的遗产是证明了——即使对于使用者不足百万的小语种，通过严谨的工程方法和开放协作精神，也能构建世界级的AI基础设施。这种"小而美"的范式，可能正是破解AI语言鸿沟的关键钥匙。