本文档主要以飞行人员理论考试场景为例，支持客户基于文心大模型快速构建业务实践，同样方法也适用于其他职教类解析场景。

一、传统职教类解析现状

在没有应用大模型前，普遍的解析类应用使用场景一般的处理流程如下：

二、大模型业务需求

基于以上业务场景现状，客户普遍期望大模型来解决的问题有以下几类：

定义好了大模型在判题场景中需要满足的需求后，下面我们到业务可行性评估阶段，判断大模型是否具备处理此场景任务的能力。

三、业务可行性评估

以下为基于本平台的职业教育场景方案(包含使用AppBuilder)，同时也为本文档的目录大纲，请您仔细阅读。可参考本页右侧目录，跳转至您需要看的文档位置。

3.1 可行性评估方法

我们先用ERNIE-4.0作为baseline，进行业务可行性评估，您可以先到预置服务中开通付费。

3.2 职业教育解析场景可行性评估过程

3.2.1 评估数据集准备

建议整理1000道历年的飞行员理论考试题目，作为业务可行性评估阶段的测试集。因不同题目考查的知识点不一样，所以扩大了测试规模看整体效果。若是在选择题上做评估，题目建议同时覆盖单选题和多选题。

1#测试样本demo
2
3对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，（ ）有权采取必要的适当措施。
4A、安全员
5B、乘务长
6C、机长
7D、管制员
8
9{标准答案}: C
10{解析}:《中华人民共和国航空法》第四十六条，飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。

3.2.2 大模型能力现状评估

通过批量评估的方法，跑出这1000道测试集的结果，通过人工评估来粗略评估大模型的准确率能到多少。粗评过程可以不用将prompt写的太复杂。

这里建议先通过ERNIE 4.0做两类评估：

1#直接做题
2你是一名资深飞机技师，现在要完成飞机技师技术考试。我会给你[题目]，请根据你的行业知识，给出正确答案。只输出答案，不要输出任何其他内容
3{题目}：
4在必须撤离遇险民用航空器的紧急情况下，下列表述不正确的是：
5A、机长必须采取措施，首先组织旅客安全离开民用航空器
6B、未经机长允许，机组人员不得擅自离开民用航空器
7C、机长应当最后离开民用航空器
8D、只要机长发布了撤离信号，采取相应措施，即可离开飞机

1#大模型输出
2D

1#根据答案得出解析
2你是一名资深飞机技师，现在要完成飞机技师技术考试。我会给你[题目]和标准答案，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程
3{题目}：
4在必须撤离遇险民用航空器的紧急情况下，下列表述不正确的是：
5A、机长必须采取措施，首先组织旅客安全离开民用航空器
6B、未经机长允许，机组人员不得擅自离开民用航空器
7C、机长应当最后离开民用航空器
8D、只要机长发布了撤离信号，采取相应措施，即可离开飞机
9标准答案:D

1#大模型输出
2这是一道关于民用航空器紧急撤离规定的选择题，我们需要根据行业知识和规定来判断哪个选项是不正确的。现在，我们逐一分析每个选项：
3A选项：机长必须采取措施，首先组织旅客安全离开民用航空器。这是正确的，因为在紧急情况下，确保旅客的安全是首要任务。机长有责任组织旅客有序、安全地撤离航空器。
4B选项：未经机长允许，机组人员不得擅自离开民用航空器。这也是正确的。在紧急撤离过程中，机组人员需要遵循机长的指挥和安排。擅自离开可能导致撤离过程的混乱和不安全。
5C选项：机长应当最后离开民用航空器。这同样是正确的。机长作为责任人，需要确保所有旅客和机组人员都已安全撤离后，才能最后离开航空器。这是机长职责的一部分，以确保撤离的完整性和安全性。
6D选项：只要机长发布了撤离信号，采取相应措施，即可离开飞机。这个选项是不正确的。虽然机长发布撤离信号并采取措施是必要的，但仅仅做到这些并不意味着机长可以立即离开飞机。机长还需要确保所有旅客和机组人员都已安全撤离，并承担最后的检查责任。
7
8综上所述，根据民用航空器的紧急撤离规定和行业知识，我们可以确定D选项是不正确的。在紧急撤离过程中，机长的责任不仅限于发布撤离信号和采取措施，还包括确保所有人员安全撤离并最后离开航空器。

在解析任务中，建议请相关行业专家/老师来参与评估。
这里我们分别统计1000道题目测试结果：

这里可以看到，大模型做题中，多选题准确率 < 单选题准确率，符合通常认知，因为多选题难度普遍比单选题高。同时解析的准确率会比直接做题的准确率高，这里面是因为给到了大模型更多信息（答案）后，大模型体现出了更好的表现

我们先把51.5%的做题准确率和54.6%的解析准确率作为优化前的baseline，后续调优手段也会和这个数值进行对比。

接下来，我们需要针对性挑选一些题目（可以集中在错题上），需要重点关注大模型的推理能力没有被激发出来，以及大模型本身是否具备该行业知识。
如以下题目：

1#背景知识判断
2你是一名资深飞机技师，现在要完成飞机技师技术考试。我会给你{题目}和{标准答案}，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程
3同时，需要输出题目考察的航空法规明细，如《中国民用航空局令》XX条内容
4{题目}：
5飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全：
6A、机组成员有权对民用航空器作出处置
7B、飞行机组成员有权对民用航空器作出处置
8C、乘务员有权对民用航空器作出处置
9D、机长有权对民用航空器作出处置
10{标准答案}:D

1#背景知识判断
2首先，我们来分析题目中给出的各选项关于积水跑道定义的描述，并结合航空行业知识和相关法规进行推导。
3A选项描述：“道面积有一薄层水而反光时。当水层深度不超过3mm时，无大的滑水危险”。这个描述中，虽然提到了水层深度和滑水危险的关系，但并未准确反映积水跑道的定义，且“无大的滑水危险”并不等同于安全的跑道状态。因此，A选项不正确。
4B选项描述：“大量降水或跑道排水不畅，积水超过3mm”。这个描述直接涉及了积水跑道的核心特征，即大量降水或跑道排水不畅导致的积水，并明确指出了积水的深度标准（超过3mm）。这与航空行业对积水跑道的普遍认知和相关安全规定相符。因此，B选项是正确的。
5C选项描述：“当表面不干燥，但表面的水不会使它反光时”。这个描述过于模糊，没有具体说明积水的程度和对跑道使用的影响，因此不能作为积水跑道的准确定义。所以，C选项不正确。
6D选项描述：“道面积有一薄层水而反光时。当水层深度超过3mm时，无大的滑水危险”。这个描述与A选项类似，但更强调了水层深度超过3mm时的情况。然而，它同样没有准确反映积水跑道的定义，且“无大的滑水危险”的表述可能误导对跑道安全性的判断。因此，D选项不正确。
7综上所述，根据航空行业知识和相关安全规定，B选项“大量降水或跑道排水不畅，积水超过3mm”是关于积水跑道定义的正确答案。
8
9此外，题目考察的航空法规明细可能涉及《民用机场运行安全管理规定》中关于跑道表面状况评估和管理的相关内容。具体条款可能因国家和地区而异，但通常都会强调在跑道出现积水等不安全情况时，应采取相应措施确保飞行安全。在本题中，对积水跑道的正确定义是确保飞行安全的重要前提

通过以下两种方式进一步判断：

?

1#追问判断
2《中华人民共和国民用航空法》中关于机长在紧急情况下对民用航空器作出处置的法定权力和相关规定在第几条？具体内容是什么？

1在《中华人民共和国民用航空法》中，关于机长在紧急情况下对民用航空器作出处置的法定权力和相关规定主要体现在以下条款：
2第四十四条 机长发现机组人员不适宜执行飞行任务或者航空器存在安全隐患而不适宜继续航行的，有权提出调整机组或者换航空器，并将有关情况报告有关部门。在此种情况下，机长有权采取必要的措施，首先确保航空器上人员的安全。
3第四十六条 飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。机长在民用航空器遇险时，有权采取一切必要措施，并指挥机组人员和航空器上其他人员采取抢救措施。在必须撤离遇险民用航空器的紧急情况下，机长必须采取措施，首先组织旅客安全离开民用航空器；未经机长允许，机组人员不得擅自离开民用航空器；机长应当最后离开民用航空器。
4虽然第四十四条主要描述了机长在发现机组人员不适宜执行飞行任务或航空器存在安全隐患时的权力，但第四十六条更直接地赋予了机长在紧急情况下的处置权。根据第四十六条，机长不仅有权对危及飞行安全的行为采取措施，而且在遇险时有权指挥撤离，并确保旅客和机组的安全。
5综上所述，《中华人民共和国民用航空法》中第四十六条最直接地规定了机长在紧急情况下对民用航空器作出处置的法定权力。这一条款确保了机长能够在紧急情况下迅速、有效地作出决策，以最大程度地保护人员安全和航空器的完整。

1“第四十六条，飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。机长在民用航空器遇险时，有权采取一切必要措施，并指挥机组人员和航空器上其他人员采取抢救措施。在必须撤离遇险民用航空器的紧急情况下，机长必须采取措施，首先组织旅客安全离开民用航空器；未经机长允许，机组人员不得擅自离开民用航空器；机长应当最后离开民用航空器”

点击展开对知识进行续写示例

YAML 复制

1《中华人民共和国民用航空法》，第四十六条 飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序……

YAML 复制

1#大模型返回
2第四十六条规定如下：
3
4飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，机长有权对民用航空器作出处置。
5
6如需更多信息，可直接查阅《中华人民共和国民用航空法》原文或咨询专业法律人士。同时，也提醒大家在乘坐民用航空器时需严格遵守相关法律法规，确保航空安全

同样，根据具体法规进行比对，发现内容没有问题，即可判断大模型具备该行业法规。若有出入，则判断大模型不具备该行业知识，如：

Plain Text 复制

1《民用航空产品和零部件合格审定规定》中，民航地区管理局负责对所辖区域内的行政许可及其活动实施监督管理。受民航局委托实施哪些行政许可证件的审批工作？

JSON 复制

1#大模型返回
2根据《民用航空产品和零部件合格审定规定》，民航地区管理局在所辖区域内负责监督管理相关行政许可及其活动。在受民航局委托的情况下，民航地区管理局可以实施以下行政许可证件的审批工作：
3生产许可：对民用航空产品及其零部件的生产单位进行审查，确保其具备符合规定的生产条件和质量保证体系，并颁发生产许可证。
4
5适航批准：对民用航空产品及其零部件进行适航审查，验证其是否满足适航标准和要求，包括型号合格证、补充型号合格证、改装设计批准书等证件的颁发。
6
7维修许可：对从事民用航空器维修的单位或个人进行审查，核发维修许可证，以确保其具备相应的维修能力和质量保证。
8
9零部件制造人批准书（如适用）：对制造民用航空器零部件的制造商进行审查，并颁发相应的批准书，以证明其制造的零部件符合适航标准。
10
11其他相关许可：根据民航局委托，民航地区管理局还可能负责其他与民用航空产品和零部件合格审定相关的行政许可证件的审批工作。

可以看到这里大模型的输入还是有一定出入，且中华人民共和国交通运输部令2024年第5号，《交通运输部关于修改〈民用航空产品和零部件合格审定规定的决定》，像这类更新的知识，大模型当前知识里还没有覆盖更新到位。

修改前和修改后的示例如下：

更
新
前

更
新
后

这类没有覆盖到的知识，是需要在后续知识增强的环节里进行补充的。补充的知识可以根据题目解析场景覆盖的范围进行动态调整。

?

经过分析发现，70%的错题中都出现了大模型知识不具备的问题，因此知识增强会是后续优化一大重点目标。

基于以上数据：没有任何调优的情况下，大模型做题准确率在51%左右，解析准确率在55%左右，且错误的很大一部分原因在知识欠缺上。考虑到我们在知识欠缺的问题上有较好的手段可以提升，因此我们判断，在飞行人员理论考试解析场景，现阶段使用大模型已经具备尝试可行性，这里因为不同行业差异性较大，建议不同行业都做一次可行性评估。

四、优化点分析及优化方案

在本类场景中，一般在刷题的APP中已经有预置/处理好的题库，是标准的文字内容，可以直接拼接成大模型的标准输入，因此在这个环节里，我们只讨论和大模型相关的优化方案。

?我们根据大模型的输出内容进行分析，观察和总结出以下几个优化点：

4.1 输出啰嗦&不按固定格式问题及优化方案

这里直接先以ERNIE 4.0尝试，一般而言，在ERNIE 4.0上，验证过最优的prompt，也适用于文心大模型的其他模型

1你是一名资深飞机技师，现在要完成飞机技师技术考试。我会给你{题目}，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程
2{题目}：
3按仪表飞行规则运行的航空器发生导航、进近或通信设备 故障时,机长应当尽快向(　　)报告。
4A、空中其他航空器
5B、空中交通管制
6C、民航管理局
7D、公司运控中心
8标准答案:B

1#大模型回复
2这是一道关于航空器操作规则的问题。我们可以根据题目描述和各个选项进行逐一分析，以确定正确答案。
3题目描述：
4按仪表飞行规则运行的航空器发生导航、进近或通信设备故障时，机长应当尽快向谁报告？
5?
6现在我们来分析各个选项：
7A. 空中其他航空器：虽然在空中飞行时，航空器之间需要进行必要的通信以确保飞行安全，但当发生导航、进近或通信设备故障时，直接向其他航空器报告可能并不是最高效或最恰当的方式。其他航空器可能无法提供及时的帮助或指导。
8B. 空中交通管制：空中交通管制（ATC）负责管理和指导空中飞行的航空器，确保它们安全、有序地运行。当航空器发生导航、进近或通信设备故障时，迅速向ATC报告是至关重要的。ATC能够及时了解航空器的状况，提供必要的导航和通信支持，以及与其他相关部门的协调，从而确保航空器的安全。
9C. 民航管理局：虽然民航管理局是负责民用航空的监管和管理机构，但在紧急情况下，如导航或通信设备故障，直接向民航管理局报告可能不是最立即和有效的做法。这种情况下，更需要的是实时的操作支持和协调，而这正是空中交通管制的职责。
10D. 公司运控中心：航空公司运控中心在航班运行和管理中扮演重要角色，但当航空器遇到紧急技术问题时，如导航或通信设备故障，首先需要的是空中交通管制的直接支持和协助。运控中心虽然会随后介入处理，但不是机长在紧急情况下的首选报告对象。
11综上所述，当按仪表飞行规则运行的航空器发生导航、进近或通信设备故障时，机长应当尽快向空中交通管制（B选项）报告。这样做可以确保及时获得必要的支持和协助，从而最大程度地保障航空器的安全。

首先优化的就是回复啰嗦的问题，以及能让大模型回复按我们预期格式来输出。通常这类的优化，我们会从Prompt Engineering和SFT两个层面来进行。先优化Prompt，看具体表现。若效果不满意，再到SFT阶段持续优化。

优化前，我们需要先定义输出的具体要求。
如在这类飞行人员理论考试场景题目解析场景里，我们希望输出按如下要求：

这里我们先把定义的标准重新整理进prompt中，这里先以标准的单选题的要求举例：

1#优化啰嗦&格式的prompt
2你是一名资深飞机技师，现在要针对飞机技师技术考试题目输出高质量的解析内容。我会给你{题目}和A、B、C、D四个选项，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程，输出内容请严格按以下要求执行：
31. 输出内容尽量【简洁明了】，但不能缺失核心推导过程
42. 从知识本身出发给出客观的解析内容
53. 输出需要以航空法规或条例来源开头，如“根据《中华人民共和国航空法》/《中华人民共和国飞行基本规则》”，若能检索到具体出处，需要精确到是【第几条】
64. 不需要重复标准答案是什么，只需要输出解析过程
7?
8#考试题目和答案
9{题目}:
10按仪表飞行规则运行的航空器发生导航、进近或通信设备 故障时,机长应当尽快向(　　)报告。
11A、空中其他航空器
12B、空中交通管制
13C、民航管理局
14D、公司运控中心
15题型:单选题
16标准答案:B
17?
18##输出解析内容

接下来可以先跑一轮批量测试，看看prompt调整的效果，再总结出现的bad case做进一步优化

1#大模型输出
2根据航空交通管理规范，当按仪表飞行规则运行的航空器发生导航、进近或通信设备故障时，为确保飞行安全，机长应立即向负责当前空域管理的空中交通管制报告，以便及时获得指导与协助。因此，正确选项为B，即向空中交通管制报告。

可以看到，大多情况下，大模型输出已经能控制的相对较好了。但还是会偶发没有遵循指令的情况。这里我们可以再加入一个few shot，来进一步给大模型参考，约束输出格式。这里的示例，需要按上述标准标注一个结果放入prompt：

1#few shot进一步优化啰嗦&格式的prompt
2你是一名资深飞机技师，现在要针对飞机技师技术考试题目输出高质量的解析内容。我会给你[题目]和A、B、C、D四个选项，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程，输出内容请严格按以下要求执行：
31. 输出内容尽量【简洁明了】，但不能缺失核心推导过程
42. 从知识本身出发给出客观的解析内容
53. 输出需要以航空法规或条例来源开头，如“根据《中华人民共和国航空法》/《中华人民共和国飞行基本规则》”，若能检索到具体出处，需要精确到是【第几条】
64. 不需要重复标准答案是什么，只需要输出解析过程
75. 参考[标准示例]格式输出
8?
9[标准示例]
10{题目}:飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，(　　)
11A、机组成员有权对民用航空器作出处置
12B、飞行机组成员有权对民用航空器作出处置
13C、乘务员有权对民用航空器作出处置
14D、机长有权对民用航空器作出处置
15题型:单选题
16标准答案:D
17?
18解析：
19中华人民共和国航空法第四十六条，飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，机长有权对民用航空器作出处置。题目考查的是对航空法的理解，根据法规内容可得出答案
20?
21#考试题目和答案
22{题目}:按仪表飞行规则运行的航空器发生导航、进近或通信设备 故障时,机长应当尽快向(　　)报告。
23A、空中其他航空器
24B、空中交通管制
25C、民航管理局
26D、公司运控中心
27题型:单选题
28标准答案:B
29?
30##输出解析内容

上面的few shot中的解析内容，就是严格按标注整理的：

• 第一句话，引用具体法规：“中华人民共和国航空法第四十六条”
• 第二句话，展开法规/考点介绍：“飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，机长有权对民用航空器作出处置。”
• 第三句话，对题目做一定说明和解读：“题目考查的是对航空法的理解，根据法规内容可得出答案”

加入few shot后，我们发现输出格式的稳定性进一步提升，基本解决了输出啰嗦&不按固定格式的问题。如果还想在稳定性上有进一步的提升，可以继续尝试SFT效果，可以参考数学判题最佳实践SFT部分，基本方法类似。

4.2 大模型的推理能力问题优化

基于以上调整后的prompt，在测试一些较难的题目时，大模型可能还是会出现解析内容质量不高的情况，如：

1#你是一名资深飞机技师，现在要针对飞机技师技术考试题目输出高质量的解析内容。我会给你{题目}和A、B、C、D四个选项，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程，输出内容请严格按以下要求执行：
21. 输出内容尽量【简洁明了】，但不能缺失核心推导过程
32. 从知识本身出发给出客观的解析内容
43. 输出需要以航空法规或条例来源开头，如“根据《中华人民共和国航空法》/《中华人民共和国飞行基本规则》”，若能检索到具体出处，需要精确到是【第几条】
54. 不需要重复标准答案是什么，只需要输出解析过程
65. 参考[标准示例]格式输出
7?
8[标准示例]
9{题目}:飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，(　　)
10A、机组成员有权对民用航空器作出处置
11B、飞行机组成员有权对民用航空器作出处置
12C、乘务员有权对民用航空器作出处置
13D、机长有权对民用航空器作出处置
14题型:单选题
15标准答案:D
16?
17解析：
18中华人民共和国航空法第四十六条，飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，机长有权对民用航空器作出处置。题目考查的是对航空法的理解，根据法规内容可得出答案
19?
20{题目}:下列哪种情况不会导致飞行指引消失（）
21A、两部FD关断
22B、坡度超过45度
23C、机头向上超过25度
24D、当飞机触发超速警告时
25题型:单选题
26标准答案:D
27?

1##输出解析内容
2飞行指引系统（FD）是飞机上的重要导航设备，用于提供飞行指引信息。
3选项A，当两部FD都关断时，飞行指引自然会消失，因为系统已被关闭，无法提供指引。
4选项B，当坡度超过45度时，飞行指引可能会消失，因为此时飞机处于极端姿态，超出了正常飞行范围，系统可能无法准确提供指引信息。
5选项C，机头向上超过25度时，同样可能导致飞行指引消失，因为这也是一种极端姿态，可能影响系统的正常工作。
6选项D，当飞机触发超速警告时，虽然飞机速度超过限制，但飞行指引系统本身并不会因此消失。超速警告是飞机的安全系统之一，用于提醒飞行员飞机速度过快，而飞行指引系统则负责提供飞行方向等信息。两者虽然都是飞机的重要系统，但触发超速警告并不会直接导致飞行指引消失。
7?
8综上所述，根据飞行指引系统的工作原理和飞机在极端姿态下的表现，可以推断出当飞机触发超速警告时，飞行指引不会消失，因此正确答案是D。

在大模型回复中可以发现，很多“极端姿态”的表达和“指引信息”间的关联都没有表达清楚。

这类case我们分析还是需要模型有进一步的分析和推理能力，因此可以考虑强化COT(鼠标悬浮查看概念)的表达，进一步提升模型的推理能力。

1#加入COT和few shot的prompt
2你是一名资深飞机技师，现在要针对飞机技师技术考试题目输出高质量的解析内容。我会给你{题目}和A、B、C、D四个选项，请根据你的行业知识以及给你的正确答案，给出对应的做题推导过程，输出内容请严格按以下要求执行：
31. 一步一步思考，题目解析的推导过程需要仔细分析
42. 输出内容尽量【简洁明了】，但不能缺失核心推导过程
53. 从知识本身出发给出客观的解析内容
64. 输出需要以航空法规或条例来源开头，如“根据《中华人民共和国航空法》/《中华人民共和国飞行基本规则》”，若能检索到具体出处，需要精确到是【第几条】
75. 不需要重复标准答案是什么，只需要输出解析过程
86. 参考[标准示例]格式输出
9?
10[标准示例]
11{题目}:飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，(　　)
12A、机组成员有权对民用航空器作出处置
13B、飞行机组成员有权对民用航空器作出处置
14C、乘务员有权对民用航空器作出处置
15D、机长有权对民用航空器作出处置
16题型:单选题
17标准答案:D
18?
19解析：
20中华人民共和国航空法第四十六条，飞行中，对于任何破坏民用航空器、扰乱民用航空器内秩序、危害民用航空器所载人员或者财产安全以及其他危及飞行安全的行为，在保证安全的前提下，机长有权采取必要的适当措施。飞行中，遇到特殊情况时，为保证民用航空器及其所载人员的安全，机长有权对民用航空器作出处置。题目考查的是对航空法的理解，根据法规内容可得出答案
21?
22#考试题目和答案
23{题目}:下列哪种情况不会导致飞行指引消失（）
24A、两部FD关断
25B、坡度超过45度
26C、机头向上超过25度
27D、当飞机触发超速警告时
28题型:单选题
29标准答案:D

1##输出解析内容
2飞行指引系统（FD）是飞行仪表的重要组成部分，用于提供飞行姿态的指引。针对题目中的选项，我们可以逐一分析：
3A项，两部FD关断。显然，如果两部飞行指引系统都被关断，那么飞行指引自然会消失。这是直接的操作结果。
4B项，坡度超过45度。在极端的飞行姿态下，如坡度超过一定限度，飞行指引系统可能无法正常工作，从而导致指引消失。这是为了保护系统免受极端条件下的损害。
5C项，机头向上超过25度。与B项类似，当机头向上超过一定角度时，飞行指引系统可能因无法准确提供指引而失效，导致指引消失。
6D项，当飞机触发超速警告时。超速警告是飞机安全系统的一部分，用于提醒飞行员飞机速度过快。然而，这一警告的触发并不会直接导致飞行指引消失。飞行指引系统的主要功能与飞机速度无直接关联，而是与飞行姿态相关。因此，即使触发超速警告，飞行指引仍应正常工作。
7?
8综上所述，根据飞行指引系统的工作原理和特性，只有D项“当飞机触发超速警告时”不会导致飞行指引消失。

4.3 大模型相关知识没有覆盖问题优化

除了以上问题，我们发现大量的bad case背后的原因，都是集中在大模型没有对应的行业知识。
一般来说，可以通过两类手段来对大模型的知识内容进行补充：

因为Post-pretrain一般至少需要10亿级别的tokens训练语料才能得到一个较好的效果。因此我们都建议先尝试用插件的方式来进行尝试，如果效果达不到预期，再去尝试Post-pretrain的训练方式，由易到难进行验证。

同时在搜索上，我们验证后发现飞行人员理论考试的公开知识较少，通过搜索无法很好补充对应欠缺的知识。因此接下来的工作，会重点从知识库（RAG）的方式做介绍，搜索组件作为补充内容，这里需要使用到AppBuilder产品。

4.3.1 搜索组件介绍

在组件广场中，AppBuilder预置了百度搜索组件（BaiduSearch），可以通过百度搜索引擎搜索相关内容。相关调用和响应参数如下：

4.3.2 知识库（RAG）应用介绍

4.3.2.1 知识库对应材料清洗

数据清洗是一个关键步骤，数据质量的好坏会直接影响到大模型输出的质量，行业法规材料的清洗可以参考如下策略：

这里需要明确的是，需要整理的知识包括测试后发现大模型里不具备的知识，也包括标准/法规更新后的知识（大模型内不满足时效性的知识），以上类别的知识补充覆盖的越全，大模型针对相关问题回复的质量越高

4.3.2.2 内容切片策略

对文本信息完成整理后，在产品中选择内容切片策略。切片是将大块文本分解成小段的过程，可以帮助我们优化从向量数据库被召回的内容的准确性。当前可选择自动分段与自定义分段两种方式。在自定义方式下，可自行配置分句标识符、分段最大长度、分段重叠最大字数占比。

同时可以选择知识增强策略，知识增强是在检索问答时通过知识点来索引到对应的切片，大模型根据切片内容生成答案，开启知识增强会调用大模型抽取更加丰富的知识点，增加切片的召回率。

这里需要观察切分后文档的质量，在查看知识库页面中，可以对单个文档做查看切片操作。

这里我们需要对切片质量进行判断，切片质量对于知识库应用的问答效果有明显影响，在将知识库与应用关联之前，建议人工检查分段质量。

一般认为好的切片内容，是可以确保搜索结果准确地捕获用户查询的需求本质的。检查分段质量时，一般需要关注以下几种情况：

根据实践的经验来看，需要保障切分后的切片信息是完整、关联的，没有对上下文很强的依赖，可以让召回后的片段能使大模型其更容易理解其文本结构和内容。确保搜索结果的准确性和相关性。

如在《中华人民共和国民用航空法（2021年修正）》内容中，我们发现每一章的内容描述的是一类具体的法规，且部分条目之间有一定的关联性，大多章节内容都在切分的限制字数内，那此类文档，更建议我们用自定义的切片策略去处理。如在文档中调整切片的标识符，保证段落的完整性。这里调整过后，可以在切片详情里看到对应的知识片段已经较为清晰和完整，包括知识增强的知识点也能较好对应。

4.3.2.3 检索策略和检索参数

在AppBuilder产品里创建应用，挂载已经创建好的知识库。在知识库的高级配置里，选择对应的检索策略和召回策略

检索策略可按照指定的检索策略从知识库中寻找匹配的片段：

这个场景里，我们观察到部分题目中会包含直接关联知识的关键词，也有部分题目里关联的知识点事需要语义理解的，因此在这个场景里，检索策略使用混合检索。
另外，知识库支持设置召回与输入Query匹配的片段个数，以及匹配分。片段个数设置的越大，召回的片段越多。匹配分则是相似度阈值的概念，在检索过程中用来计算输入Query和知识库片段的相似度，高于或等于设定的匹配分的片段将会被召回。

这里片段个数和匹配分的设置，我们建议先做一些样本测试，根据观察到的结果来做调整，在不同解析场景和知识文本里，效果可能不同。我们这里先设置成召回数量=3，匹配分=0.7来做初步的测试

4.3.2.4 Rerank重排序

重排序Rerank的理念是，向量相似度搜索中的高阈值，并不能完全说明内容有最高的相关性。重排序模型通过将候选文档列表与用户问题语义匹配度进行重新排序，从而改进语义排序的结果。其原理是计算用户问题与给定的每个候选片段之间的相关性分数，并返回按相关性从高到低排序的文档列表。

在选择了混合检索策略时，检索器会在所有与应用关联的知识库中去检索与用户问题相关的文本内容，并将多路召回的相关文档结果合并，并通过后置的重排序（Rerank）步骤对检索召回的文档进行语义重排。这里不需要我们额外配置，已经在策略里默认实现了以上机制。

4.3.3 创建完整组件/应用

这里我们在AppBuilder上有两种方式做应用的发布：

1. 创建Agent应用，在应用的能力拓展部分，选择搜索组件和对应的知识库信息。
2. 创建工作流组件，在预置组件画布中，组织对应的搜索组件和知识库逻辑，然后发布为“我的组件”。最后创建Agent应用，选择对应发布的组件即可。

相对而言，创建Agent应用的方式更加便捷。创建组件后在Agent中发布的方式，更为灵活，可以通过工作流的方式定义整体执行流程，同时可以使用分支器、代码等组件。下面会分别介绍这两种模式。

4.3.3.1 通过Agent应用的方式创建

在创建应用入口中，应用的能力拓展部分，选择搜索组件和对应的知识库信息：

同时在知识库的高级配置中，设置检索和召回策略。可以开启网页搜索增强，开启网页搜索后可通过设置知识库和搜索的查询顺序来控制回答内容的置信度和丰富度。可以根据需求开启融合检索模式、知识库优先模式或网页搜索优先模式。可以如果知识库内容质量高、覆盖全，建议选择知识库优先模式。

之后在角色指令中，补充我们之前优化后的prompt。可以在控制台上做几轮测试。

没问题后发布为应用，可以通过Open API或SDK的方式进行调用。

4.3.3.2 通过工作流组件的方式创建应用

在创建组件中，选择空画布：

接下来在画布中可以定义基础节点或组件节点。

可以根据业务流逻辑来自行定义执行流程，这里我们为了展示工作流方式的灵活配置，做了两类的流程设计：

1. 题目信息过知识库 -> 过搜索插件 -> 整理&聚合内容 -> 过解析大模型 -> 输出结果，查看配置>>
2. 意图识别检测题目是否相关 -> 题目信息过知识库 -> 若知识库没召回内容，直接反馈“无法回答” -> 若知识库有召回内容过搜索插件补充 -> 整理&聚合内容 -> 过解析大模型 -> 输出结果，查看配置>>

4.3.3.2.1 搜索和知识库内容聚合后输出

1你是一个信息提取工具，现在需要判断哪些信息是和[试题]相关，从[内容]中提取出对应的有效信息，来帮助解题。按遗下要求执行：
21. 一步步思考，仔细分析[试题]需要用到哪些知识点，分析内容不需要输出
32. 仔细分析[内容]，判断哪些信息是有效信息，判断过程不需要输出
43. 提取有效信息，尽可能简洁。但核心信息一定要覆盖，如知识信息、解析过程信息或标准答案信息等
54. 直接输出提取后的有效信息，不要输出其他任何内容
6?
7#本次试题和内容信息
8试题：{{question}}
9内容：{{info}}

在完成所有工作流组件配置后，我们可以在控制台进行调试，可以用以下题目进行测试：

1下列民用航空器应当进行中华人民共和国国籍登记的是:
2?
3A.依照中华人民共和国法律设立的事业法人的民用航空器
4B.在中华人民共和国境内有住所或者主要营业所的中国公民的民用航空器
5C.中国公司自境外租赁的民用航空器，且该航空器未注销他国国籍的
6D.依照中华人民共和国法律设立的企业法人的民用航空器
7E.中华人民共和国国家机构的民用航空器

把组件过程展开后可以看到，搜索组件和知识库都找到了对应的正确的知识，可以看到在最终输出结果output中，大模型能把有一定难度的多选题给做对，同时给出了简洁准确的解析。测试没问题后，可以发布对应组件。

下一步就是在Agent里用对应组件，创建完整应用。在创建应用页面，选择我们创建好的组件，在角色指令中，强制每次都调用该组件。同时限制好问答模型的输出。

4.3.3.2.2 未命中知识库直接拒答

同样可以通过调试来做一些初步测试：

下一步同样是在Agent里用对应组件，创建完整应用。在创建应用页面，选择我们创建好的组件，在角色指令中，强制每次都调用该组件。同时限制好问答模型的输出。

4.3.4 大模型选择

组件中的大模型，若涉及到较深的行业知识解析，或对推理分析能力要求较高，最终的问答解析模型建议选择ERNIE 4.0

应用中的思考模型建议使用ERNIE Speed，问答模型可以按需选择。同时若部分行业中，对大模型的通用能力要求不高，对指令输出的格式要求高，可以考虑基于ERNIE Speed做SFT，在组件/应用中选择SFT后的模型作为问答解析模型。

详细SFT教程可在其他场景案例中进行查看参考，Post-pretrain可查看最佳实践。

五、大模型效果评估

做完对应的调优后，我们可以对优化效果开始进行评估。这里评估的对象是直接封装好的AppBuilder的应用，评估过程一般包含以下阶段：

5.1 评估数据集准备

这里需要准备出一定数量的评估数据集，因为涉及一定的行业深度，建议请资深专家配合整理，如：

这里需要注意：

5.2 建立评估体系

开始评估前，需要建立对应的评估体系。在本次职业教育解析场景中，我们整理出了如下评估指标：

这里分开评估的目的是，可以根据模型反馈结果，有效的评估Prompt或模型能力在哪些方面还有不足，可以有针对性的进行调优如：

5.3 大模型批量推理评估

接下来，我们对准备好的评估数据集进行跑批量评估，可以通过API或SDK来使用

在大模型的选择上，我们建议建议采用多个模型进行验证，可以观察在不同大模型上的表现差异，帮助确定最终模型选择，如：

ERNIE 4.0 ERNIE 3.5 ERNIE Speed （ERNIE Speed SFT模型可自行尝试评估）

在优化手段的评估上，我们建议把之前所有的优化过程都纳入评估体系中，观察调优效果的变化，包含Prompt Engineering优化手段，以及SFT的优化手段，如分为：

原始Prompt 优化啰嗦&格式的prompt 加入COT和few shot的prompt 其他App builder中思考模型、搜索插件内容整理模型的prompt，可自行尝试评估

六、整体总结

以上，我们基本完成了职业教育解析场景中的飞行员考试解析应用落地。总结一下，通用的落地流程基本可以分为：

业务可行性评估 -> 优化点分析 -> 大模型效果优化 -> 知识库（RAG）&搜索优化 -> 效果评估 -> 确定大模型选择&优化手段选择 -> 部署上线

?

在大模型优化点分析环节，上述思路也适用于其他业务场景：

通过和大模型的多轮交互和评估测试总结出几类问题 -> 分别分析问题根因 -> 判断大模型优化手段（Prompt Engineering/SFT/Post-pretrain……）-> 验证优化结果 -> 根据需求多轮迭代

最后，如果以上优化后的效果，依旧达不到上线要求，可以参考其他优化建议中内容进行尝试

业务demo效果展示

其他优化建议