2007年斯坦福大学教授李飞飞等开启ImageNet图像数据集项目，完成了图片分类和标注，为后续机器学习提供了带标注的数据集，开启了数据标注的发展序幕^[8-10]。但数据标注行业经过十余年发展，针对数据标注的定义仍不明确，此种模糊的认知不利于整个标注行业特别是人工智能医疗器械行业的规范化发展。

为此，YY/T 1833.1-2022《人工智能医疗器械质量要求和评价第1部分：术语》标准中，明确了数据标注的定义，其是指对数据进行分析，添加外部知识的过程^[11]。在此基础上，YY/T 1833.3-2022标准根据数据标注的不同分类形式、关键要素等特点明确了包括标注任务、标注对象、结构化标注等在内的行业常用术语，为数据标注工作的规范和统一提供了必要的基础。

标注任务不同于传统的医疗器械产品，标注任务的说明文档在数据标注质量评价中具有十分重要的地位。在一项具体的标注任务开始前，标注责任方除了需明确标注任务的类型外，还需明确标注规则、标注人员角色构成与分工、决策机制、标注工具、标注环境以及数据方面的要求。从结构角度来看，YY/T 1833.3-2022标准是基于数据标注对完成任务的人、机、物、法、环等几大质控方面提出的要求。

制定清晰、合理的标注规则是整个标注任务顺利开展的基础。因此，在标注任务文档中，首先应明确标注规则。YY/T 1833.3-2022标准针对此方面，提出的要求主要集中于对标注对象的定义需唯一且确定，同时指出标注对象的特征应该是可以验证或测量的，此为确保后续准确标注具有可衡量性的基础；标注对象及标注规则应具有充分的依从性文件作为支撑，如法规文件、技术标准、专家评议、文献分析等；此外，针对标注规则可能导致的偏倚风险，还需进行深入的风险分析。

标注人员作为标注工作的实际执行者，在标注工作中的表现直接决定了标注质量。实际标注中，根据任务的不同，可能需要多名人员承担不同的标注任务，包括初级标注人员、审核人员、仲裁人员等。YY/T 1833.3-2022标准要求标注责任方应在文档中明确描述对标注人员的要求，包括人员资质、选拔依据、培训内容及评估指标等。

标注工具是实现标注工作不可或缺的重要手段。标注工具的质控可参考医疗器械中软件的质控方法开展，YY/T 1833.3-2022标准主要强调了对标注过程中所使用的软件、硬件和平台等应进行描述。标注环境的条件亦是标注工作质量管理的重要影响因素之一。环境条件对标注工作的影响主要表现在温湿度、照明条件及噪声干扰等方面。为保证标注任务的高质量，标注责任方有责任从标注环境对标注人员、标注过程以及标注工具的影响等多角度进行分析，并针对关键的环境要求进行说明。

考虑到人工智能医疗器械产品数据标注工作面对的主要对象为医疗数据，由于数据标注的准确性决定了人工智能算法的有效性，医疗数据标注质量参差不齐可能导致临床误诊、漏诊等风险，甚至威胁患者的生命安全，故医疗数据标注的质量至关重要。

根据医疗数据集管理的整体思路，数据标注的质量特性应包含如下5个方面：

根据前节所述的标注任务质量特性，标注工作应建立完善的质控流程和管理机制，以保证质控工作高效进行。YY/T 1833.3-2022标准分别从业务架构和过程组织两个方面明确了质控流程图的设计要点和相应要求。

从业务架构角度而言，质控流程的设计首先需根据数据流向及人员分工设计出质控业务架构图。数据标注的业务架构图根据标注人员的分工可分为初级标注、审核及仲裁环节。对于典型的医学影像类标注，可将标注任务分解为检出、分类、分割、测量等多项大任务。需注意的是，业务架构图中应明确关键的输入与输出节点，保存相应的标注结果和人员操作记录。

从过程组织的角度来讲，标注的质控流程应从任务生成、任务分配、任务实施、质量控制及安全管理5个方面进行质控架构图设计，以完善整个质控流程的实施。任务生成阶段可理解为数据获取和整理阶段，以及标注工具、标注环境和标注规则的确立阶段。为保证标注工作的可追溯性，该阶段需做好任务生成工作的记录和保存。

任务分配及其实施是标注任务的重点，为确保标注工作可控与可靠，在标注分配过程中，需明确操作权限的设置，在实施阶段也应关注标注进度和标注人员的监控和协调。考虑到标注人员的标注质量是动态变化的，标注工作中应评估标注人员标注结果的可重复性和准确性。

安全管理措施设计是标注质控流程设计中另一个必不可少的重要部分。其需要重点关注标注前的数据脱敏、数据备份，标注过程中的网络安全，以及退出任务前的数据删除等，以保证标注环节中的数据安全性和隐私保护，避免数据泄露。

标注工具的选择主要基于标注任务的需求以及标注对象的数据格式等特点。适宜的标注工具不仅可提高标注任务效率，减少标注人员工作量，同时是数据标注过程中数据安全和高质量数据标注结果的重要保障。YY/T 1833.3-2022标准中采用独立的一个章节明确了标注工具的质控方法，强调了标注工具在标注任务中的重要性，其明确标注工具的质控主要体现在性能和安全性两大方面：

考虑到标注工具的本质属于医用软件，安全特性与临床熟知的医用软件基本一致，因此，其安全质控与常规医用软件的质控方式大致相同。需要关注的是，传统人工标注的低效性与数据需求快速增长之间的矛盾逐渐凸显，因此，半自动甚至全自动标注将是数据标注的发展趋势^[16-17]。

随着人工智能技术的高速发展，人工智能辅助标注已成为目前标注领域的研究热点。人工智能算法辅助的标注工具是基于人工智能技术赋能标注工作，对于提高标注效率大有裨益，故针对此类工具的质控和评价也需引起重视。辅助标注算法应经过确认后交付使用，算法辅助标注的结果亦需要人工审核。YY/T 1833.3-2022标准在附录中对相关内容的评价进行了原则性和功能性分析，为此类标注工具的应用提供了技术指导。

YY/T 1833.3-2022标准针对数据标注的说明文档、质量特性、质控流程和标注工具等方面不仅提出了具体要求且给出了相应的评价方法。参照YY/T 1833.2-2022标准^[18]中对数据集质量评价的思路，YY/T 1833.3-2022标准对于标注结果的一致性和重复性评价亦以抽样检验的方法开展，通过专家论证、专家比对及定量计算等方式进行评价，为实际开展标注质控工作的相关人员提供了明确且全面的操作指导。

为了更完整展示人工智能医疗器械领域数据标注工作的实际内容，YY/T 1833.3-2022标准在附录部分提供了典型的数据标注示例，包括医学影像、心电特征、电子病历、心肺音等多类型临床数据，附录中的示例来自于人工智能医疗器械领域数据标注在临床中的实际应用，从每个标注任务的分类、标注规则、标注人员、标注工具、标注环境以及数据类型等角度分别归类汇总，为相关人员今后开展实际质控工作提供了重要技术参考。

《人工智能医疗器械质量要求和评价第3部分：数据标注通用要求》从质量控制的角度出发，阐述了人工智能医疗器械产品在数据标注工作中可能产生的质量风险，从说明文档、质量特性、质控流程及评价方法等方面分别提出了关键性的建议和要求，对于人工智能医疗器械产品的标注工作具有重要指导和规范作用。该标准作为人工智能医疗器械标注体系内的一项关键基础性标准，必将有助于产品的规范化设计，为行业的快速有序发展提供关键技术指导。