机器学习的数据标注工具

您用丰富数据来训练和部署机器学习模型的数据标注工具可以决定您的 AI 项目的成败。您的工具是否可以创建高性能模型来解决方案？

随着越来越多的提供商为越来越多样化的用例提供选项，数据标注工具生态系统正在迅速变化。工具改进按月进行，有时按周进行。这些变化为现有工具和新兴用例带来了新工具的改进。

新工具、更高级的功能以及选项的更改（例如存储和安全性）使您的工具选择更加复杂。而且，竞争日益激烈的市场使得从真实价值中辨别炒作变得具有挑战性。

我们将其称为不断发展的指南，因为我们将定期更新它以反映数据标注工具生态系统的变化。因此，请务必定期查看新信息，您可以将此页面添加为书签。

在本指南中，我们将介绍用于计算机视觉的数据标注工具和用于监督学习的NLP（自然语言处理）。

首先，我们将更详细地解释数据标注工具的概念，向您介绍关键术语和概念，将为您提供选择工具的注意事项。

基础知识：

数据标注工具和机器学习

什么是数据标注？

在机器学习中，数据标注是标记数据以显示您希望机器学习模型预测的结果的过程。您正在标记（标记、转录或处理）具有您希望机器学习系统学习识别的特征的数据集。部署模型后，您希望它能够自行识别这些功能并做出决定或采取一些行动。

带标注的数据揭示了一些特征，这些特征将训练您的算法在未标注的数据中识别相同的特征。数据标注用于监督学习和涉及监督学习的混合或半监督机器学习模型。

什么是数据标注工具？

数据标注工具是一种基于云的、内部部署的或容器化的软件解决方案，可用于标注用于机器学习的生产级训练数据。虽然一些组织采取自己动手的方法并构建自己的工具，但有许多数据标注工具可通过开源或免费软件获得。

它们也以商业方式提供，用于租赁和购买。数据标注工具通常设计用于特定类型的数据，例如图像、视频、文本、音频、电子表格或传感器数据。

数据标注工具6大功能

1) 数据集管理

标注以一种管理您计划标注的数据集的综合方式开始和结束。作为工作流程的关键部分，您需要确保您考虑的工具能够真正导入并支持您需要标记的大量数据和文件类型。这包括数据集的搜索、过滤、排序、克隆和合并。 

不同的工具可以以不同的方式保存标注的输出，因此您需要确保该工具能够满足您团队的输出要求。最后，您的标注数据必须存储在某个地方。大多数工具将支持本地和网络存储，但云存储——尤其是您首选的云供应商——可能会受到影响，因此请确认支持文件存储目标。

2）注解方法

这显然是数据标注工具的核心功能——将标签应用于数据的方法和功能。但在这方面，并非所有工具都是平等的。许多工具经过严格优化以专注于特定类型的标签，而其他工具则提供广泛的工具组合以支持各种类型的用例。

几乎所有人都提供某种类型的数据或文档分类来指导您如何识别和排序数据。根据您当前和预期的未来需求，您可能希望专注于专家或使用更通用的平台。数据标注工具提供的常见标注功能类型包括构建和管理本体或指南，例如标签图、类、属性和特定的标注类型。

这里仅举几个例子：

图像或视频：边界框、多边形、折线、分类、2-D 和 3-D 点，或分割（语义或实例）、跟踪、转录、插值或转录。

文本：转录、情感分析、网络实体关系 (NER)、词性 (POS)、依赖解析或共指解析。

音频：音频标签、音频到文本、标签、时间标签

许多数据标注工具中的一个新兴功能是自动化或自动标记。使用人工智能，许多工具将帮助您的人工标注员改进他们的标注（例如，自动将四点边界框转换为多边形），甚至无需人工干预即可自动标注您的数据。此外，一些工具可以从人类标注者采取的行动中学习，以提高自动标记的准确性。

一些标注任务已经适合自动化。例如，如果您使用预标注来标记图像，则一组数据标记人员可以确定是调整大小还是删除边界框。对于需要在像素级分割中标注图像的团队来说，这可以缩短流程的时间。尽管如此，自动标注总会存在异常、边缘情况和错误，因此包含用于质量控制和异常处理的人在环方法至关重要。

3) 数据质量控制 

您的机器学习和 AI 模型的性能只会与您的数据一样好。数据标注工具可以帮助管理质量控制 (QC) 和验证过程。理想情况下，该工具将在标注过程中嵌入 QC。

例如，实时反馈和在标注期间启动问题跟踪很重要。此外，可以支持工作流过程，例如标记共识。许多工具将提供质量仪表板，以帮助管理人员查看和跟踪质量问题，并将 QC 任务分配给核心标注团队或专门的 QC 团队。

4) 劳动力管理

每个数据标注工具都旨在供人类劳动力使用——即使是那些可能具有基于 AI 的自动化功能的工具。如前所述，您仍然需要人工来处理异常和质量保证。因此，领先的工具将提供劳动力管理功能，例如任务分配和生产力分析，衡量在每个任务或子任务上花费的时间。

您的数据标记劳动力供应商可能会使用他们自己的技术来分析与质量工作相关的数据。他们可能会使用网络摄像头、屏幕截图、不活动计时器和点击流数据等技术来确定他们如何支持工作人员提供高质量的数据标注。

最重要的是，您的员工必须能够使用并学习您计划使用的工具。此外，您的劳动力供应商应该能够监控员工绩效以及工作质量和准确性。当它们为您提供对外包劳动力的生产力和所执行工作的质量的直接可见性（例如仪表板视图）时，效果会更好。

5) 安全性

无论是标注敏感的受保护个人信息 (PPI) 还是您自己的宝贵知识产权 (IP)，您都希望确保您的数据保持安全。工具应该限制标注者对未分配给她的数据的查看权限，并防止数据下载。根据该工具的部署方式，通过云还是内部部署，数据标注工具可以提供安全的文件访问。

6) 集成标签服务

如前所述，每个工具都需要人力来标注数据，而数据标注的人和技术要素同样重要。因此，许多数据标注工具提供商提供劳动力网络来提供标注即服务。工具供应商要么招募工人，要么通过与劳动力供应商的合作伙伴关系提供对他们的访问。

虽然此功能很方便，但任何劳动力技能和能力都应与工具能力本身分开评估。这里的关键是，任何数据标注工具都应该提供使用工具供应商的劳动力或您选择的劳动力的灵活性，例如一组员工或熟练的、专业管理的数据标注团队。

何时购买数据标注工具

通常，购买市售工具会更便宜，因为您可以避免前期开发和持续的直接支持费用。这使您可以将时间和资源集中在核心项目上：

1.无需为自定义构建的内部工具支持和扩展特性和功能而分心。

2.无需承担为工具提供资金的持续负担，以确保其持续成功。

购买现有的数据标注工具可以加快您的项目时间表，使您能够更快地开始使用企业就绪、经过测试的数据标记工具。此外，工具供应商与许多不同的客户合作，可以将行业最佳实践纳入他们的数据标注工具中。最后，在功能方面，您通常可以配置一个商业工具来满足您的需求，并且可用于任何数据标注工作负载的此类工具不止一种。

当然，第三方数据标注工具通常不会考虑到您的特定用例或工作流，因此您可能会牺牲一定程度的控制和自定义。随着您的项目或产品的发展，您可能会发现您的数据标注工具要求会随着时间而变化。如果您最初购买的工具不支持您的新需求，您将需要构建或购买集成或单独的工具来满足您的新需求。