Label Studio 是一个面向数据标注、AI 评估和人在回路工作流的开源平台，官网将其定位为覆盖从训练数据到生产环境 AI 评估的工具。它支持图像、文档与自然语言处理、音频与语音、时间序列以及多模态数据，并将数据标注、模型辅助标注、基准测试和持续模型评估放在同一个平台中。与只处理单一数据类型的标注工具相比，Label Studio 提供可编程的布局和模板，能够根据数据、任务与评估标准进行调整；同时通过 API、Python SDK 和 Webhooks 连接机器学习或人工智能流水线。
核心功能
LLM 与智能体评估
Label Studio 支持连接可观测性工具，对 Agentic Traces 进行人在回路审查。针对 RLHF 与微调场景，可以收集人工偏好、修正意见和排序结果。对于 LLM 评估，平台支持创建自定义基准与评分标准，并进行并排比较；对于 RAG 与检索问答，则可评估检索相关性，并根据来源内容为生成答案评分。
计算机视觉标注
在图像任务中，平台支持图像分类，将图像放入不同类别。目标检测支持在图像上使用框、多边形、圆形和关键点进行标注。对象跟踪可以逐帧标记和跟踪多个对象；语义分割则用于将图像划分为多个片段，并可使用机器学习模型进行预标注，以优化标注过程。
文档、OCR 与自然语言处理
Label Studio 提供 PDF 与图像 OCR 标注界面，用于处理复杂的大规模文档。命名实体识别可以提取相关信息，并放入预先定义的类别中。问答任务支持根据上下文回答问题；情感分析则用于判断文档属于正面、负面或中性。官网还展示了文档、聊天机器人和 NLP 相关的使用方向。
音频与语音处理
音频转写提供面向规模化处理的界面，强调速度与精度。对于音频文件和相关场景，平台支持波形或频谱视图。说话人分离可以按照说话人身份，把输入音频流划分为同质片段；情绪识别则用于标记和识别音频中的情绪。
时间序列、机器人与物联网数据
针对机器人、传感器和物联网设备，Label Studio 支持对时间序列进行分类，把数据放入不同类别；也支持分割，用于识别与机器学习算法活动类型相关的区域。事件识别可以标记时间序列图表中的单个事件，适用于官网列出的机器人、传感器和物联网设备场景。
多模态数据与模型工作流
多模态功能包括对话处理、光学字符识别以及带参考内容的时间序列。对话处理可以同时转录并处理呼叫中心录音中的文本；光学字符识别可以将图像与文本并排放置；带参考内容的时间序列支持借助视频或音频流，更容易对时间序列进行分割。平台还可从任意存储同步数据，并连接任意模型，用于 AI 辅助标注、基准测试和持续模型评估。
使用方式
官网提供 PIP、Brew、Git 和 Docker 四种快速开始方式。Python 虚拟环境中可以通过 pip install -U label-studio 安装并使用 label-studio 启动；也可以通过 Brew 安装。Git 方式包括克隆仓库、安装依赖、执行数据库迁移与静态文件收集，再运行开发服务器。Docker 方式会将本地目录挂载到容器的数据目录，并通过 http://localhost:8080/ 访问。平台还提供 API、Python SDK 和 Webhooks，用于创建项目、传输预测结果，以及触发训练、主动学习和评估工作流。
适用人群与场景
计算机视觉团队可以使用它完成图像分类、目标检测、对象跟踪和语义分割，为模型准备训练数据或使用模型进行预标注。文档与 NLP 团队可以处理 PDF、图像 OCR、命名实体识别、问答和情感分析任务。语音与音频团队可以进行转写、说话人分离和情绪识别。构建 LLM、RAG 或智能体系统的团队，则可以用它收集人工偏好、评估检索相关性、创建自定义基准，并对智能体轨迹进行人工复核。
