指定文件夹按指定数量分组文件

背景和环境说明

本程序使用 python 3.10+
机器学习，打标中需要对数据集进行分批次，比如10个人，需要分10组，熟练的人分多个点等情况。需要对标注的图片进行分组,分批次导入标注系统进行标注。

依赖包下载

pip install -U NStudyPy

使用

from NStudyPy import PyFile

if __name__ == '__main__':   
    PyFile.random_split_s(source_dir=r'F:\temp\cards', target_dir=r'F:\temp\target', s=(100, 400, 250, 250))

获取文件md5值

背景和环境说明

本程序使用 python 3.10+

依赖包下载

pip install -U NStudyPy

使用

from NStudyPy import PyFile

if __name__ == '__main__':
    PyFile.get_md5(r'F:\temp\filename.png')

获取文件夹文件

背景和环境说明

本程序使用 python 3.10+

依赖包下载

pip install -U NStudyPy

使用

from NStudyPy import PyFile

if __name__ == '__main__':
    PyFile.get_file_list(r'F:\temp\cards', is_recursive=True)

删除指定文件夹重复的文件

背景和环境说明

本程序使用 python 3.10+
机器学习，样本处理过程中会有重复的数据。这里的样本是图片，本程序根据文件MD5 删除重复文件。

依赖包下载

pip install -U NStudyPy

使用

from NStudyPy import PyFile

if __name__ == '__main__':
    PyFile.delete_repeat_file(r'F:\temp\cards', is_recursive=True)

获取重复的文件

背景和环境说明

本程序使用 python 3.10+
机器学习，样本处理过程中会有重复的数据。这里的样本是图片，本程序根据文件MD5 获取重复文件。

依赖包下载

pip install -U NStudyPy

使用

from NStudyPy import PyFile

if __name__ == '__main__':
    PyFile.get_repeat_file(r'F:\temp\cards', is_recursive=True)

LabelStudio环境搭建以及使用且解除上传文件限制

LabelStudio 介绍

LabelStudio 是一个开源的数据标注工具，广泛应用于机器学习和人工智能领域的数据预处理。它提供了一个强大的界面，支持各种类型的数据标注任务，包括文本、图像、音频和视频等。以下是 LabelStudio 的主要功能和特点：

主要功能

1. 多种标注类型：支持文本分类、命名实体识别、图像分割、对象检测、音频转录和视频标注等任务。
2. 可扩展性：提供了丰富的插件和扩展，可以根据具体需求自定义标注界面和功能。
3. 团队协作：支持多用户协作，用户可以分配任务、审核标注结果，并跟踪标注进度。
4. 数据导入与导出：支持从多种数据源导入数据，并能导出为多种格式，如 JSON、CSV 等，方便与其他工具集成。
5. 版本控制：记录每次标注的历史版本，方便回溯和比较标注结果。
6. 自动标注：集成了机器学习模型，可以进行自动标注，提升标注效率。

背景和环境说明

随着Python3.8+不在维护，以及新的部署包逐渐不在支持Python3.8+，所以新的开发程序需要再Python3.10+版本，或其他版本上运行。
在开发完应用后，我需要打包成docker image, 用的基础镜像是 nvidia/cuda:11.7.1-cudnn8-devel-ubuntu20.04。默认Python环境仍然是Python3.8+。故本教程主要在此镜像基础上安装Python3.10版本。
原则上同样适用于其他Ubuntu等Linux系统