Pythonargparse命令参数与config配置参数示例深入详解

# 文件名为main.py
class DoSomething():
    def working(self):
        pass
if __name__ == '__main__':
    import argparse  # 步骤一：导入模块
    # 启动参数
    parser = argparse.ArgumentParser()  # 步骤二：创建一个解析对象
    # 步骤三：向解析对象中添加你要关注的命令行参数和选项
    parser.add_argument('--labels_dir', type=str,
        help='标签目录', default='./data/labels')   # help的值就是你对这个参数labels_dir的作用描述
    parser.add_argument('--models_dir', type=str,
        help='模型跟目录', default='./data/models')  # type的值就是你对这个参数models_dir数据类型的指定
    parser.add_argument('--last_dir_name', type=str,
        help='文件后序名', default='_seq_month_serial')  # default的值就是你对这个参数last_dir_name设置的默认值
    parser.add_argument('--batch_size', type=int,
        help='批次大小', default=64)
    parser.add_argument('--classes', type=int,
        help='聚类数', default=9)
    parser.add_argument('--predict_date', type=str,
        help='预测年月', default='202101')
    parser.add_argument('--last_date', type=str,
        help='输入最后年月', default='202001')
    parser.add_argument('--only_predict', action="store_true",  # action的值就是你对这个参数only_predict设置了布尔数据类型，并且默认值为True
        help='只识别，不训练')
    parser.add_argument('--delete_model', action="store_true",
        help='先删除模型，仅在训练时使用')
    parser.add_argument('--hidden_size', type=int,
        help='模型维度', default=128)
    parser.add_argument('--learning_rate', type=float,
        help='学习速率', default=5e-4)
    parser.add_argument('--export_excel', action="store_true",
        help='导出excel')
    parser.add_argument('--loss_type', type=str,
        help='loss类型', default='cateGorical_crossentropy')
    parser.add_argument('--avg_model_num', type=int,
        help='平均模型数', default=10)
    parser.add_argument('--get_data', action="store_true",
        help='重新获取数据')
    argparse_args = parser.parse_args()  # 步骤四：进行解析
	# vars() 函数返回对象object的属性和属性值的字典对象。
    args_default = vars(argparse_args)  # 步骤五，将解析值转换成字典对象，然后就可以使用了
    print(type(argparse_args))  
    print(argparse_args)
    print('分割线')
    print(type(args_default))    # 是字典数据类型
    print(args_default)  # 将这个字典传入到程序中，就可以拿到这些参数的所有值了

class ShareArgs():
	# args就是整个项目经常使用到的默认参数，经常不需要进行变动，所以就写在这里。然后通过update的更新写到启动文件的字典参数里面
    args = {
        "labels_dir":"./shop_group/month_w_amt/data/labels", # 标签目录
        "labels_output_dir":"./shop_group/month_w_amt/data/labels_output", # 聚类导出标签目录
        "common_datas_dir":"./data", # 共用数据目录
        "only_predict": False, # 只识别，不训练
        "delete_model": True, # 先删除模型，仅在训练时使用
        "export_excel": False, # 导出excel
        "classes": 12, # 聚类数
        "batch_size": 16,
        "hidden_size": 32,
        "max_nrof_epochs": 100,
        "learning_rate": 0.0005,
        "loss_type": "categorical_crossentropy",
        "avg_model_num": 10,
        "steps_per_epoch": 4.0, # 4.0
        "lr_callback_patience": 4, 
        "lr_callback_cooldown": 1,
        "early_stopping_callback_patience": 6,
        "get_data": True,
    }
    def get_args():  # 获取参数字典
        return ShareArgs.args
    def set_args(args):  # 一次性更新修改所有参数字典的值
        ShareArgs.args = args
    def set_args_value(key, value):  # 根据索引更新参数字典的值
        ShareArgs.args[key] = value
    def get_args_value(key, default_value=None):  # 获取指定索引的默认参数的值
        return ShareArgs.args.get(key, default_value)
    def contain_key(key):  # 判断索引是否在参数字典里面
        return key in ShareArgs.args.keys()
    def update(args):  # 用于更新字典中的键/值对，可以修改存在的键对应的值，也可以添加新的键/值对到字典中
        ShareArgs.args.update(args)

import sys
base_dir = ''
sys.path.append(base_dir)
from share_args import ShareArgs
class DoSomething():
    def working(self):
        print('ShareArgs.args : ',ShareArgs.args)
if __name__ == '__main__':
    import argparse  # 步骤一：导入模块
    # 启动参数
    parser = argparse.ArgumentParser()  # 步骤二：创建一个解析对象
    # 步骤三：向解析对象中添加你要关注的命令行参数和选项
    parser.add_argument('--labels_dir', type=str,
        help='标签目录', default='./data/labels')   # help的值就是你对这个参数labels_dir的作用描述
    parser.add_argument('--models_dir', type=str,
        help='模型跟目录', default='./data/models')  # type的值就是你对这个参数models_dir数据类型的指定
    parser.add_argument('--last_dir_name', type=str,
        help='文件后序名', default='_seq_month_serial')  # default的值就是你对这个参数last_dir_name设置的默认值
    parser.add_argument('--batch_size', type=int,
        help='批次大小', default=64)
    parser.add_argument('--classes', type=int,
        help='聚类数', default=9)
    parser.add_argument('--predict_date', type=str,
        help='预测年月', default='202101')
    parser.add_argument('--last_date', type=str,
        help='输入最后年月', default='202001')
    parser.add_argument('--only_predict', action="store_true",  # action的值就是你对这个参数only_predict设置了布尔数据类型，并且默认值为True
        help='只识别，不训练')
    parser.add_argument('--delete_model', action="store_true",
        help='先删除模型，仅在训练时使用')
    parser.add_argument('--hidden_size', type=int,
        help='模型维度', default=128)
    parser.add_argument('--learning_rate', type=float,
        help='学习速率', default=5e-4)
    parser.add_argument('--export_excel', action="store_true",
        help='导出excel')
    parser.add_argument('--loss_type', type=str,
        help='loss类型', default='categorical_crossentropy')
    parser.add_argument('--avg_model_num', type=int,
        help='平均模型数', default=10)
    parser.add_argument('--get_data', action="store_true",
        help='重新获取数据')
    argparse_args = parser.parse_args()  # 步骤四：进行解析
	# vars() 函数返回对象object的属性和属性值的字典对象。
    args_default = vars(argparse_args)  # 步骤五，将解析值转换成字典对象，然后就可以使用了
    # print(type(argparse_args))  
    # print(argparse_args)
    # print('分割线')
    # print(type(args_default))    # 是字典数据类型
    # print(args_default)  # 将这个字典传入到程序中，就可以拿到这些参数的所有值了
    ShareArgs.update(args_default)  # 将很多的默认参数更新到这里来
    DoSomething().working()

# !pip install PyYaml  # yaml文件的解析去B站看个10分钟教学视频即可学会，在这里不详细解释了
import yaml
def read_yml(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        return yaml.load(file, Loader=yaml.FullLoader)
def get_config(base_dir, logger=None):  # logger 表示日志对象
    if not os.path.exists(os.path.join(base_dir, './data/is_local.txt')):
        if logger:
            logger.info('加载正式环境配置：./config.yml')
        else:
            print('加载正式环境配置：./config.yml')
        config = read_yml(os.path.join(base_dir, './config.yml'))
    else:
        if logger:
            logger.info('加载测试环境配置：./config_dev.yml')
        else:
            print('加载测试环境配置：./config_dev.yml')
        config = read_yml(os.path.join(base_dir, './config_dev.yml'))
    return config

import sys
base_dir = ''
sys.path.append(base_dir)
from share_args import ShareArgs
class DoSomething():
    def working(self, config=None):
        print('ShareArgs.args : ',ShareArgs.args)
		print('config', config)
if __name__ == '__main__':
    import argparse  # 步骤一：导入模块
    # 启动参数
    parser = argparse.ArgumentParser()  # 步骤二：创建一个解析对象
    # 步骤三：向解析对象中添加你要关注的命令行参数和选项
    parser.add_argument('--labels_dir', type=str,
        help='标签目录', default='./data/labels')   # help的值就是你对这个参数labels_dir的作用描述
    parser.add_argument('--models_dir', type=str,
        help='模型跟目录', default='./data/models')  # type的值就是你对这个参数models_dir数据类型的指定
    parser.add_argument('--last_dir_name', type=str,
        help='文件后序名', default='_seq_month_serial')  # default的值就是你对这个参数last_dir_name设置的默认值
    parser.add_argument('--batch_size', type=int,
        help='批次大小', default=64)
    parser.add_argument('--classes', type=int,
        help='聚类数', default=9)
    parser.add_argument('--predict_date', type=str,
        help='预测年月', default='202101')
    parser.add_argument('--last_date', type=str,
        help='输入最后年月', default='202001')
    parser.add_argument('--only_predict', action="store_true",  # action的值就是你对这个参数only_predict设置了布尔数据类型，并且默认值为True
        help='只识别，不训练')
    parser.add_argument('--delete_model', action="store_true",
        help='先删除模型，仅在训练时使用')
    parser.add_argument('--hidden_size', type=int,
        help='模型维度', default=128)
    parser.add_argument('--learning_rate', type=float,
        help='学习速率', default=5e-4)
    parser.add_argument('--export_excel', action="store_true",
        help='导出excel')
    parser.add_argument('--loss_type', type=str,
        help='loss类型', default='categorical_crossentropy')
    parser.add_argument('--avg_model_num', type=int,
        help='平均模型数', default=10)
    parser.add_argument('--get_data', action="store_true",
        help='重新获取数据')
    argparse_args = parser.parse_args()  # 步骤四：进行解析
	# vars() 函数返回对象object的属性和属性值的字典对象。
    args_default = vars(argparse_args)  # 步骤五，将解析值转换成字典对象，然后就可以使用了
    # print(type(argparse_args))  
    # print(argparse_args)
    # print('分割线')
    # print(type(args_default))    # 是字典数据类型
    # print(args_default)  # 将这个字典传入到程序中，就可以拿到这些参数的所有值了
    ShareArgs.update(args_default)  # 将很多的默认参数更新到这里来
    # DoSomething().working()
	import config_helper as config_helper
    config = config_helper.get_config(base_dir, None)
	DoSomething().working(config)