markdown_docs/server/llm_api_stale.md
string_args: 此函数的功能是将参数对象中的键值对转换成字符串格式,以便在命令行中使用。
参数:
_get_kwargs 的方法,该方法返回对象中所有键值对的迭代器。代码描述:
string_args 函数接受两个参数:args 和 args_list。args 是一个对象,它通过 _get_kwargs 方法提供了一系列的键值对。args_list 是一个字符串列表,指定了需要包含在最终字符串中的参数键名。
函数首先初始化一个空字符串 args_str,用于累积最终的参数字符串。然后,它遍历 args 对象的键值对。对于每个键值对,函数首先将键名中的下划线 (_) 替换为短横线 (-),因为命令行参数通常使用短横线而不是下划线。接着,函数检查处理后的键名是否在 args_list 中指定的参数列表里。如果不在,则跳过当前键值对,不将其加入到最终的字符串中。
对于需要处理的键值对,如果键名是 port 或 host,则去除键名中的前缀,只保留 port 或 host。这是因为在某些上下文中,如 fastchat,port 和 host 参数可能不需要前缀。
接下来,函数根据值的类型构建参数字符串。对于布尔值 True,只需添加键名前缀为 -- 的参数;对于列表、元组或集合,将值转换为以空格分隔的字符串;对于其他类型的值,直接将键值对转换为字符串格式,并加入到 args_str 中。
最后,函数返回构建好的参数字符串 args_str。
在项目中的调用关系:
string_args 函数在项目中被多个地方调用,包括 launch_worker、launch_all、launch_api 和 launch_webui 函数。这些调用点传递不同的参数对象和参数列表给 string_args 函数,以生成特定上下文中所需的命令行参数字符串。这表明 string_args 函数在项目中扮演着构建命令行参数字符串的核心角色,为启动不同的服务组件提供支持。
注意:
string_args 函数的 args 对象具有 _get_kwargs 方法。string_args 函数时,应仔细定义 args_list,确保只包含需要转换为命令行参数的键名。输出示例:
假设 args 对象包含 { 'model_path': 'path/to/model', 'worker_host': 'localhost', 'worker_port': 8080, 'use_ssl': True },且 args_list 为 ['model-path', 'worker-host', 'worker-port', 'use-ssl'],则 string_args 函数的输出可能为:
--model path/to/model --host localhost --port 8080 --ssl
launch_worker: 此函数的功能是启动一个工作进程。
参数:
代码描述:
launch_worker 函数首先通过对 item 参数进行分割,提取出模型路径、工作进程主机和端口,然后构建工作进程的地址。接着,函数打印一条消息,提示用户如果工作进程长时间未启动,可以查看日志文件以获取更多信息。此日志文件的名称是基于 item 参数生成的,其中的特殊字符会被替换以确保文件名的有效性。
函数随后调用 string_args 函数,将 args 和 worker_args 转换为字符串格式的命令行参数。这些参数将用于构建启动工作进程的 shell 命令。base_launch_sh 和 base_check_sh 是两个格式化字符串,分别用于生成启动和检查工作进程的 shell 命令。这些命令通过 subprocess.run 函数执行,以实际启动和检查工作进程。
注意:
item 参数的格式正确,即包含模型路径、工作进程主机和端口,且以 "@" 分隔。args 对象应包含所有必要的参数,并且应具有 _get_kwargs 方法,以便 string_args 函数能够正确处理。worker_args 应为一个列表,包含了需要转换为命令行参数的键名。base_launch_sh 和 base_check_sh 格式化字符串,以及 LOG_PATH 常量,确保这些依赖在调用函数前已正确定义和初始化。launch_all: 此函数的功能是启动整个LLM服务,包括控制器、工作进程和服务器。
参数:
代码描述:
launch_all 函数首先打印日志路径信息,提示用户LLM服务正在启动,并且可以在指定的日志路径下监控各模块的日志。接着,函数使用 string_args 函数将 args 对象和 controller_args 列表转换为字符串格式的命令行参数,用于构建启动控制器的 shell 命令。这些命令通过 subprocess.run 函数执行,以实际启动控制器并检查其运行状态。
对于工作进程的启动,函数首先判断 args.model_path_address 是否为字符串。如果是,直接调用 launch_worker 函数启动单个工作进程。如果不是,说明有多个模型路径,函数将遍历这些路径,并对每个路径调用 launch_worker 函数启动对应的工作进程。
最后,函数同样使用 string_args 函数将 args 对象和 server_args 列表转换为字符串格式的命令行参数,用于构建启动服务器的 shell 命令。这些命令通过 subprocess.run 函数执行,以实际启动服务器并检查其运行状态。函数结束时,打印消息提示LLM服务启动完毕。
注意:
launch_all 函数的 args 对象包含所有必要的参数,并且这些参数正确无误。controller_args、worker_args 和 server_args 列表应仔细配置,确保包含启动相应组件所需的所有参数键名。launch_worker 函数的调用依赖于 args.model_path_address 的格式和内容,如果有多个模型路径,请确保它是一个列表或元组。base_launch_sh、base_check_sh 和 LOG_PATH),请确保这些依赖在调用函数前已正确定义和初始化。