Chat with Wiki - 如果我有一大堆相同公司相同岗位的简历，怎么提取这个岗位关键的职能，用什么工具？

Answer

以下是针对您提取相同公司相同岗位关键职能的建议及可使用的工具：

工具选择：可以使用 ChatGPT4 。由于 LLM 存在 Context Length 限制，单次请求过长文本会导致推理能力下降，所以每次可向其发送 10 个岗位的信息。Moonshot 推理能力也不错，但 json 返回格式尚未完善，因此优先选用 ChatGPT4 。
操作流程：
- 先将简历和 10 个岗位通过 API 发送给 ChatGPT4 ，让其推荐其中 3 个岗位。
- 经过 GPT 筛选 2000 个岗位后，分为 600 个推荐岗位和 1400 个潜在岗位。
- 再通过 ChatGPT4 对每个岗位招聘要求抽取技能（skill NER ）。
- 找出推荐岗位和潜在岗位的技能差异，从而明确自身的优劣势。

此外，还可以使用 DGE-M3 模型对简历和岗位做相似性匹配。具体的 Python 代码如下：

import pandas as pd
from FlagEmbedding import BGEM3FlagModel
1. 读取 cv.txt 文件
with open('cv.txt','r',encoding='utf-8')as file:
    cv_content = file.read()
2. 读取 JobDetails2.xlsx 文件所有字段
job_details = pd.read_excel('JobDetails2.xlsx')
3. 使用 BGE-M3 模型计算相似性
model = BGEM3FlagModel('BAAI/bge-m3',use_fp16=True)
cv_embedding = model.encode([cv_content],batch_size=1,max_length=8192)['dense_vecs']
计算 cv 与每个 job_description 的相似性
similarities =[]
for job_description in job_details['job_description']:
    job_embedding = model.encode([job_description])['dense_vecs']
    similarity = cv_embedding @ job_embedding.T
    similarities.append(similarity.item())
4. 将所有信息汇总保存为 123.xlsx
job_details['similarity']= similarities
job_details.to_excel('123.xlsx',index=False)

Content generated by AI large model, please carefully verify (powered by aily)

References

邬嘉文：AI求职助手

1.将简历和10个岗位通过API发送给ChatGPT4，让它推荐其中3个岗位。LLM有Context Length限制。单次请求过长的文本，推理能力会下降。所有每次请求10个岗位。Moonshot推理能力也是不错的，但是json返回格式还没做，故用GPT4。1.2000个岗位经过GPT筛选后，分为600个推荐岗位和1400个潜在岗位。再通过ChatGPT4对每个岗位招聘要求抽取技能（skill NER）。2.找出推荐岗位和潜在岗位的技能差异，找出自己优劣势。

邬嘉文：AI求职助手

1.使用DGE-M3模型，对简历和岗位做相似性匹配。算法推荐的岗位，红字是一些关键匹配点。算法不太推荐的岗位，蓝字是一些关键匹配点。Python代码<br>|import pandas as pd from FlagEmbedding import BGEM3FlagModel 1.读取cv.txt文件with open('cv.txt','r',encoding='utf-8')as file:cv_content = file.read()2.读取JobDetails2.xlsx文件所有字段job_details = pd.read_excel('JobDetails2.xlsx')3.使用BGE-M3模型计算相似性model = BGEM3FlagModel('BAAI/bge-m3',use_fp16=True)cv_embedding = model.encode([cv_content],batch_size=1,max_length=8192)['dense_vecs']计算cv与每个job_description的相似性similarities =[]for job_description in job_details['job_description']:job_embedding = model.encode([job_description])['dense_vecs']similarity = cv_embedding @ job_embedding.T similarities.append(similarity.item())4.将所有信息汇总保存为123.xlsx job_details['similarity']= similarities job_details.to_excel('123.xlsx',index=False)|