pandas 列计算 pandas中求相关系数的方法

本教程详细介绍了如何使用Pandas处理文本特殊数据，识别文本列中预定义了关键词类别的最高出现概率，并为每行分配相应的标签。主题文章提出了文本分词、关键词模糊匹配统计、计算概率最高标签的确定，强调了如何处理关键词的变体（如“lichies”匹配“lichi”）和无匹配项的情况，提提供了清晰的Python代码示例和专业指导。言

在数据分析和自然语言处理（nlp）领域，我们需要经常从大量数据中提取有意义的信息。一个常见的引证需求是识别文本内容关键词类别，例如根据文本中出现的来判断文章的主题。本教程将重点关注一个具体的场景：给定一个包含内容文本的pandas dataframe，以及多组关键词列表（代表不同的类别），我们需要计算每行文本中每个关键词类别的“出现概率”，并最终为每行文本标记出具有最高概率的关键词类别。这里定义的“概率”是：特定关键词类别中的关键词词的总出现次数除以该行文本的总词数。此外，我们填写处理变体（如“lichies”应计入“lichi”）以及文本中未出现任何默认关键词的情况。数据准备

首先，我们创建一个示例Pandas DataFrame和用于分类的关键词列表。这些关键词列表将以字典的形式组织，键为类别名称，值为该类别的关键词列表。import pandas as pdimport refrom collections import Counter# 示例DataFramedata = { 'content'： [ '我最喜欢的水果是芒果。我也喜欢荔枝。我住在au。牛是家养动物。'， '我拥有 RTX 4090...'， '我们和 ca 之间存在政治冲突。'， 'au， br 芒果，荔枝苹果，...\n 猫，牛，猴驴狗' ]}df = pd.DataFrame(data)# 定义类别labels = { 'fruits'： ['mango'， 'apple'， 'lichi']， 'animals'： ['dog'， 'cat'， 'cow'， 'monkey']， 'country'： ['us'， 'ca'， 'au'， 'br']，}print(quot；原始DataFrame：quot；)print(df)登录后复制核心概念与挑战

要实现上述目标，我们需要解决以下几个关键问题：文本分词 （分词）：将原始文本分割成独立的单词，同时处理标点符号和大小写入。关键词模糊匹配：根据需求，我们需要识别关键词的变体。例如，如果关键词是“lichi”，那么文本中的“lichies”也应该计入。这意味着简单精确的字符串匹配可能不足。概率计算：根据定义的公式概率=（关键词类别中关键词的总出现次数）/（该行文本的总词数）来计算每个类别的概率。最高概率标签确定：在所有类别中找出概率最高的那个。

无匹配项处理：如果某行文本中没有出现任何预设的，则应返回特定的标记（例如'NaN'）。实现方案详细解

我们将创建一个自定义函数calculate_probability，然后使用Pandas的.apply()方法将其应用到DataFrame的内容列上。 calculate_probability函数实现

该函数将接收一行文本内容和关键词类别字典作为输入，并返回该行文本的最高概率标签。 ModelScope

魔搭开源模型社区定制了下一代开源的模型即服务共享平台 467 查看详情 defcalculate_probability(text， labels_dict)： quot；quot；quot；计算文本中各类别的概率，并返回最高概率的类别标签。 参数： text (str)：输入的文本内容。 labels_dict (dict)：类别字典，键为类别名，值为关键词列表。返回： str：具有最高概率的关键词类别标签，如果所有概率为 0 则返回 'NaN'。 quot；quot；quot； # 1. 文本分词与小写化 # 使用正则表达式匹配单词边界，提取所有单词并为小写。 # 这有利于处理标点符号并实现大小写不敏感的匹配。

words = re.findall(r'\b\w \b'， text.lower()) word_count = len(words) # 如果文本中单词，则无法计算概率，直接返回 'NaN' if word_count == 0： return 'NaN' probs = {} # 2.遍历每个类别，没有进行模糊匹配与概率 for label_name，keyword_list in labels_dict.items()：keywordkey_matches_count = 0 # 遍历文本中的每个单词 for text_word in Words： # 遍历当前类别的每个关键词 for keywords in keywords_list： # 模糊匹配：如果文本中的单词包含（作为子串）每个关键词 # 如：'lichies' 包含 'lichi'，'dogs' 包含 'dog' if keywords in text_word：keyword_matches_count = 1 break # 找到一个匹配后，当前 text_word 不再与关键词比较，避免重复计数 # 3.概率计算 probs[label_name] = keywords_matches_count / word_count # 4. 查找任意最高概率的标签 # 使用 max() 函数和 key 参数，根据字典值（概率）找到对应的键（标签） max_label = max(probs， key=probs.get) # 5. 处理所有概率结果 0 的情况 # 如果最高值概率大于 0，则返回该标签；否则，表示没有匹配到关键词，返回 'NaN' if probs[max_label] gt； 0： return max_label else： return 'NaN'登录后复制2. 将函数评估DataFrame

现在，我们可以使用Pandas的.apply()方法将calculate_probability函数应用到df['content']列上，创建新的标签列。请注意，.apply()在评估系列时，函数默认接收系列中的每个元素作为第一个参数。其他参数可以通过**kwargs传递。

# 将函数应用到DataFrame的 'content' 列# labels=labels 提供我们定义的关键词类别字典作为额外参数传递给函数 df['label'] = df['content'].apply(calculate_probability， labels_dict=labels)print(quot；\n处理后的DataFrame：quot；)print(df)登录后复制完整代码import pandas as pdimport refrom collections import Counter# 示例DataFramedata = { 'content'： [ '我最喜欢的水果是芒果。我也喜欢荔枝。我住在au。牛是家养动物。'， '我拥有 RTX 4090...'， '我们和 ca 之间存在政治冲突。'， 'au， br 芒果，荔枝苹果，...\n 猫，牛，猴驴狗' ]}df = pd.DataFrame(data)# 定义类别labels = { 'fruits'： ['mango'， 'apple'， 'lichi']， 'animals'： ['dog'， 'cat'， 'cow'， 'monkey']， 'country'： ['us'， 'ca'， 'au'， 'br']，}defulate_probability(text， labels_dict)： quot；quot；quot；计算文本中各类别的概率，并返回概率最高的类别标签。 内容参数： text (str)：输入的文本。 labels_dict (dict)： 关键词类别字典，键为类别名，值为关键词列表。 返回： str：具有最高概率的类别标签，如果所有概率序列为0则返回 'NaN'。

quot；quot；quot；words = re.findall(r'\b\w \b'，text.lower()) word_count = len(words) if word_count == 0： return 'NaN' probs = {} for label_name，keyword_list in labels_dict.items()：keyword_matches_count = 0 for text_word in Words： for keywords in keywords_list： #模糊匹配：如果文本中的单词包含（作为子串）任一关键词 if keywords in text_word：keyword_matches_count = 1 break probs[label_name] = keywords_matches_count / word_count max_label = max(probs， key=probs.get) if probs[max_label] gt； 0： return max_label else： return 'NaN'# 应用函数 df['label'] = df['content'].apply(计算概率， labels_dict=labels)print(quot；最终结果：quot；)print(df)登录后复制结果显示

运行上述代码，您将得到如下输出： content label0 我最喜欢的水果是芒果。我也喜欢荔枝...水果1 我拥有RTX 4090... NaN2 我们和约之间存在政治冲突。 Country3 au， br mango， lichi apple，.... \n cat，cow，mo... 动物登录后复制

注意：样本输出中内容 4 的标签为动物，这与问题描述中 P(fruits) = 3/10， P(animals) = 4/10， P(country)=2/10 最高概率： 动物一致，表明我们的模糊匹配逻辑

以上就是Pandas文本列关键词概率计算及最高概率标签提取教程的详细内容，更多请关注乐哥常识网其他相关文章！

word python go 正则表达式 app apple 自然语言处理 Python pandas nlp 数据分析 大家都在看： 解决docxtpl渲染Word文档时图片丢失的问题 解决docxtpl渲染Word模板时图片丢失的问题 将Excel表格数据带样式复制到Word文档：Python实现教程 将Excel表格数据带样式复制到Word文档的教程 Python怎样操作Word文档？python-docx库详解