Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何计算两耳文本的相识度

Answer

计算两耳文本的相似度通常可以通过以下步骤和方法:

  1. 文本预处理:将文本转为 tokens,再转为向量。
  2. 相似度计算:在文本转为向量后,通过欧式距离或 cosin 角度来计算两个文本之间的相似性。
  3. 聚类分析:可以将向量通过主成分分析降维到 2 维空间,观察文本聚类效果。
  4. 文本单位定义:文本统计单位“1”通常是以二级类别来衡量,例如屏幕模糊,它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别情况,目前多采用人工统计。
  5. 算法应用:使用 SBERT 算法时,会将描述主体相同且带有相似形容词的文本设为高相似性。但在某些情况下,不能将三级类目作为文本统计项。
  6. 借助工具:如可以询问 Claude 两段文本在含义上是否大致相同,通过特定的提示格式让 Claude 进行判断和回答。
Content generated by AI large model, please carefully verify (powered by aily)

References

分析:GPT+SBERT做用研统计

本段介绍文本挖掘的底层思考。1.在文本世界,文本会转为tokens,再转为向量,放到计算机里面运算,找出规律(model)。1.在文本转为向量后,通过欧式距离或cosin角度计算两个文本之间的相似性。下图是是将向量通过主成分分析降维到2维空间,看到文本聚类效果。1.文本单位定义1.1.以屏幕显示质量和设备兼容性在二维分布为例,属于两个不同的clustering(类别)。1.2.假如我们统计屏幕边缘模糊,在使用SBERT算法时,会将屏幕色彩艳丽,文本模糊等设为高相似性,因为他们都在描述(主体:屏幕)+(形容词)。所以我们不能将三级类目作为文本统计项,即定义为基本单位“1”。1.3.文本基本单位“1”是以二级类别来衡量,即屏幕模糊。它包括画面模糊、边缘模糊、文本模糊等细分情况。若真的需要统计三级类别情况,目前只能人工统计。1.4.声明:屏幕模糊是极少部分用户个案,XREAL屏幕质量比其他厂商好。文本统计单位“1”是一个clustering概念,因为向量空间难以找到100%一样的两个单位,更多距离更近的单位,所以统计以clustering计算。

邬嘉文:AI做用户研究|Claude 3 Opus可以直接输出用户研究报告

本段介绍文本挖掘的底层思考。1.在文本世界,文本会转为tokens,再转为向量,放到计算机里面运算,找出规律(model)。1.在文本转为向量后,通过欧式距离或cosin角度计算两个文本之间的相似性。下图是是将向量通过主成分分析降维到2维空间,看到文本聚类效果。1.文本单位定义1.1.以屏幕显示质量和设备兼容性在二维分布为例,属于两个不同的clustering(类别)。1.2.假如我们统计屏幕边缘模糊,在使用SBERT算法时,会将屏幕色彩艳丽,文本模糊等设为高相似性,因为他们都在描述(主体:屏幕)+(形容词)。所以我们不能将三级类目作为文本统计项,即定义为基本单位“1”。1.3.文本基本单位“1”是以二级类别来衡量,即屏幕模糊。它包括画面模糊、边缘模糊、文本模糊等细分情况。若真的需要统计三级类别情况,目前只能人工统计。1.4.声明:屏幕模糊是极少部分用户个案,XREAL屏幕质量比其他厂商好。文本统计单位“1”是一个clustering概念,因为向量空间难以找到100%一样的两个单位,更多距离更近的单位,所以统计以clustering计算。

Cookbook: Claude2 中文精读

你可以给Claude许多类型的文本——文章、电子邮件、会议记录、数据库记录等,它可以帮助你消化、解释和回答相关问题。由于其具有10万标记上下文窗口,Claude可以分析数以万计的单词。以下是这种能力的一些基本应用。[heading2]评估文本相似度[content]我们可以询问Claude两段文本在含义上是否大致相同。检查文本相似性的提示:人类:你将要检查两句话是否大致表达了相同的意思。这是第一句话:"{{SENTENCE1}}"这是第二句话:"{{SENTENCE2}}"如果它们的意思大致相同,请以"[YES]"开始你的回答,如果不相同,请以"[NO]"开始。助手:[通过用[开始Claude自己的回答,我们帮助"强化"了提示指令,即使用该格式并以yes或no开头回应的指示。[heading2]回答有关文本的问题[content]检查文本相似性的提示:在这里,我们提供了一个会议记录给Claude,并提出了一个问题,让Claude使用这个记录来回答问题。文本问答提示人类:我将给你一个会议记录的示例,然后我将问你一些关于记录的问题。<transcript>{{TEXT}}</transcript>这是第一个问题:{{QUESTION}}助手:引用来源要查看我们要求Claude基于文档回答问题并引用答案来源的示例提示,请参阅高级文本分析。

Others are asking
朗读文本的ai工具有哪些
以下是一些常见的朗读文本的 AI 工具: 1. 剪映中的文本朗读功能:可将输入的文本转换成剪映系统自带的各种成品音色,如四郎等,选择合适音色点击开始朗读即可生成。 2. DubbingX:一款不错的配音工具。 3. Eleven Labs:功能强大且多功能的 AI 语音软件,能高保真地呈现人类语调和语调变化,并能根据上下文调整表达方式。 4. Speechify:人工智能驱动的文本转语音工具,可将文本转换为音频文件,可在多种平台使用。 5. Azure AI Speech Studio:提供支持 100 多种语言和方言的语音转文本和文本转语音功能,还提供自定义的语音模型。 6. Voicemaker:可将文本转换为各种区域语言的语音,并允许创建自定义语音模型,易于使用。 您可以根据自己的需求选择适合的工具。
2025-04-14
推荐一下从文本生成播客音频的AI 工具
以下是一些可以从文本生成播客音频的 AI 工具: :为所有人提供开放的语音技术。 :基于 AI 的语音引擎能够模仿人类语音的情感和韵律。 :基于 NLP 的最先进文本和音频编辑平台,内置数百种 AI 声音。 :使用突触技术和脑机接口将想象的声音转化为合成 MIDI 乐器的脑控仪器。 :为出版商和创作者开发最具吸引力的 AI 语音软件。 :Wondercraft 使用户能够使用文本转语音技术生成播客。 :基于生成机器学习模型构建内容创作的未来。 :从网页仪表板或 VST 插件生成录音室质量的 AI 声音并训练 AI 语音模型。 此外,还有 NotebookLlama:Meta 的播客生成教程,它使用 Llama 模型从 PDF 中提取文本,生成干净的.txt 文件,转化文本为播客转录,创造富有创意的内容,对转录进行戏剧化处理,提高互动性和吸引力,最终将文本转换为播客音频,支持多种 TTS 模型。详细介绍:
2025-04-12
请为我生成一些提示词以用于将视频中的对话转化为文本形式
以下是为您生成的一些用于将视频中的对话转化为文本形式的提示词: 1. 角色:专业视频转文本工作者 2. 版本:1.0 3. 描述:能够准确、清晰地将视频中的对话转换为文本 4. 目标:完整、无误地将视频中的对话转化为易于理解的文本 5. 限制:不遗漏重要信息,不添加主观内容 6. 技能:熟练掌握语音识别和文字转换技巧 7. 工作流程:先仔细聆听视频对话,然后逐句转换为文字,注意标点和语法的正确使用 8. 初始化:您好,我准备开始将视频对话转换为文本 事件驱动句式: 1. As the video plays... 2. When the speakers start talking... 3. At the beginning of the video... 空间锁定技巧: 1. on the left side of the screen... 2. behind the main character... 3. from the top corner of the frame... 动态呼应原则: 1. swaying with the background music... 2. reacting to the other characters' actions... 3. matching the tone of the video...
2025-04-11
我是一个新手,请给我一些AI文本工具的操作指南
以下是为您提供的一些 AI 文本工具的操作指南: AI 内容检测工具 1. 功能:提供免费的 AI 内容检测工具,可识别文本是否由 AI 生成。 使用方法:将文本粘贴到在线工具中,点击检测按钮,系统会提供分析结果。 2. GPTZero 功能:专门设计用于检测由 GPT3 生成的内容,适用于教育和出版行业。 使用方法:上传文档或输入文本,系统会分析并提供报告,显示文本是否由 GPT3 生成。 3. Content at Scale 功能:提供 AI 内容检测功能,帮助识别文本是否由 AI 生成。 使用方法:将文本粘贴到在线检测工具中,系统会分析并提供结果。 TecCreative 创意工具箱 1. AI 字幕 操作指引:点击上传视频——开始生成——字幕解析完成——下载 SRT 字幕。 注意:支持 MP4 文件类型,大小上限为 50M。 2. 文生图 操作指引:输入文本描述(关键词或场景描述等)——选择模型(注意 FLUX 模型不可商用)——开始生成——下载。 3. AI 翻译 操作指引:输入原始文本——选择翻译的目标语言——开始生成。 4. TikTok 风格数字人 操作指引:输入口播文案——选择数字人角色——点击开始生成。 视频默认输出语言和输入文案语言保持一致,默认尺寸为 9:16 竖版。 5. 多场景数字人口播配音 操作指引:输入口播文案——选择数字人角色和场景——选择输出类型——点击开始生成。 视频默认输出语言和输入文案语言保持一致。 AI 文章排版工具 1. Grammarly 不仅是语法和拼写检查工具,还提供排版功能,可改进文档整体风格和流畅性。 2. QuillBot AI 驱动的写作和排版工具,可改进文本清晰度和流畅性,保持原意。 3. Latex 虽不是纯粹的 AI 工具,但广泛用于学术论文排版,使用标记语言描述文档格式,有许多 AI 辅助的编辑器和插件简化排版过程。 4. PandaDoc 文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 5. Wordtune AI 写作助手,可重新表述和改进文本,使其更清晰专业,保持原始意图。 6. Overleaf 在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的 AI 文章排版工具取决于您的具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 受欢迎,因其提供强大排版功能和广泛学术支持。对于一般文章和商业文档,Grammarly 和 PandaDoc 等工具可能更适用。
2025-04-11
AI文本工具操作文档
以下是为您整理的一些 AI 文本工具的操作文档: AIGC 论文检测网站 1. 功能:提供免费的 AI 内容检测工具,可识别文本是否由 AI 生成。 使用方法:将文本粘贴到在线工具中,点击检测按钮,系统会提供分析结果。 2. GPTZero 功能:专门设计用于检测由 GPT3 生成的内容,适用于教育和出版行业。 使用方法:上传文档或输入文本,系统会分析并提供报告,显示文本是否由 GPT3 生成。 3. Content at Scale 功能:提供 AI 内容检测功能,帮助用户识别文本是否由 AI 生成。 使用方法:将文本粘贴到在线检测工具中,系统会分析并提供结果。 【TecCreative】帮助手册 1. 创意工具箱 AI 字幕 智能识别视频语言并生成对应字幕,满足海外多国投放场景需求。 操作指引:点击上传视频——开始生成——字幕解析完成——下载 SRT 字幕。注意:支持 MP4 文件类型,大小上限为 50M。 文生图 仅需输入文本描述,即可一键生成图片素材,海量创意灵感信手拈来! 操作指引:输入文本描述(关键词或场景描述等)——选择模型(注意 FLUX 模型不可商用)——开始生成——下载。 AI 翻译 支持多语种文本翻译,翻译结果实时准确,助力海外投放无语言障碍! 操作指引:输入原始文本——选择翻译的目标语言——开始生成。 TikTok 风格数字人 适配 TikTok 媒体平台的数字人形象上线,100+数字人模板可供选择,助力 TikTok 营销素材生产无难度! 操作指引:输入口播文案——选择数字人角色——点击开始生成。视频默认输出语言和输入文案语言保持一致,默认尺寸为 9:16 竖版。 多场景数字人口播配音 支持生成不同场景下(室内、户外、站姿、坐姿等)的数字人口播视频,一键满足多场景投放需求! 操作指引:输入口播文案——选择数字人角色和场景——选择输出类型——点击开始生成。视频默认输出语言和输入文案语言保持一致。 工具教程:AI 漫画 Anifusion 网址:https://anifusion.ai/ ,twitter 账号:https://x.com/anifusion_ai 功能: AI 文本生成漫画:用户输入描述性提示,AI 会根据文本生成相应的漫画页面或面板。 直观的布局工具:提供预设模板,用户也可自定义漫画布局,设计独特的面板结构。 强大的画布编辑器:在浏览器中直接优化和完善 AI 生成的艺术作品,调整角色姿势、面部细节等。 多种 AI 模型支持:高级用户可访问多种 LoRA 模型,实现不同的艺术风格和效果。 商业使用权:用户对在平台上创作的所有作品拥有完整的商业使用权,可自由用于商业目的。 使用案例: 独立漫画创作:有抱负的漫画艺术家无需高级绘画技能即可将他们的故事变为现实。 快速原型设计:专业艺术家可以在详细插图之前快速可视化故事概念和布局。 教育内容:教师和教育工作者可以为课程和演示创建引人入胜的视觉内容。 营销材料:企业可以制作动漫风格的促销漫画或用于活动的分镜脚本。 粉丝艺术和同人志:粉丝可以基于他们最喜欢的动漫和漫画系列创作衍生作品。 优点: 非艺术家也可轻松进行漫画创作。 基于浏览器的全方位解决方案,无需安装额外软件。 快速迭代和原型设计能力。 创作的全部商业权利。 缺点:(未提及)
2025-04-11
AI文本工具
以下是关于 AI 文本工具的相关信息: AI 文章排版工具: AI 文章排版工具主要用于自动化和优化文档的布局和格式,特别是在处理学术论文和专业文档时。以下是一些流行的工具: 1. Grammarly:不仅是语法和拼写检查工具,还提供排版功能,可改进文档风格和流畅性。 2. QuillBot:AI 驱动的写作和排版工具,能改进文本清晰度和流畅性,保持原意。 3. Latex:常用于学术论文排版,使用标记语言描述格式,有许多 AI 辅助的编辑器和插件。 4. PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 5. Wordtune:AI 写作助手,重新表述和改进文本,使其更清晰专业,保持原始意图。 6. Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 受欢迎;对于一般文章和商业文档,Grammarly 和 PandaDoc 等更适用。 在线 TTS 工具: Text to Speech(TTS)将文本转换为自然的语音输出。在 WaytoAGI 的工具网站上有一系列推荐:https://www.waytoagi.com/sites/category/50 。以下是几个编辑精选的工具: 1. Eleven Labs:https://elevenlabs.io/ ,功能强大且多功能的 AI 语音软件,能生成逼真、高品质音频,可根据上下文调整表达方式。 2. Speechify:https://speechify.com/ ,人工智能驱动的文本转语音工具,可作为多种应用使用,用于收听网页、文档等。 3. Azure AI Speech Studio:https://speech.microsoft.com/portal ,提供支持 100 多种语言和方言的语音转文本和文本转语音功能,还提供自定义语音模型。 4. Voicemaker:https://voicemaker.in/ ,可将文本转换为各种区域语言的语音,并允许创建自定义语音模型,适合为视频制作画外音或帮助视障人士。 AIGC 论文检测网站: 1. :提供免费的 AI 内容检测工具,可识别文本是否由 AI 生成。使用方法是将文本粘贴到在线工具中,点击检测按钮获取分析结果。 2. GPTZero:专门设计用于检测由 GPT3 生成内容的工具,适用于教育和出版行业。使用时上传文档或输入文本,系统会分析并提供报告。 3. Content at Scale:提供 AI 内容检测功能,将文本粘贴到在线检测工具中,系统会分析并提供结果。 这些工具和网站可帮助教育机构、研究人员和编辑识别 AI 生成的内容,确保学术和出版的原创性和诚信。可根据具体需求选择适合的工具进行检测。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-04-11
计算两个文本的相识度代码实现
以下是关于计算两个文本相似度的代码实现相关内容: 在文本处理中,文本会先转为 tokens,再转为向量,然后放到计算机中运算以找出规律。在文本转为向量后,可以通过欧式距离或 cosin 角度来计算两个文本之间的相似性。例如,使用 SBERT 算法时,对于描述主体相同的情况(如屏幕相关的描述)会设为高相似性。文本统计单位“1”通常是以二级类别来衡量,比如屏幕模糊,它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别,目前多采用人工统计。同时,文本统计单位“1”是一个 clustering 概念,因为在向量空间中难以找到完全相同的两个单位,更多是距离较近的单位,所以统计通常以 clustering 计算。 另外,在初级菜鸟学 Langchain 实录中,对于文本相似度检索过程,包括读入文字、进行文字清洗、文本句子切分、文本向量化、计算相似度以及取前几的答案等步骤,详情可见 https://github.com/yuanzhoulvpi2017/DocumentSearch 。
2024-12-19
我想要一个助手,能帮助我快速计算式子
如果您想要一个能帮助快速计算式子的助手,可以通过以下步骤实现: 1. 搭建示例网站: 创建应用:点击打开提供的函数计算应用模板,参考相关图示选择直接部署,并填写获取到的百炼应用 ID 以及 APIKEY,其他表单项保持默认,点击页面左下角的创建并部署默认环境,等待项目部署完成(预计耗时 1 分钟)。 访问网站:应用部署完成后,在应用详情的环境信息中找到示例网站的访问域名,点击即可查看,确认示例网站已经部署成功。 2. 为网站增加 AI 助手: 增加 AI 助手相关代码:回到应用详情页,在环境详情的最底部找到函数资源,点击函数名称,进入函数详情页。在代码视图中找到 public/index.html 文件,然后取消相应位置的代码注释。最后点击部署代码,等待部署完成。 验证网站上的 AI 助手:重新访问示例网站页面以查看最新效果,此时网站的右下角会出现 AI 助手图标,点击即可唤起 AI 助手。 此外,零代码自建决策助手可以帮您解决生活中的决策问题,决策链设计包括: 1. 加权得分计算:将每个选项在各个标准上的得分与相应的权重相乘,然后求和,得出每个选项的总加权得分。 2. 机会成本分析:考虑选择每个选项时可能放弃的其他机会。 3. 简单情景分析:为每个选项构想最佳和最坏的情况。 4. 决策矩阵分析:将前面步骤的分析结果汇总到一个表格中,包括预期收益、机会成本、净收益、长期影响和风险评估。 决策阶段包括: 1. 敏感性分析:通过调整不同因素的权重,检验决策是否稳健。 2. 情感检验:反思个人对每个选项的情感反应,并考虑其与理性分析的一致性。 3. 提供最终决策建议:基于前面的所有分析,提出一个综合的建议。 案例——帮你选工作: 假设您是一名在职的产品经理,想跳槽并拿到两个不错的 offer,向决策助手求助。整个流程始于您向决策助手提出问题,决策助手随即要求您提供 offer 的基本信息。在您提供完信息后,决策助手开始定义基本的评估标准,并让您审核,还会根据您的喜好和目标给出权重分配的建议。在您认可权重分配后,决策助手对每个选项进行评分,评分采用 1 到 10 分的制度,涵盖所有评估标准。评分完成后,决策助手会整理出一个清晰的表格,包含各项评估标准的权重以及每个选项在各个标准下的得分。
2025-04-12
请帮我生成一个大三毕业论文的题目,专业是关于计算机应用的,技术栈:Python(Pandas/Matplotlib),MYSQL,生成可视化图表,可生成HTML网站,包含数据分析,需要有最基本的功能,最好与生活中的某些东西联系起来
以下是为您生成的几个与生活相关的计算机应用专业大三毕业论文题目,供您参考: 1. 《基于 Python 和 MySQL 的居民日常消费数据分析及可视化网站构建》 2. 《利用 Python 和 MySQL 分析城市交通流量数据并实现可视化与网站展示》 3. 《基于 Python 和 MySQL 的家庭能源消耗数据分析与可视化网站设计》 4. 《运用 Python 和 MySQL 对校园图书馆借阅数据的分析及可视化网站开发》 5. 《通过 Python 和 MySQL 研究城市空气质量数据的可视化分析与网站实现》
2025-04-11
生成超过15000字的人工智能技术在智能化零售行业中的应用与商业模式创新论文,学科方向是计算机科学与技术专业
很抱歉,目前无法直接为您生成超过 15000 字的论文。但我可以为您提供一个论文大纲,以帮助您组织思路和开展研究: 标题:人工智能技术在智能化零售行业中的应用与商业模式创新 摘要:简述人工智能技术在智能化零售中的重要性、应用现状、创新商业模式以及研究的主要结论。 一、引言 (一)研究背景:介绍智能化零售行业的发展趋势和人工智能技术的兴起。 (二)研究目的与意义:阐述研究人工智能技术在该领域应用和商业模式创新的目的,以及对行业发展的重要意义。 (三)研究方法与结构:说明采用的研究方法,如文献综述、案例分析等,并概述论文的结构安排。 二、人工智能技术概述 (一)人工智能技术的定义与分类:解释人工智能的概念,分类如机器学习、深度学习、自然语言处理等。 (二)关键技术原理:详细介绍相关技术的原理,如机器学习中的监督学习、无监督学习等。 (三)技术发展历程与现状:回顾人工智能技术的发展历程,分析当前的技术水平和应用情况。 三、智能化零售行业概述 (一)智能化零售的概念与特点:定义智能化零售,阐述其特点如个性化服务、精准营销等。 (二)行业发展现状与趋势:分析智能化零售行业的现状,包括市场规模、竞争格局等,预测未来的发展趋势。 (三)面临的挑战与机遇:探讨行业发展中面临的问题,以及人工智能技术带来的机遇。 四、人工智能技术在智能化零售中的应用 (一)客户画像与精准营销:如何利用人工智能技术分析客户数据,实现精准营销。 (二)库存管理与供应链优化:通过人工智能算法优化库存水平和供应链流程。 (三)智能推荐与个性化服务:介绍基于人工智能的推荐系统,为客户提供个性化的购物体验。 (四)无人零售与智能支付:探讨无人零售店的技术实现和智能支付方式的应用。 (五)店铺布局与商品陈列优化:利用人工智能进行数据分析,优化店铺布局和商品陈列。 五、人工智能技术驱动的商业模式创新 (一)新的零售模式:如线上线下融合的智能零售模式。 (二)数据驱动的商业决策:依靠人工智能分析数据,制定更科学的商业决策。 (三)合作与共享经济模式:探讨与技术供应商、其他企业的合作模式,以及共享数据和资源的可能性。 (四)增值服务与收费模式创新:基于人工智能技术提供的新服务,创新收费模式。 六、案例分析 (一)选取成功应用人工智能技术的智能化零售企业案例。 (二)详细介绍其应用场景、商业模式创新和取得的成效。 (三)总结经验教训,为其他企业提供借鉴。 七、影响与挑战 (一)对消费者行为和市场竞争的影响:分析人工智能技术如何改变消费者购物行为和市场竞争格局。 (二)技术与数据安全问题:探讨人工智能应用中的技术漏洞和数据泄露风险。 (三)法律法规与伦理道德问题:研究相关法律法规的缺失,以及可能引发的伦理道德问题。 八、结论与展望 (一)研究成果总结:概括人工智能技术在智能化零售中的应用和商业模式创新的主要发现。 (二)未来研究方向与建议:提出进一步研究的方向和对企业、政府的建议。 希望以上大纲对您有所帮助,祝您顺利完成论文!
2025-04-07
计算两个时间差的绝对值,输出相差的完整天数。 获得用户输入的两个与时间相关的字符串,两个时间用逗号分隔,每个时间字符串格式示例如下:2018年08月01日17点21分21秒。 以此为要求写出python代码
以下是计算两个指定格式时间差的绝对值并输出相差完整天数的 Python 代码: ```python import datetime def calculate_days_difference: 解析时间字符串 time1 = datetime.datetime.strptime time2 = datetime.datetime.strptime 计算时间差 time_difference = abs 转换为天数并返回 return time_difference.days 示例用法 time1_str = "2023年08月01日17点21分21秒" time2_str = "2023年08月10日17点21分21秒" print ```
2025-03-22
科学计算大模型的代表模型有哪些
科学计算大模型的代表模型主要有以下几种: 1. Encoderonly 模型:适用于自然语言理解任务,如分类和情感分析,最知名的代表是 BERT。 2. Encoderdecoder 模型:同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容,代表模型如谷歌的 T5。 3. Decoderonly 模型:更擅长自然语言生成任务,如故事写作和博客生成,众多熟知的 AI 助手基本采用此结构,包括 ChatGPT。 大模型具有以下特点: 1. 预训练数据量大:往往来自互联网,包括论文、代码、公开网页等,先进的大模型通常用 TB 级别的数据进行预训练。 2. 参数众多:如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数。 在数字化处理中,为让计算机理解 Token 之间的联系,需将 Token 表示成稠密矩阵向量,即 embedding,常见算法有基于统计的 Word2Vec、GloVe,基于深度网络的 CNN、RNN/LSTM,基于神经网络的 BERT、Doc2Vec 等。以 Transform 为代表的大模型采用自注意力(Selfattention)机制学习不同 token 之间的依赖关系,生成高质量 embedding。 大模型的“大”主要指用于表达 token 之间关系的参数多,如 GPT3 拥有 1750 亿参数。当神经元数量达到百亿、千亿级别时,会出现群体智能,即智能涌现,这在自然界如蚂蚁群体中有典型体现,人脑也由约 1000 亿个神经元构成复杂神经网络。
2025-03-20
计算机视觉
计算机视觉是机器认知世界的基础,人类获取的信息约 83%来自视觉,而计算机视觉旨在让计算机看懂图像或视频里的内容,像人一样通过视觉观察和理解世界。 其三大基础任务包括分类、检测和分割: 图像分类:根据图像中的语义信息对不同类别的图像进行区分。 目标检测:找出图像或视频中的目标物体,同时检测出物体的位置和大小。 图像分割:又可划分为语义分割和实例分割。语义分割不区分同类目标,实例分割则需要区分同类目标中的不同个体。 此外,计算机视觉还包括目标跟踪,对图像序列中的运动目标进行检测、提取、识别和跟踪,实现对运动目标的行为理解。 参考资料: 在企业应用中,计算机视觉的应用包括: 图像分类和物体识别,将图片作为输入,输出图像的内容分类,应用于面部识别。 物体识别,不仅分类或识别物体,还检测物体是否出现在图像里。 图像分割算法,识别物体位置并标记不同物体对应的像素点,如用于识别 X 光照射图片。 视觉追踪,检测视频中的奔跑者并追踪其轨迹和运动方向。
2025-03-19