Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

支持向量机

Answer

支持向量机（SVM）是一种重要的机器学习算法。

在深度学习的发展历程中，尽管取得了一些进展，但在特定时期，如人工智能寒冬期间，用于神经网络研究的资金很少，人工智能领域发展受到一定限制。在此期间，Cortes 和 Vapnik 于 1995 年开发的支持向量机表现突出，使得一些重要进展如 Hochreiter 和 Schmidhuber 在 1997 年为递归神经网络开发的长短期记忆（LSTM）被忽视。后来随着计算机性能提升，神经网络逐渐与支持向量机相竞争，且在相同数据量下能获得更好结果，同时神经网络在有更多训练数据时会持续改进。

在算法学习中，支持向量机属于强学习器。强学习器通常具有高准确率，能很好地泛化到新数据上，例如深度神经网络或支持向量机，能够捕捉数据中的复杂模式。而弱学习器准确率仅略高于随机猜测，通常是简单的模型，如决策树桩。

Content generated by AI large model, please carefully verify (powered by aily)

References

深度学习（2）历史和训练

尽管取得了这些成功，但用于神经网络研究的资金仍然很少。[在人工智能寒冬](https://developer.nvidia.com/blog/deep-learning-nutshell-history-training/#ai-winter)期间，人工智能一词近乎成为伪科学的代名词，该领域仍需一段时间才能恢复。这一时期取得了一些重要的进展，例如，Hochreiter和Schmidhuber在1997年为递归神经网络开发的长短期记忆（LSTM），但是这些进展在Cortes和Vapnik于1995年开发的支持向量机（VCM)面前相形见绌，因此大多数被人们所忽视。下一个重大转变的契机出现在静待计算机变得更快，和接下来引入的图形处理单元（GPU）。仅等待更快的计算机和GPU就可以在10年内将计算速度提高1000倍。在这期间，神经网络逐渐开始与支持向量机相竞争。与支持向量机相比，神经网络可能会慢一些，但是在相同数量的数据下可以获得更好的结果。与简单算法不同，神经网络在有更多训练数据时会持续改进。此时的主要障碍是训练大型、深层的网络，这些网络因遭受梯度消失问题，无法学习早期层的特征，因为没有学习信号到达这些层。

[算法学习] Adaptive Boosting 分类/回归

AdaBoost（Adaptive Boosting），即自适应增强算法，是一种集成学习算法，主要用于分类问题，也可以用于回归问题。它通过组合多个弱学习器（通常是决策树桩）来构建一个强学习器，以提高模型的预测性能。弱学习器（Weak Learner）弱学习器是集成学习中的一个概念。在机器学习中，学习器通常被分类为强学习器（Strong Learner）和弱学习器。两者的基本区别有：强学习器：强学习器通常指的是具有高准确率的模型，能够很好地泛化到新的数据上。它们可能是复杂的模型，比如深度神经网络或支持向量机，能够捕捉数据中的复杂模式。弱学习器：弱学习器的准确率仅略高于随机猜测。例如，在二分类问题中，如果随机猜测的准确率是50%，那么弱学习器的准确率可能只是略高于50%，比如51%。弱学习器通常是简单的模型，比如决策树桩（Decision Stumps），它们只考虑单个特征的阈值来做出预测。(比如月收入高于30k，就有可能购买一个空气净化器)

适用于 JavaScript 的 AI 堆栈入门

LLM需要一个稳定的长期记忆来保存状态并解决上下文窗口的问题，这由向量数据库来处理。目前，Pinecone是与生成式人工智能群体最成熟和最受欢迎的向量存储库。话虽如此，我们希望为所有用例和偏好提供支持，因此我们还在存储库中包含了对Supabase的[pg-vector](https://supabase.com/docs/guides/database/extensions/pgvector)的支持。将Pinecone与Langchain.js一起使用的示例代码。您还可以[在此处](https://github.com/a16z-infra/ai-getting-started/blob/fc74d00552c7bdfdd504f98b0c7d362f8e5933c0/src/app/api/qa-pg-vector/route.ts)找到有关使用Supabase pg-vector的[示例](https://github.com/a16z-infra/ai-getting-started/blob/fc74d00552c7bdfdd504f98b0c7d362f8e5933c0/src/app/api/qa-pinecone/route.ts).

Others are asking
企业建立私有大模型时候，采用什么工具进行RAG,高效实习企业知识文档、表格和pdf图纸的向量化
企业建立私有大模型进行 RAG 并实现企业知识文档、表格和 PDF 图纸向量化时，可参考以下工具和方法： 1. 本地部署资讯问答机器人： 导入依赖库，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 Python 程序中跑大模型（使用前需确保 ollama 服务已开启并下载好模型）。 从订阅源获取内容，通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，最终合并成列表返回。 为文档内容生成向量，可使用文本向量模型 bgem3，从 hf 下载好模型后，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效的向量存储。 2. 开发：LangChain 应用开发指南 大模型的知识外挂 RAG 加载数据，根据数据源类型选择合适的数据加载器，如网页可使用 WebBaseLoader。 将文档对象分割成较小的对象，根据文本特点选择合适的文本分割器，如博客文章可用 RecursiveCharacterTextSplitter。 将文档对象转换为嵌入并存储到向量存储器中，根据嵌入质量和速度选择合适的文本嵌入器和向量存储器，如 OpenAI 的嵌入模型和 Chroma 的向量存储器。 创建检索器，使用向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数创建检索器对象。 创建聊天模型，根据性能和成本选择合适的聊天模型，如 OpenAI 的 GPT3 模型。 以下是使用 LangChain 构建 RAG 应用的示例代码。
2025-02-27
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
如何将自有的材料做向量化处理
很抱歉，目前没有关于如何将自有的材料做向量化处理的相关内容。但一般来说，将自有材料进行向量化处理可以考虑以下步骤： 1. 数据清洗和预处理：清理和整理材料中的噪声、错误和不一致的数据。 2. 特征提取：根据材料的特点选择合适的特征，例如文本材料可以提取词袋模型、TFIDF 等特征。 3. 选择向量化方法：常见的有词向量（如 Word2Vec、GloVe 等）、文档向量（如 Doc2Vec）等。 4. 训练模型：使用选择的向量化方法和预处理后的数据进行训练。 由于缺乏具体的材料类型和应用场景等详细信息，以上步骤仅为一般性的指导，实际操作可能会有所不同。
2025-02-06
机器学习的子领域包括： 监督学习，常用算法如线性回归、决策树、支持向量机（SVM）。 无监督学习，如聚类、降维等算法。 强化学习，那深度学习是哪一种啊
深度学习是机器学习的一个子领域。 在机器学习中，深度学习是一种利用深度神经网络来学习数据特征和模式的方法。 深度学习的特点包括： 1. 具有复杂的网络结构，如前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）等。 2. 能够自动从大量数据中提取高级特征。 深度学习在图像识别、语音识别、自然语言处理等领域取得了显著的成果。
2025-01-21
向量数据库和矢量数据库的区别
向量数据库和传统数据库（可视为您所提到的“矢量数据库”）主要有以下区别： 1. 查找方式： 传统数据库需要精确的关键词或类别进行查找，如同在普通图书馆中需知道书的具体位置或分类。 向量数据库可以通过自然语言描述所需内容，系统能理解意图并找到最相关的内容。 2. 组织方式： 传统数据库中信息被严格分类和组织，类似图书馆里的书架和编号系统。 向量数据库中信息根据内在特征和相似性自然聚集，如同魔法图书馆里书籍自动根据内容相似性浮动聚集。 3. 灵活性： 传统数据库若要更换组织方式，可能需重新安排整个架构。 向量数据库中，新加入的数据会自动找到合适位置，无需重新组织整个系统。 4. 发现新内容： 传统数据库较难偶然发现相关但之前未知的内容。 向量数据库在搜索时可能发现许多相关但之前不知道的内容，因其理解内容本质而非仅依赖标签。 此外，向量数据库以多维向量形式保存信息，代表某些特征或质量，能根据数据的向量接近度或相似度快速、精确地定位和检索数据，从而实现根据语义或上下文相关性进行搜索。而传统数据库通常以表格形式存储简单数据，搜索依赖精确匹配或设定标准。 为了在人工智能和机器学习应用中利用非结构化数据（如文本、图像和音频等），需要使用嵌入技术将其转换为数字表示，嵌入过程通常通过特殊神经网络实现，使计算机能更有效地辨别数据中的模式和关系。
2025-01-10
目前有哪些AI可以支持对用户上传的视频进行理解分析?
目前以下 AI 可以支持对用户上传的视频进行理解分析： 1. Gemini 2.0 Flash Thinking：是解析视频的不错选择，可在 AIStudio（访问 aistudio.google.com，需海外 IP）上传视频进行解析。 2. MiniMax 视频模型：能准确识别用户上传的图片，生成的视频在形象保持、光影色调、指令响应、表情呈现等方面表现出色，还支持 2000 字提示词以更精准调控。 3. 百炼大模型平台：应用广场里的影视传媒视频理解能力可对视频进行语音转写、视觉语言分析等处理并总结成文，有清晰使用步骤，还能根据偏好调试提示词。
2025-04-09
哪些AI可以支持对镜头的视觉理解
以下 AI 可以支持对镜头的视觉理解： 1. 通义千问的 Qwen2.5VL 模型：具有以下优势： 视觉理解能力：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。 视频理解能力：支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。 万物识别：擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位：采用矩形框和点的多样化方式对通用物体定位，支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解：提升 OCR 识别能力，增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析：设计了更全面的文档解析格式，称为 QwenVL HTML 格式，能够精准还原文档中的版面布局。 增强的视频理解：引入动态帧率（FPS）训练和绝对时间编码技术，支持小时级别的超长视频理解，具备秒级的事件定位能力。 开源平台： Huggingface：https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope：https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat：https://chat.qwenlm.ai 2. OpenAI 的 GPT4：在 12 月发布的更新中正式上架了“视频理解”功能，可以和用户就便签内容进行讨论。 3. 基于豆包视觉理解模型实现的具有视频通话功能的应用：能够对摄像头传输的实时画面进行分析，精准理解画面中的关键信息，包括图表论文人物表情、动作细节、场景环境等。同时支持高清流畅的视频通话，实现和大模型面对面的即时交流体验。
2025-04-09
有哪些支持超长上下文的大模型
以下是一些支持超长上下文的大模型： Scout：支持 1000 万上下文，适合处理超长文本和复杂推理任务。 Maverick：具有 100 万上下文，长记忆优势适配多场景替代 RAG。 Behemoth：2 万亿参数级别的大模型在训，已超越 GPT4.5 在 STEM 表现。 Claude2100k 模型的上下文上限是 100k Tokens，即 100000 个 token。 ChatGPT16k 模型的上下文上限是 16k Tokens，即 16000 个 token。 ChatGPT432k 模型的上下文上限是 32k Tokens，即 32000 个 token。 需要注意的是，token 限制同时对一次性输入和一次对话的总体上下文长度生效。例如，一次性输入不能超过规定的 token 数量，而且随着对话的进行，当达到上限时，会遗忘最前面的对话内容。
2025-04-08
生成设计图：包括图书馆静音舱+小组讨论舱 :用隔音板材划分独立空间，舱体外壳由学生绘制抽象艺术图案。 可变形桌椅 :定制模块化桌椅，支持拼合为“创作大桌”或独立卡座，适配小组作业与个人学习。 艺术疗愈角 :设置减压涂鸦墙、小型绿植温室，配备舒缓音乐耳机。
以下是为您提供的关于生成您所需设计图的相关信息： 星流一站式 AI 设计工具具有入门模式和高级模式。 入门模式： 可以使用图像控制功能精准控制生成图像的内容和风格，如空间关系、线稿、人物长相、姿势等。 只能使用以下四种参考功能： 全部图片参考功能，包括原图、景深、线稿轮廓、姿势、Lineart 线稿、Scribble 线稿、光影、Segmant 构图分割等。 原图、SoftEdge 线稿、配色参考、配色打乱、法线贴图、MLSD 线稿等。 高级模式： 点击生成器下方的切换按钮进行切换。 与入门模式相比增加了高级模式框架。 基础模型方面，允许使用更多的微调大模型，如基础模型 F.1、基础模型 XL、基础模型 1.5。 图片参考方面，允许使用更多的图像控制功能，在星流基础大模型下，增加了 tile 分块与 softedge 线稿。 高清分辨率修复：利用算法对初步生成的图像进行简单的图生图高清放大（目前仅支持基础模型 xl 和 1.5 模型）。 放大算法会影响图像放大后的图像质量，建议默认即可。 重绘幅度与初步生成的图像的相似度有关。 其他参数默认即可，参数方面允许调整更多的高级参数。 采样器方面，采样方法决定了模型在生成图像过程中的出图质量，有些采样器在细节处理上表现更佳比如 DPM++2M，而有些则在生成速度上更快，比如 Euler。 采样步数一般来说，步数越多，模型对图像的生成和优化越充分，但同时也会增加生成时间。 随机种子是文生图的随机数种子，通过设置相同的随机数种子，可以确保在相同的参数配置下生成相同的图像。 CFG Scale 控制生成图像与提示词一致性的重要参数。 具有脸部/手部修复功能，利用算法对人像的脸部或者手部进行修复。 此外，学生使用项目化的方式分析现状，做问卷调查，数据分析，在 ChatGPT 的帮助下设计出优化过的设计图，然后使用 3D 的空间设计软件设计出来 3D 的设计图。比如有孩子为优化老师家访路线提出做一个软件产品的案例。
2025-03-23
支持Mac的AI助手，能支持自定义大模型和智能体
以下是为您提供的支持 Mac 且能支持自定义大模型和智能体的 AI 助手相关信息： 在网站上增加一个 AI 助手： 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以输入一些 Prompt 来设置人设。 在页面右侧提问验证模型效果，点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID 并保存到本地。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存到本地。 本地部署资讯问答机器人：Langchain + Ollama + RSSHub 实现 RAG： 1. Ollama 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 2. 它提供了模型库，用户可从中下载不同模型，也支持自定义模型，例如修改模型的温度参数或设置特定系统消息，还提供了 REST API 用于运行和管理模型以及与其他应用程序的集成选项。 3. Ollama 社区贡献丰富，有多种集成插件和界面。安装时访问 https://ollama.com/download/ ，安装完后在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动，可通过 ollama list 确认。 智能体应用的相关介绍： 大模型存在无法回答私有领域问题、无法及时获取最新信息、无法准确回答专业问题等局限性，为提升用户体验和增强业务竞争力，越来越多的企业构建 AI 助手。智能体应用基于大模型，通过集成特定的外部能力弥补不足，适用于有企业官网等渠道期望提供产品咨询服务、缺少技术人员开发大模型问答应用等场景。其典型场景包括私有领域知识问答、个性化聊天机器人、智能助手等。
2025-03-23
请问哪个平台支持上传私人知识库文件
以下平台支持上传私人知识库文件： 本地文档： 文本内容： 支持格式：.txt、.pdf、.docx。 操作步骤：在文本格式页签下选择本地文档，然后单击下一步。将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档。每个文件不得大于 20M，一次最多可上传 10 个文件。上传完成后选择内容分段方式，包括自动分段与清洗（系统会对上传的文件数据进行自动分段，并会按照系统默认的预处理规则处理数据）和自定义（手动设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度、设置文本预处理规则，如替换掉连续的空格、换行符和制表符，删除所有 URL 和电子邮箱地址），最后单击下一步完成内容上传和分片。 表格数据： 支持格式：.csv 和.xlsx。 操作步骤：在表格格式页签下选择本地文档，然后单击下一步。将要上传的文档拖拽到上传区，或单击上传区域选择要上传的文档，然后单击下一步。每个文件不得大于 20M，一次最多可上传 10 个文件。配置数据表信息，包括指定数据范围（通过选择数据表、表头、数据起始行指定数据范围）、确认表结构（系统已默认获取表头的列名，可自定义修改列名或删除某一列名）、指定语义匹配字段（选择作为搜索匹配的语义字段）。查看表结构和数据，确认无误后单击下一步，完成上传后单击确定。 Notion： 操作步骤：在文本格式页签下选择 Notion，然后单击下一步。单击授权，首次导入 Notion 数据和页面时需要进行授权。在弹出的页面完成登录，并选择要导入的页面。选择要导入的数据，然后单击下一步。选择内容分段方式，包括自动分段与清洗和自定义，最后单击下一步完成内容上传和分片。 自定义： 操作步骤：在文本格式页签下选择自定义，然后单击下一步。输入单元名称，然后单击确认。单击创建分段，然后在弹出的页面输入要上传的内容。每个分段最多可添加 2000 个字符。单击保存。
2025-03-18