Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

视频分析

Answer

以下是关于视频分析的相关内容：

使用 Gemini 进行视频分析：

  • 可以放入自己的案例，文档可编辑。
  • 思路：如拿库布里克的电影来分析，学习大师手法；b 站大学复习有帮助；可用于影视二创长剪短、警察查监控等场景，替代 Opus 等长剪短工具。
  • 测试者阿强的体验：好用，准确度高，对功夫熊猫版-如来神掌的分析效果好，能准确认出“如来神掌”。
  • 测试者 PeacePower 的结论：Gemini API 不支持原生的视频分析，UI 提现的视频分析是通过按 frame rate 提取关键帧分析，可能出现丢帧情况。可设置条件提供采样率，默认条件识别次数不准确。

宝玉日报 2 月 10 日提到：

  • 选对模型是关键，GPT-4o 目前无法直接解析视频，Gemini 2.0 Flash Thinking 是解析视频的最佳选择。
  • AIStudio 免费可用，需海外 IP，上传视频即可解析。并提供了视频解析示例及相关链接。
Content generated by AI large model, please carefully verify (powered by aily)

References

用 Gemini 拆解视频

大家可以放自己的案例，本文档可编辑使用Gemini 1.5 Pro，做视频分析和拆解能力了https://aistudio.google.com/[heading2]思路：[content]郑跃葵：拿个库布里克的电影来分析，连大师手法都学会了大峰AI绘画：太酷啦又多了一个AI视频创作助手Jones：b站大学复习有救了对！：拉片太方便了Shock：而且可以干掉人工标注了，安徽那边数据标注众包要失业了清慎：1.影视二创长剪短，一键生成小帅、小美、大壮、丧彪的故事2.警察叔叔查监控，一句话找出监控中的可疑现象3.替代Opus等长剪短工具[heading2]测试者：阿强[content]拆解作品[阿强：功夫熊猫版-如来神掌的完整复盘](https://waytoagi.feishu.cn/wiki/T6bFwVlppipd4ZkoddfcGbebnvd)好用，准确度很高，我把前几天用AI做的功夫熊猫-之离谱村版丢进去分析，效果很好拆解结果prompt：请你用极致详细的言语描述其中的每个镜头，包括其中有什么物体，在执行什么动作，产生什么形变，为什么这样设计分镜等等。感动，它竟然准确的认出了“如来神掌”Gemini 1.5 Pro给出的全文如下：[heading2]测试者：张余[content]拆解结果Gemini 1.5 Pro给出的全文如下：[heading2]测试者：Ling[content][heading2]测试者：洋洋[content]拆解结果

用 Gemini 拆解视频

结论：Gemini API不支持原生的视频分析。UI提现的视频分析是通过按照frame rate提取关键帧分析。可能出现丢帧的情况。API测试测试脚本https://github.com/google-gemini/cookbook/blob/main/quickstarts/Video.ipynb测试视频https://www.youtube.com/watch?v=vJG698U2Mvo一群人传球，正确答案是15次可以设置if int(count/fps)==frame_count:高亮条件来提供采样率。默认条件只能识别出4次参考视频https://www.youtube.com/watch?v=5QzMjfMrQKQUI测试：显示16次，但是无法回答后续问题

宝玉 日报

?宝玉日报「2月10日」✨✨✨✨✨✨✨✨1⃣️?如何让AI解析视频？选对模型是关键：GPT-4o目前无法直接解析视频，而Gemini 2.0 Flash Thinking是解析视频的最佳选择。AIStudio免费可用：访问[aistudio.google.com](https://aistudio.google.com)（需海外IP），上传视频即可解析。视频解析示例：OpenAI最新广告“What do you want to create next?”，用Gemini解析出完整画面、音频及寓意。?Multimodal Large Language Models(MLLMs)transforming Computer Vision原文:[https://tenyks.ai/blog/multimodal-large-language-models-mllms-transforming-computer-vision](https://tenyks.ai/blog/multimodal-large-language-models-mllms-transforming-computer-vision)?译文:[https://baoyu.io/translations/multimodal-large-language-models-mllms-transforming-computer-vision#google_vignette](https://baoyu.io/translations/multimodal-large-language-models-mllms-transforming-computer-vision#google_vignette)?推文:[https://x.com/dotey/status/1888781864866836533](https://x.com/dotey/status/1888781864866836533)2⃣️?为什么要写博客，即使没人看？写作是思考的出口：博客就像摄影，记录的是自己的观察与思考，而非取悦他人。长期价值：未来的自己、某个特定的读者，或者深度积累的作品，才是写作真正的回报。写作是费曼学习法的最佳实践：坚持下来，收益最大的是自己，流量只是额外奖励。

Others are asking
AI文生视频
以下是关于文字生成视频（文生视频）的相关信息： 一些提供文生视频功能的产品： Pika：擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频。 Runway：老牌工具，提供实时涂抹修改视频功能，但收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多相关网站可查看：https://www.waytoagi.com/category/38 。 制作 5 秒单镜头文生视频的实操步骤（以梦 AI 为例）： 进入平台：打开梦 AI 网站并登录，新用户有积分可免费体验。 输入提示词：涵盖景别、主体、环境、光线、动作、运镜等描述。 选择参数并点击生成：确认提示词无误后，选择模型、画面比例，点击「生成」按钮。 预览与下载：生成完毕后预览视频，满意则下载保存，不理想可调整提示词再试。 视频模型 Sora：OpenAI 发布的首款文生视频模型，能根据文字指令创造逼真且充满想象力的场景，可生成长达 1 分钟的一镜到底超长视频，视频中的人物和镜头具有惊人的一致性和稳定性。
2025-04-20
ai视频
以下是 4 月 11 日、4 月 9 日和 4 月 14 日的 AI 视频相关资讯汇总： 4 月 11 日： Pika 上线 Pika Twists 能力，可控制修改原视频中的任何角色或物体。 Higgsfield Mix 在图生视频中，结合多种镜头运动预设与视觉特效生成视频。 FantasyTalking 是阿里技术，可制作角色口型同步视频并具有逼真的面部和全身动作。 LAM 开源技术，实现从单张图片快速生成超逼真的 3D 头像，在任何设备上快速渲染实现实时互动聊天。 Krea 演示新工具 Krea Stage，通过图片生成可自由拼装 3D 场景，再实现风格化渲染。 Veo 2 现已通过 Gemini API 向开发者开放。 Freepik 发布视频编辑器。 Pusa 视频生成模型，无缝支持各种视频生成任务（文本/图像/视频到视频）。 4 月 9 日： ACTalker 是多模态驱动的人物说话视频生成。 Viggle 升级 Mic 2.0 能力。 TestTime Training在英伟达协助研究下，可生成完整的 1 分钟视频。 4 月 14 日： 字节发布一款经济高效的视频生成基础模型 Seaweed7B。 可灵的 AI 视频模型可灵 2.0 大师版及 AI 绘图模型可图 2.0 即将上线。
2025-04-20
ai视频教学
以下是为您提供的 AI 视频教学相关内容： 1. 第一节回放 AI 编程从入门到精通： 课程安排：19、20、22 和 28 号四天进行 AI 编程教学，周五晚上穿插 AI 视频教学。 视频预告：周五晚上邀请小龙问露露拆解爆火的 AI 视频制作，视频在视频号上有大量转发和播放。 编程工具 tree：整合多种模型，可免费无限量试用，下载需科学上网，Mac 可拖到文件夹安装，推荐注册 GitHub 账号用于代码存储和发布，主界面分为工具区、AI 干活区、右侧功能区等。 网络不稳定处理：网络不稳定时尝试更换节点。 项目克隆与文件夹：每个项目通过在本地新建文件夹来区分，项目运行一轮一轮进行，可新建会话，终端可重开。 GitHub 仓库创建：仓库相当于本地项目，可新建，新建后有地址，可通过多种方式上传。 Python 环境安装：为方便安装提供了安装包，安装时要选特定选项，安装后通过命令确认。 代码生成与修改：在 tree 中输入需求生成代码，可对生成的代码提出修改要求，如添加滑动条、雪花形状、颜色等，修改后审查并接受。 2. AI 视频提示词库： 神秘风 Arcane：Prompt：a robot is walking through a destroyed city,,League of Legends style,game modelling 乐高 Lego：Prompt：a robot is walking through a destroyed city,,lego movie style,bright colours,block building style 模糊背景 Blur Background：Prompt：a robot is walking through a destroyed city,,emphasis on foreground elements,sharp focus,soft background 宫崎骏 Ghibli：Prompt：a robot is walking through a destroyed city,,Spirited Away,Howl's Moving Castle,dreamy colour palette 蒸汽朋克 Steampunk：Prompt：a robot is walking through a destroyed city,,fantasy,gear decoration,brass metal robotics,3d game 印象派 Impressionism：Prompt：a robot is walking through a destroyed city,,big movements
2025-04-20
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有： 1. 昆仑万维的 SkyReelsV1：它不仅支持文生视频、图生视频，还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL：在 13 项权威评测中夺得视觉理解冠军，全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解，无需微调即可变身为 AI 视觉智能体，实现多步骤复杂操作。擅长万物识别，能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个： 1. 昆仑万维的 SkyReelsV1：不仅支持文生视频、图生视频，是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元：语义理解能力出色，能精准还原复杂的场景和动作，如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5：全球最快的 AI 视频生成模型，Turbo 模式下可在 10 秒内生成视频，最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能，具备顶尖动漫生成能力。
2025-04-15
需要做一个自动化出视频的工作流
以下是一个关于自动化出视频工作流的详细介绍： 优势： 全自动化处理，解放双手。 40 秒快速出片，效率提升。 成本低廉，每条仅需 0.0x 元。 输出质量稳定专业。 DeepseekR1 保证文案质量。 还能改进，例如可以加入配套 BGM，让视频更有感染力；增加更丰富的画面内容和转场效果；使用免费节点替代付费插件，进一步降低成本；优化模板样式，支持更多展示形式；增加自动化程度，支持批量处理。 工作流程： 1. 可以在扣子商店体验，建议自己搭建。 2. 工作流调试完成后，加入到智能体中，可以选择工作流绑定卡片数据，智能体则通过卡片回复。 3. 选择发布渠道，重点如飞书多维表格，填写上架信息（为了快速审核，选择仅自己可用），确认发布等待审核，审核通过后即可在多维表格中使用。 4. 创建飞书多维表格，添加相关字段，配置选择“自动更新”，输入相关字段后，“文案视频自动化”字段捷径会自动调用工作流，生成视频。 5. 表单分享，实现“填写表单，自动创建文案短视频”的效果。 6. 全自动视频合成使用多视频融合插件，一键导出成品。但需注意节点产生的视频是异步生成，可能无法马上展现，需耐心等待几秒。 如果您还有其他疑问或需要进一步的帮助，请随时联系。
2025-04-14
coze搭建智能体，用上传的文件和知识库的文件做对比，分析差异点。
以下是关于在 Coze 中搭建智能体的相关信息： 1. 证件照相关操作： 展示原图上传结果，基本脸型已换，生成效果与上传照片特征有关。 改背景可利用改图功能，一键改图效果更好，输出数据类型为图片。 豆包节点生成的是 URL 地址，与前者不同，在工作流使用有差异，可参考简单提示词。 介绍证件照工作流相关操作，包括通过提示词改背景颜色，设置输出方式为返回变量；讲解消耗 token 及保存结果相关问题；对按钮、表单添加事件并设置参数，限制上传文件数量；还涉及给表单和图片绑定数据，以及每次操作后刷新界面确保设置生效。 围绕操作讲解与优化展开，介绍 for meet 的设置，如表单事件操作、图片上传数量修改等，提及编程基础知识。还讲述成果图连接、绑定数据方法及注意事项。展示基本功能实现情况，分析换性别等问题成因，指出需在工作流优化提示词，也可尝试用视频模型解决，最后进入问答环节。 2. 多维表格的高速数据分析： 创建智能体，使用单 Agent 对话流模式。 编排对话流，创建新的对话流并关联智能体。 使用代码节点对两个插件获取的结果进行数据处理，注意代码节点输出的配置格式。 测试，找到一篇小红书笔记，试运行对话流，在对话窗口输入地址查看数据。 发布，选择多维表格，配置输出类型为文本，输入类型选择字段选择器，完善上架信息，可选择仅自己可用以加快审核。 3. 智能体与微信和微信群的连接： 创建知识库，可选择手动清洗数据提高准确性，包括在线知识库和本地文档。 在线知识库创建时，飞书在线文档中每个问题和答案以分割，可编辑修改和删除。 本地文档中注意拆分内容提高训练数据准确度，如将课程章节按固定方式人工标注和处理。 发布应用，确保在 Bot 商店中能够搜到。
2025-04-18
coze搭建知识库和上传文件做对比分析
以下是关于 Coze 搭建知识库和上传文件的对比分析： 创建文本型知识库： 自动分段与清洗：扣子可对上传的内容进行自动解析，支持复杂布局的文件处理，如识别段落、页眉/页脚/脚注等非重点内容，支持跨页跨栏的段落合并，支持解析表格中的图片和文档中的表格内容（目前仅支持带线框的表格）。操作步骤为在分段设置页面选择自动分段与清洗，然后依次单击下一步、确认，可查看分段效果，不满意可重新分段并使用自定义分段。 自定义：支持自定义分段规则、分段长度及预处理规则。操作时在分段设置页面选择自定义，然后依次设置分段规则和预处理规则，包括选择分段标识符、设置分段最大长度和文本预处理规则，最后单击下一步完成内容分段。 创建表格型知识库： 目前支持 4 种导入类型：本地文档、API、飞书、自定义。 本地文档：选择本地文档从本地文件中导入表格数据，目前支持上传 Excel 和 CSV 格式的文件，文件不得大于 20M，一次最多可上传 10 个文件，且表格内需要有列名和对应的数据。 API：参考特定操作从 API 返回数据中上传表格内容，包括选择 API、单击新增 API、输入 API URL 并选择数据更新频率，然后单击下一步。 飞书：参考特定操作从飞书表格中导入内容，包括选择飞书、在新增知识库页面单击授权并选择要导入数据的飞书账号、单击安装扣子应用（仅首次导入需授权和安装），然后选择要导入的表格并单击下一步。目前仅支持导入“我的空间”下的飞书文档，云文档的创建者必须是自己，暂不支持导入知识库和共享空间下的云文档。 上传文本内容： 在线数据：扣子支持自动抓取指定 URL 的内容，也支持手动采集指定页面上的内容，上传到数据库。 自动采集方式：适用于内容量大、需批量快速导入的场景。操作步骤为在文本格式页签下选择在线数据，然后依次单击下一步、自动采集、新增 URL，输入网站地址、选择是否定期同步及周期，最后单击确认，上传完成后单击下一步，系统会自动分片。 手动采集：适用于精准采集网页指定内容的场景。操作步骤为安装扩展程序，在文本格式页签下选择在线数据，然后依次单击下一步、手动采集、授予权限，输入采集内容的网址，标注提取内容，查看数据确认无误后完成并采集。
2025-04-18
能帮我通过各种电化学性能图（如CV图、XRD图等）帮我分析电化学性能的ai
目前尚未有专门通过各种电化学性能图（如 CV 图、XRD 图等）来分析电化学性能的成熟 AI 工具。但在电化学性能分析领域，一些相关的软件和算法可以辅助您进行处理和解读。您可以关注一些专业的科研软件和数据分析工具，它们可能会提供一定的帮助。
2025-04-18
分析AI颠覆性发展的生产策略调查的研究情况综述
以下是关于企业构建和购买生成式 AI 方式的 16 个变化的研究情况综述： 生成式人工智能在 2023 年迅速席卷消费市场，创下超过 10 亿美元的消费支出纪录。预计 2024 年企业领域的收入机会将数倍于消费市场。去年，企业对 genAI 的参与多局限于少数明显用例，且以“GPTwrapper（GPT 套壳）”产品作为新的 SKU 交付，一些人对其在企业中的扩展持怀疑态度。 然而，在过去几个月，a16Z 与数十家财富 500 强和顶级企业领导人交谈并对 70 多位进行调查后发现，过去 6 个月里，企业对生成式 AI 的资源配置和态度有显著变化。尽管仍有保留，但企业领导人几乎将预算增加两倍，更多应用部署在较小的开源模型上，并将更多业务从早期实验转移到生产环境中。 这对创始人是巨大机遇。a16Z 认为，为客户“以 AI 为中心的战略计划”构建解决方案，能预见痛点，从重服务模式转向构建可扩展产品的人工智能初创公司，将抓住新投资浪潮并占据重要市场份额。 任何时候，为企业构建和销售产品都需深入了解客户预算、关注点和路线图。a16Z 根据访谈结果总结了 16 个最为关键的考虑因素，涉及资源、模型和应用。
2025-04-15
python数据分析
以下是关于 Python 数据分析的相关内容： BORE 框架与数据分析： 自动驾驶产品经理的工作中会涉及大量数据分析，数据分析是一门独立完整的学科，包括数据清洗、预处理等。从工具和规模上，写 Excel 公式、用 Hadoop 写 Spark 算大数据等都属于数据分析；从方法上，算平均数、用机器学习方法做回归分类等也属于数据分析。 用 ChatGPT 做数据分析的工具： 1. Excel：是最熟悉和简单的工具，写公式、Excel 宏等都属于进阶用法，能满足产品的大部分需求。ChatGPT 可轻松写出可用的 Excel 宏。 2. Python：有很多强大的数据分析库，如 pandas、numpy 用于数据分析，seaborn、plotly、matplotlib 用于画图，产品日常工作学点 pandas 和绘图库就够用。一般数据分析的代码可用 Jupyter Notebook 运行，用 Anaconda 管理安装的各种包。 3. R 语言：专门用于搞统计，但 Python 通常已够用。 实践：用 Kaggle 的天气数据集绘制气温趋势折线图与月降雨天数柱状组合图： 1. 项目要求：绘制气温趋势折线图+月降雨天数柱状组合图，即双 y 轴的图形。 2. 打开数据集，分析数据：发现关键表头与数据可视化目的的关联。 3. 新建 Python 文件，开始编程：包括调用库、读取数据、数据处理、创建图表、添加标题与图例、保存并显示图形等步骤。 4. 试运行与 Debug：发现左纵坐标数据有误，重新分析数据集并修改代码，最终实现可视化目的。 关于 ChatGPT 的预设 prompt： 在特定的设置下，当发送包含 Python 代码的消息给 Python 时，它将在有状态的 Jupyter 笔记本环境中执行，有 60 秒的超时限制，'/mnt/data'驱动器可用于保存和持久化用户文件，本次会话禁用互联网访问，不能进行外部网络请求或 API 调用。
2025-04-14
如何利用 AI 赋能【数据分析在企业自媒体营销中的应用综述（以抖音、小红书平台为例）】
利用 AI 赋能【数据分析在企业自媒体营销中的应用综述（以抖音、小红书平台为例）】可以参考以下方法： 1. 市场分析：利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况，处理大量数据以快速识别关键信息，如受欢迎的产品、价格区间和销量等。 2. 关键词优化：借助 AI 分析和推荐高流量、高转化的关键词，优化产品标题和描述，提高搜索排名和可见度。 3. 产品页面设计：使用 AI 设计工具根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成：利用 AI 文案工具撰写有说服力的产品描述和营销文案，提高转化率。 5. 图像识别和优化：通过 AI 图像识别技术选择或生成高质量的产品图片，更好地展示产品特点。 6. 价格策略：依靠 AI 分析不同价格点对销量的影响，制定有竞争力的价格策略。 7. 客户反馈分析：利用 AI 分析客户评价和反馈，了解客户需求，优化产品和服务。 8. 个性化推荐：借助 AI 根据用户的购买历史和偏好提供个性化的产品推荐，增加销售额。 9. 聊天机器人：采用 AI 驱动的聊天机器人提供 24/7 的客户服务，解答疑问，提高客户满意度。 10. 营销活动分析：使用 AI 分析不同营销活动的效果，了解哪些活动更能吸引顾客并产生销售。 11. 库存管理：依靠 AI 预测需求，优化库存管理，减少积压和缺货情况。 12. 支付和交易优化：利用 AI 分析不同支付方式对交易成功率的影响，优化支付流程。 13. 社交媒体营销：借助 AI 在社交媒体上找到目标客户群体，通过精准营销提高品牌知名度。 14. 直播和视频营销：利用 AI 分析观众行为，优化直播和视频内容，提高观众参与度和转化率。 此外，还可以参考以下具体案例： 赛博发型师：基于 AI 技术为用户提供个性化的发型设计服务，通过分析用户面部特征、个人风格和偏好，自动生成发型设计方案，用户可上传照片，系统分析后生成详细报告和效果图，报告可存档至飞书文档供专业发型师复核评估。 营销文案创作专家深度版：专为企业营销团队等设计，提供从文案框架创作到生成的一站式服务，通过分析产品信息等挖掘痛点和卖点，生成营销文案，并提供营销数据分析服务以优化策略和提高协作效率。 抖音商家客服（C 端用户）/抖音带货知识库工具（B 端商家）：作为 AI 客服系统建设助手，帮助企业实现一站式 AI 客服解决方案。 在实际操作中，还可以参考以下经验： 飞书、多维表格、扣子相关应用优化及自媒体账号分析演示分享：包括直播课程相关内容，优化社区文档问题，介绍技术栈选择，强调扣子、多维表格及 AI 字段捷径结合做数据分析的优势，现场演示账号分析效果，展示同步数据的自动化流程。 高效数据分析应用搭建实操讲解：先介绍数据在多维表格执行无二次请求的优势，接着进行技术实操，从新建“数据 AI 高效数据分析”应用开始，讲解抓数据、同步数据前设置变量等步骤，包括搭建界面、做工作流、保存变量等操作，可在市场选插件。 高雁讲解数据处理及多维表格操作过程：进行操作演示与讲解，包括将用户信息发送到多维表格、调整界面显示、处理按钮点击事件等操作，还讲解了批处理、代码节点等内容。
2025-04-13