直达「 通往AGI之路 」飞书知识库 →
首页/全部问答
数字人
数字人是运用数字技术创造出来的人,目前业界尚无准确定义,一般可根据技术栈分为两类: 1. 真人驱动的数字人:重在通过动捕设备或视觉算法还原真人动作表情,主要应用于影视行业及直播带货。其表现质量与手动建模精细程度及动捕设备精密程度直接相关,不过随着视觉算法进步,在无昂贵动捕设备时也能通过摄像头捕捉人体骨骼和人脸关键点信息达到不错效果。 2. 算法驱动的数字人: 算法开源代码仓库众多,如 ASR 语音识别方面有 openai 的 whisper(https://github.com/openai/whisper)、wenet(https://github.com/wenete2e/wenet)、speech_recognition(https://github.com/Uberi/speech_recognition);AI Agent 方面大模型包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等,Agent 部分可用 LangChain 模块自定义(https://www.langchain.com/);TTS 方面有微软的 edgetts(https://github.com/rany2/edgetts)、VITS(https://github.com/jaywalnut310/vits)、sovitssvc(https://github.com/svcdevelopteam/sovitssvc)。 人物建模模型可通过手动建模(音频驱动)或 AIGC 方式生成人物动态效果(如 wav2lip 模型)来实现,但这种简单构建方式存在诸多问题,如如何生成指定人物声音、TTS 生成的音频如何精确驱动数字人口型及动作、数字人如何使用知识库做出专业回答等。
2024-09-30
帮我找知识库里和「评估」相关的内容或文章
以下是知识库里与“评估”相关的内容: 提示工程: 评估程序在优化系统设计时很有用。好的评估程序需要具备以下特点: 具有代表性:能够代表真实世界的使用场景,或者至少包含多样化的测试用例。 样本量充足:拥有足够的测试用例,以保证统计结果的可靠性。 易于自动化:可以自动运行或重复执行。 评估工作可以由计算机、人类或两者协作完成。计算机可以使用客观标准以及一些主观或模糊标准自动执行评估,其中模型输出由其他模型查询评估。是一个开源软件框架,提供了创建自动评估程序的工具。 基于模型的评估在评估具有多种可能答案的问题时非常有用,模型可以根据预定义的标准对不同的答案进行评分,帮助我们选择最佳答案。可以用模型进行评估和需要人工评估之间的界限是模糊的,并且随着模型变得越来越强大而不断变化。 OpenAI 官方指南: 评估程序(或称为“Evals”)对于优化系统设计非常有用。良好的评估: 代表现实世界的使用(或至少是多样化的)。 包含许多测试用例以获得更大的统计能力。 易于自动化或重复。 输出的评估可以由计算机、人类或混合来完成。计算机可以使用客观标准以及一些主观或模糊标准来自动评估,其中模型输出由其他模型查询评估。是一个开源软件框架,提供用于创建自动评估的工具。 当存在一系列可能被认为质量相同的输出时,基于模型的评估可能很有用。使用基于模型的评估可以实际评估的内容与需要人工评估的内容之间的界限是模糊的,并且随着模型变得更强大而不断变化。 Gemini 报告: 为了评估 Gemini 模型在政策领域和其他在影响评估中确定的关键风险领域中的表现,在模型开发的整个生命周期中开展了一系列评估。 在训练和优化 Gemini 模型过程中,会进行开发评估以进行“hillclimbing”。这些评估是由 Gemini 团队设计的,或者是针对外部学术基准的评估。评估考虑诸如有用性(指令遵循和创造力)、安全性和事实性等问题。 保证评估是为了治理和审查而进行的,通常在关键里程碑或培训运行结束时由模型开发团队之外的团队进行。保证评估按照模态进行标准化,数据集严格保密。只有高层次的见解被反馈到训练过程中,以协助缓解工作。保证评估包括对 Gemini 政策的测试,并包括对潜在生物危害、说服力和网络安全等危险能力的持续测试。 外部评估由谷歌之外的合作伙伴进行,以发现盲点。外部团体对模型进行了一系列问题的压力测试,包括白宫承诺书中列出的领域,测试通过结构化评估和非结构化的红队测试进行。这些评估的设计是独立的,并且结果定期报告给 Google DeepMind 团队。
2024-09-30
stable diff
以下是关于 Stable Diffusion 的相关信息: 中文大模型基准测评 2023 年度报告中未直接提及 Stable Diffusion 的相关内容。 有关于 Stable Diffusion 安装过程中常见报错解决方法的教程: 目录不正确报错:: 显存不足报错:File “D:\\openai.wiki\\stablediffusionwebui\\venv\\lib\\sitepackages\\torch\\nn\\modules\\module.py”,line 664,in _apply 、param_applied = fnIf reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF 、Stable diffusion model failed to load,exiting 、请按任意键继续。 。解决方法包括换个好一些的显卡(至少英伟达 2060 以上),或者开启低显存模式(在 stablediffusionwebui 文件夹下找到 webuiuser.bat,用文本或代码编辑器打开该文件夹)。
2024-09-30
推荐一本适合纯新手小白看的ai书籍
以下是为纯新手小白推荐的 AI 相关书籍: 在 Python 方面: 《Python 学习手册》:名声在外。 《Python 编程》:对新手友好。 在 AI 方面: 《人类简史》:其中“认知革命”的相关章节令人获益匪浅。 《深度学习实战》:按脉络梳理了 ChatGPT 爆发前的 AI 信息与实践。 此外,还有以下相关资源: 课程:推荐 B 站 up 主“PAPAYA 电脑教室”的 Python 入门课,完全免费。 地址:https://space.bilibili.com/402780815/channel/seriesdetail?sid=2762019 对于大模型,Andrej Karpathy 的讲解很不错,其相关地址: 油管:https://www.youtube.com/watch?v=zjkBMFhNj_g B 站:https://www.bilibili.com/video/BV1AU421o7ob 资料库:推荐 AJ 和众多小伙伴们共创的“?通往 AGI 之路(一个飞书文档)”,这是当下最全的中文 AI 资料库,免费、开源、共创,包含了几乎所有有价值的文档、文章、资料、资讯,并永远是第一时间更新。 地址:https://waytoagi.feishu.cn/wiki/QPe5w5g7UisbEkkow8XcDmOpn8e 另外,还有“陈财猫:推荐书单了解各个领域的知识,并在恰当的时候调用它们”中提到的相关书籍: 计算机方面: file:智慧的疆界从图灵机到人工智能.epub file:白话机器学习的数学(图灵图书).epub 课程:【李宏毅 2021/2022 春机器学习课程哔哩哔哩】https://b23.tv/KhwgLna 【【授权】李宏毅 2023 春机器学习课程哔哩哔哩】https://b23.tv/2ocUNn0 https://www.lanqiao.cn/mobile/courses/1330 人工智能方面: file:人工智能(第 4 版)现代方法.epub
2024-09-30
扣子工作流中能不用代码实现简单的数据处理吗
在扣子工作流中,是可以不用代码实现简单的数据处理的。例如,通过一些插件和大模型节点可以完成部分数据处理任务。 在生成有趣的《图文短句》的工作流中,包括多个步骤,如通过大模型生成标题、简介、文案等,并进行归纳总结和传递给图像流等。 在一泽 Eze 的教程中,提到在 Coze 上搭建工作流框架时,左侧“选择节点”模块中实际用到的有插件、大模型和代码。插件可提供一系列能力工具,大模型用于实现各项文本内容的生成,代码支持编写简单的 Python、JS 脚本对数据进行处理。按照流程图在编辑面板中拖入对应的 LLM 大模型、插件、代码节点,即可完成工作流框架的搭建。但对于一些简单的数据处理,不使用代码,依靠插件和大模型也有实现的可能。
2024-09-30
人工智能发展前景
人工智能的发展前景十分广阔。 从历史来看,人工智能始于二十世纪中叶,最初符号推理流行,如专家系统,但因方法局限出现“人工智能寒冬”。后来,计算资源便宜、数据增多,神经网络方法在计算机视觉、语音理解等领域展现出色性能,过去十年“人工智能”常被视为“神经网络”的同义词。 在当前,深度学习效果显著,随着规模扩大预期会改善,我们持续增加相关资源投入。未来,人工智能模型将作为个人助理执行特定任务,帮助协调医疗护理等。系统将帮助构建更好下一代系统,在各领域取得科学进展。 产业方面,人工智能是引领科技和产业变革的基础性和战略性技术,加速与实体经济融合,改变生产模式和经济形态,对新型工业化等发挥重要支撑作用。其产业链包括基础层(算力、算法和数据)、框架层(深度学习框架和工具)、模型层(大模型等)、应用层(行业场景应用)。我国人工智能产业近年快速发展,形成庞大市场规模,伴随新技术迭代呈现创新技术群体突破、行业应用融合发展、国际合作深度协同等新特点,亟需完善产业标准体系。 总之,智能时代的曙光带来了历史性发展和高风险挑战,但潜在正面影响巨大,未来将带来巨大繁荣。
2024-09-30
人工智能发展前景
人工智能的发展前景十分广阔。 从历史来看,人工智能始于二十世纪中叶,最初符号推理流行,如专家系统,但因方法局限出现“人工智能寒冬”。随着计算资源变便宜、数据增多,神经网络方法在计算机视觉、语音理解等领域展现出色性能,过去十年“人工智能”常被视为“神经网络”的同义词。 在当前,深度学习被发现有效,且随规模扩大预期改善,我们持续增加相关资源投入。未来,人工智能模型将作为个人助理执行特定任务,帮助构建更好的下一代系统,在各领域取得科学进展。比如协调医疗护理,在各个领域助力发展。 产业方面,人工智能是引领科技革命和产业变革的基础性和战略性技术,加速与实体经济融合,改变生产模式和经济形态,对新型工业化、制造强国、网络强国和数字中国建设有重要支撑作用。其产业链包括基础层(算力、算法和数据)、框架层(深度学习框架和工具)、模型层(大模型等)、应用层(行业场景应用)。近年来我国人工智能产业在多方面快速发展,形成庞大市场规模,伴随新技术迭代呈现出新特点,亟需完善产业标准体系。 总之,智能时代的曙光带来了历史性发展机遇,也带来高风险挑战,但潜在正面影响巨大,未来将实现巨大繁荣。
2024-09-30
AI在未来运用在人形机器人上能实现什么
在未来,AI 运用在人形机器人上能够实现以下方面: 1. 为人类生活带来更智能、更便捷的体验,提供各种生活服务和生产制造服务。 2. 打造能够与人类建立深度互动的智能体,自主处理与复杂物理世界的交互。 3. 利用端到端的 AI 运动控制技术驱动软硬件一体化的机器人系列产品,开发在真实世界中生产、制造以及服务的人形机器人产品。 4. 拥有先进的计算机视觉算法、人工智能算法、控制和路径规划算法,对 3D 物体的姿势估计具有出色的感知能力。 5. 可以为机器人提供模仿训练数据,人形机器人可能在人类世界中更加有用,部署更加高效。 6. 借助相关技术,人形机器人能够从少量人类演示中学习,帮助完成日常任务,通过观察模仿人类的运动。 7. 由全新的机器人芯片提供支持,实现更强大的智能功能。
2024-09-30
AI在未来运用在机器人上有哪些方面
AI 在未来运用在机器人上的方面包括: 1. 制造业:带来制造业的革命,如自适应机器人的应用。 2. 自动驾驶:自动驾驶车辆成为重要应用领域。 3. 人形机器人:在非结构化环境中的应用具有巨大价值。 4. 医疗领域: 护理/手术机器人:逐渐出现由 AI 驱动的机器人,护理等非生命直接相关的机器人会早于手术机器人。 人体健康模型:如“AI 虚拟病人”帮助药品在进入临床之前进行预筛查,未来可能出现模拟人体运转的 AGI 实现“防未病”和“真个性化”诊疗。 5. 农业:应用于田间管理的机器人能提高农业生产效率、可持续性和生产力。 6. 疾病检测与治疗:改善乳腺癌筛查,变革疾病的检测、预防和治疗方式。
2024-09-30
图生图的原理
图生图的原理如下: 上传图片后,Stable Diffusion(SD)会根据您上传的图片、选择的模型、输入的 Prompt 提示词等信息进行重绘。重绘幅度越大,输出的图和输入的图差别就越大。 文生图高清修复的原理是命令 AI 按照原来的内容重新画一幅,新生成的绘图和原来的绘图在细节上会有所不同。若想更接近原图细节,可适当降低重绘幅度。 从技术路径来看,基于 GAN(Generative Adversarial Network)的文生图原理是:GAN 由生成器和判别器构成,通过训练二者进行对抗学习,学习数据的分布,并生成新的数据样本。生成器试图生成与真实数据相似的样本,判别器则试图区分生成的样本和真实样本,二者通过对抗过程训练,直到判别器无法区分生成和真实样本为止。代表模型有 DFGAN、StackGAN++、GoGAN、AttnGAN 等。
2024-09-30