知識ベースとの対話

以下是 2024 年《全球人工智能治理研究报告》中关于“国家主权原则和人工智能发展”的相关内容：在 2024 年人工智能发展状况的安全与全球治理方面：英国创建了世界上第一个人工智能安全研究所（AISA），其有三个核心功能：在部署前对高级模型进行评估；建立国家能力并开展研究；协调国际合作伙伴。AISA 还发布了 Inspect 框架用于 LLM 安全评估。英国宣布与美国等效机构签署谅解备忘录，并计划在美国旧金山设立办事处。英国通过其高级研究与发明机构（ARIA），花费 5900 万英镑开发“守门员”系统，负责了解和减少关键领域中其他人工智能代理的风险。英国政府还计划设立“AI 安全研究实验室”，旨在汇集政府关于敌对国家使用进攻性 AI 的知识。美国能源部利用内部测试床评估人工智能对关键基础设施和能源安全的风险。在技术和方法方面：离线直接比对方法不会很快大规模取代 RLHF。谷歌 DeepMind 团队发现 RLHF 在涵盖总结、有用性、对话性等数据集上的测试中胜出，能更有效地改善生成任务。Cohere for AI 探索放弃近端策略优化 RLHF 中的算法，有利于其 RLOO 训练器，可降低 GPU 使用率和提高训练速度。但 RLHF 存在可能滋生谄媚行为的问题，如 Anthropic 认为 SOTA AI 助手表现出奉承行为是因为人类偏好数据等。开发透明度虽在提高，但仍有很大改进空间。在安全研究方面：随着 AI 发展，新功能带来新漏洞，开发人员加大了对“越狱”的研究。OpenAI 提出通过“指令层次结构”修复攻击，Anthropic 表明“警告防御”的潜力，Gray Swan AI 的安全专家试用“断路器”。LLM 测试初创公司 Haize Labs 与 Hugging Face 合作创建首个红队抵抗组织基准。除越狱外，还存在更隐蔽的攻击，潜在攻击面广泛，涵盖从训练到偏好数据和微调等内容。对于“国家主权原则和人工智能发展”的理解，可能需要综合考虑各国在人工智能安全研究和治理方面的举措，以及技术发展对国家主权可能产生的影响。各国积极建立相关机构和采取措施，表明在人工智能快速发展的背景下，维护国家主权和安全的重要性。同时，技术发展中的问题和挑战也需要各国共同协作应对，以实现人工智能的健康、安全和可持续发展。