Files
kazoottt-blog-v2/src/content/post/2024-W03-AI专题.md
2025-02-07 05:17:15 +00:00

241 lines
13 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
title: 2024-W03-AI专题
slug: 2024-W03-ai-topics
published: true
category: 周报
description: >-
本期AI专题聚焦于2024年第三周的AI领域最新动态包括Google推出的Circle to
Search功能智谱AI发布的国产大模型GLM4及其GLMs商店元象开源的XVERSE-Long-256K模型以及OpenAI对GPT
Builders文档的完善。此外还介绍了彭博推出的IB Connect服务以及多个AI应用如WhisperSpeech和AutoGen
Studio。推荐阅读部分涵盖了AI创业案例、GPT-4的技术分析、Prompt工程指南等内容为读者提供了丰富的AI知识和应用实例。
date: "2024-06-26T10:26:54.033Z"
rinId: 89
finished: true
tags:
- model
- text
- prompt
- RAG
- Q&A
- AIGC
- scene application
- report
- research
- study
- application scene
- scene
- application
toAstro: true
astroType: "post"
date_created: 2025-01-04T11:34:08+08:00
date_modified: 2025-02-07T11:16:10+08:00
---
[[2024-W03]]
# 2024-W03-AI 专题
## 模型动态
### [Google 推出 Circle to Search 划圈搜索](https://blog.google/products/search/google-circle-to-search-android/)
2024-01-17
![img_80.png](https://pictures.kazoottt.top/2024/01/20240119-be50f9aad8ddea1ed678b0d46a11b38a.webp)
介绍Circle to Search 是一种通过简单手势在手机上搜索任何内容的新方式,无需切换应用程序。
Circle to Search 将于 1 月 31 日在部分高端 Android 智能手机Pixel 8、Pixel 8 Pro 和全新三星 Galaxy S24 系列)上推出,支持所有语言和可用地区。
应用场景举例:
在社交平台上看到一张带有一些独特配料的美味玉米狗的图片,只需绕着玉米狗转一圈,问一个问题,比如“为什么这些如此受欢迎?您很快就会知道这些甜味和咸味的零食是韩国玉米狗,以及受欢迎的具体原因。
### [智谱AI发布国产最强大模型GLM4理解评测与数学能力接近GPT-4还有对标GPTs商店的GLMs商店与开发者分成计划](https://mp.weixin.qq.com/s?__biz=Mzg2MTIzNDcyNQ==&mid=2247485533&idx=1&sn=ed17d859d5ec67b13357ebe43de395c7&chksm=ce1b7b17f96cf201b1592ab73a0db6a596aa902cc9fc1f4b351d62224ed102654bf1d3eacaf4&mpshare=1&scene=1&srcid=0116V0BlzHfimamtoVj6d95h&sharer_shareinfo=7738639018d07fae5fd03f5387508b22&sharer_shareinfo_first=7738639018d07fae5fd03f5387508b22#rd)
2024-01-16
![img_16.png](https://pictures.kazoottt.top/2024/01/20240119-05cc41e89e5243dd0f5bfef9c5fabcee.webp)
这篇文章详细介绍了智谱 AI 发布的国产大模型 GLM4 的能力,并且介绍了 GLMs 商店与开发者分成计划。
[GLM-3,GLM-4体验地址](https://chatglm.cn/main/detail)
![img_18.png](https://pictures.kazoottt.top/2024/01/20240119-0f421e32fab4915dd9055b29e38cbc7d.webp)
GLMs 商店截图如下:
![img_17.png](https://pictures.kazoottt.top/2024/01/20240119-d1f2ea2c654b0d579e44fd76f77fd6bf.webp)
### [全球最长开源元象开源大模型XVERSE-Long-256K无条件免费商用](https://mp.weixin.qq.com/s?__biz=Mzg3MDU3ODAwMw==&mid=2247495059&idx=1&sn=017a09e47bbe418bcaa09b2eb49e5256&chksm=ce890faff9fe86b9a3a2c5b869811e91cabbd7aa113f98874619c213276348294d442a622b3d&mpshare=1&scene=1&srcid=0116UnuW06Aj1Iz0CBEPPwyq&sharer_shareinfo=9d54a9350b83b80b8b62a31ed267fad6&sharer_shareinfo_first=9d54a9350b83b80b8b62a31ed267fad6#rd)
2024-01-16
元象发布全球首个上下文窗口长度 256K 的开源大模型 XVERSE-Long-256K支持输入 25 万汉字,让大模型应用进入“长文本时代”。该模型全开源,无条件免费商用,且附带手把手训练教程,让海量中小企业、研究者和开发者更早一步实现“大模型自由”。
![img_7.png](https://pictures.kazoottt.top/2024/01/20240119-2052e7acb15df8f56ed9210b68dc5442.webp)
这篇公众号文章详细地介绍了元象所发布的模型,并且给出了一个简单的实践教程。
### OpenAI 完善了 GPT Builders 的文档
2024-01-13
[文档地址](https://platform.openai.com/docs/actions/introduction)
![img_75.png](https://pictures.kazoottt.top/2024/01/20240119-648909543d858cae67655cf7bbe5a186.webp)
### 继 BloombergGPT 之后,彭博推出了 IB Connect 以改善数字化转型
2023-12-09
彭博自己所发布的新闻:[Bloomberg Welcomes Intra-Firm Chatbots to IB](https://www.bloomberg.com/company/press/bloomberg-welcomes-intra-firm-chatbots-to-ib/)
相关新闻报道:[After BloombergGPT, Bloomberg Launched IB Connect to Improve Digital Transformation](https://multiplatform.ai/after-bloomberggpt-bloomberg-launched-ib-connect-to-improve-digital-transformation/)
新闻报道中的总结如下:
- 彭博推出 IB Connect 服务,使用户能够将专有聊天机器人整合到 IB 聊天室中。
- 公司内部聊天机器人可从内部系统中提取关键信息,从而增强内部商业智能。
- IB Connect 促进了彭博终端与内部工作流程工具之间的无缝集成。
- 通过双向集成,客户可以利用自然语言处理功能将 IB 聊天室与其内部系统连接起来。
- 客户可以使用软件开发工具包定制聊天机器人,为其技术堆栈提供灵活性。
- 提供两种类型的聊天机器人:公司内部问答聊天机器人和公司内部通知聊天机器人。
- BloombergGPT 是早先介绍过的一种专门的金融语言模型,但它面临着一些限制,如只能使用英语和潜在的偏见。
## 优秀应用
### WhisperSpeech - 文本转语音
[官网地址](https://collabora.github.io/WhisperSpeech/)
[github地址](https://github.com/collabora/WhisperSpeech)
![img_84.png](https://pictures.kazoottt.top/2024/01/20240119-0e898ee941f76379e1b3d67be3e95d1b.webp)
### AutoGen Studio
AutoGen Studio 是一个基于 autogen 的 web ui, 支持多个 agent、多模态。
<https://microsoft.github.io/autogen/blog/2023/12/01/AutoGenStudio/>
![img_83.png](https://pictures.kazoottt.top/2024/01/20240119-5c4e05baa13c3a077e6fa5428a381c2d.webp)
构建流程构建
1. 配置技能:技能是描述如何解决任务的函数(如 Python 函数)。一般来说,一个好的技能有一个描述性的名称(如 generate_images、大量的文档说明和良好的默认设置如将文件写入磁盘以实现持久化和重复使用。您可以通过提供的用户界面向 AutoGen Studio 添加新技能。在推理过程中,这些技能将在助理代理处理您的任务时提供给他们。
2. 配置 agent
3. 配置 agent 工作流:代理工作流程是一组代理的规格说明,这些 agents 可以共同完成一项任务。最简单的版本是设置两个 agents-- 一个 assistant agent一个 user agent.
### [Moodboard Creator —— AI 生成情绪板](https://www.moodboardcreator.de/)
![img_60.png](https://pictures.kazoottt.top/2024/01/20240119-24f846ee004afa05b0117c185d358ff9.webp)
[推特地址](https://twitter.com/ftium4/status/1746419029961814098?s=12&t=UKmYswdLBh4dGuqwtKAXUA)
### [AI Gateway](https://github.com/Portkey-AI/gateway)
![img_6.png](https://pictures.kazoottt.top/2024/01/20240119-a687b322e7ca8a9198bc9bfaf75efb14.webp)
✅ 极速性能(速度是常规的 9.9 倍),同时只占极小存储空间(安装后约 45kb
✅ 实现跨多个模型、服务提供商及密钥的负载均衡
✅ 具备故障回退功能,确保应用的高可用性
✅ 支持自动重试,并默认使用指数级延迟策略
✅ 可按需添加中间件
✅ 经过超过 1000 亿个 Token 的实战检验
## 推荐阅读
### [AI创业新典范Monica.im如何用浏览器插件撬动商业价值| 万字长文](https://mp.weixin.qq.com/s/tfQWfHaYq56PcWCPvGsoOA)
[monica应用链接](https://monica.im/)
Monica 是一个使用最先进的 AI 模型GPT-4、Claude、Bard 等)帮助你对话、搜索、写作、翻译的一站式 AI 助手并且提供多种图片、视频、PDF 处理的工具。
![img_15.png](https://pictures.kazoottt.top/2024/01/20240119-111fd19ddec3b21191907a90fcc518fa.webp)
### [AI创业新典范Monica.im如何用浏览器插件撬动商业价值| 万字长文](https://mp.weixin.qq.com/s/tfQWfHaYq56PcWCPvGsoOA)
这篇公众号的文章详细地介绍了 Monica.im主要内容如下
1. 是什么以及用户对它的评价
2. 研究 Monica 的成功秘诀
3. Monica 的未来方向
可以阅读一下,从中学习参考该团队的经验。
### [GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE](https://www.semianalysis.com/p/gpt-4-architecture-infrastructure)
![img_19.png](https://pictures.kazoottt.top/2024/01/20240119-9d32c1cea255a5e5ceee86823e076cdd.webp)
本文对 OpenAI 的工程能能力做出了很高的评价作者认为“OpenAI 最持久的护城河是,他们的产品拥有最广的使用率、领先的工程人才,并且可以继续在未来的模型中领先于其他模型。”
然后对“模型架构、训练基础架构、推理基础架构、参数数量、训练数据集组成、标记数量、层数、并行策略、多模态视觉适应、不同工程折衷背后的思考过程、独特的实施技术,以及他们如何缓解与巨型模型推理相关的一些最大瓶颈。”等方面进行了详细的分析。
如果你想了解 GPT-4 的一些细节,可以阅读一下这篇文章。
### [ChatGPT Prompt Engineering](https://www.promptingguide.ai/models/chatgpt)
这个网站主要与提示词工程有关,它介绍了大模型相关的基础知识,并且根据各种维度(例如技术、应用、模型、风险与误用、大模型研究成果以及各种工具等)分别介绍了相关的技巧。
在近期的更新中,他们新增了针对不同模型的提示词技巧的教程。
![img_21.png](https://pictures.kazoottt.top/2024/01/20240119-d32ddbbc1e3117f7fd60cb3f43202393.webp)
与此同时,这也是一个开源的教程,如果感兴趣,也可以参与到这个项目中来。
[github地址](https://github.com/dair-ai/Prompt-Engineering-Guide)
### [fuxiang对于【devv.ai团队分享的RAG原理】的再整理](https://twitter.com/fuxiangPro/status/1747242297975062666)
![img_38.png](https://pictures.kazoottt.top/2024/01/20240119-020bd33e057f6a0642ead0b113320c5f.webp)
[devv.ai团队分享的RAG原理原文](https://twitter.com/Tisoga/status/1731478506465636749)
### [dify的博客](https://dify.ai/blog)
![img_39.png](https://pictures.kazoottt.top/2024/01/20240119-1aa4faeddea36ea5424971865d97adff.webp)
博客的 Developer 栏目会介绍一 Dify 的技术实现,例如 [他们是如何提升RAG精确度的](https://dify.ai/blog/hybrid-search-rerank-rag-improvement)。
![img_40.png](https://pictures.kazoottt.top/2024/01/20240119-d59e03ba71cc20bccae57832bc27febc.webp)
### [艾瑞咨询2023年AIGC场景应用展望研究报告](https://waytoagi.feishu.cn/record/VQtLrDQWeehexvcTWxJcmSjMnPc)
![img_41.png](https://pictures.kazoottt.top/2024/01/20240119-682d05781766550c93e92c5cf6f1dbb5.webp)
该报告从技术角度、产业角度、经典企业案例、优秀 AI 场景应用四个方面对 2023 年的 AIGC 场景做出了总结。
### [Prompt技巧](https://weibo.com/1727858283/Naqzz5TOc#comment)
![img_63.png](https://pictures.kazoottt.top/2024/01/20240119-f9161fafd4a7679a7c486676ddb56307.webp)
这篇微博汇总了 Prompt 的基础、进阶、高级技巧,并且推荐了几个 Prompt 开源项目。
- Prompt 提示工程指南:网页链接
- Prompt 编写模式:<http://github.com/prompt-engineering/prompt-patterns>
- Awesome ChatGPT Prompts
<https://github.com/f/awesome-chatgpt-prompts>
<https://github.com/PlexPt/awesome-chatgpt-prompts-zh>
- Learn Prompt<https://www.learnprompt.pro/>
### 论文《表格链:推理链中不断演变的表格,促进对表格的理解》
Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding
[微博地址](https://weibo.com/1727858283/4988866724102248?wm=3333_2001&from=10DC293010&sourcetype=weixin&s_trans=7796753876_4988866724102248&s_channel=4)
![img_64.png](https://pictures.kazoottt.top/2024/01/20240119-a1cb841d8427cdf6a7d8e53471be0f57.webp)
[论文地址](https://arxiv.org/abs/2401.04398v1)
### [推荐阅读:文本分割的五个层次](https://weibo.com/1727858283/4989256960836646?wm=3333_2001&from=10DC293010&sourcetype=weixin&s_trans=2100889127_4989256960836646&s_channel=4)
![img_66.png](https://pictures.kazoottt.top/2024/01/20240119-054e11be2362f9722ece258927e79777.webp)
[译文](https://baoyu.io/translations/rag/5-levels-of-text-splitting?continueFlag=61db114b5bb3eda119c3b0a42a3f0791)
[视频](https://www.youtube.com/watch?v=8OJC21T2SL4)
[Notebook](https://github.com/FullStackRetrieval-com/RetrievalTutorials/blob/main/5_Levels_Of_Text_Splitting.ipynb?continueFlag=61db114b5bb3eda119c3b0a42a3f0791)
### [温故而知新:大模型RAG问答研发的7个失分点及MOE专家组合模型的若干浅析](https://mp.weixin.qq.com/s/1p2VtmU-ClPQP1jEchGpGQ)