开源日报 | Meta发布最强AI模型;微软全球宕机加速巨头洗牌;扎克伯格称用闭源防中国行不通;LLM模型大小竞争愈演愈烈
迪丽瓦拉
2024-07-25 00:36:39
0

欢迎阅读 OSCHINA 编辑部出品的开源日报——您探索和理解开源世界的日常指南。在这里,我们每天从宏观到微观,全面展现开源技术和文化的动态图景。

每日一更,风雨无阻。

OpenSource Daily # 2024.7.24省流概览

-Meta 发布新一代开源大模型 Llama 3.1

-MoonBit 构建系统正式开源

-腾讯开源 PhotoMaker 换脸神器再升级

-马斯克因 Llama3.1 为扎克伯格点赞

-微软全球宕机加速巨头洗牌

-Llama 3.1 诞生,开源首次击败当今最强闭源模型

-周鸿祎:要把大模型 “从原子弹变成茶叶蛋”

-扎克伯格称用闭源防中国行不通

今日要闻

Meta 发布新一代开源大模型 Llama 3.1

今天凌晨,Meta 正式发布新一代开源大模型 Llama 3.1 系列,提供 8B、70B 及 405B 参数版本。

Llama 3 使用了超过 1.6 万个 H100 GPU、以及超过 15T token 的公开数据进行训练。架构方面,该模型选择标准的仅解码器 transformer 模型架构进行调整,而不是混合专家模型,以最大化训练稳定性。

此外,Llama 3 采用了迭代的后训练程序,每一轮使用监督微调和直接偏好优化。

MoonBit 构建系统正式开源

moon 是 MoonBit 的构建系统,为 MoonBit 项目提供编译构建,自动化测试工具(集成 expect test),覆盖率测试、包管理器等功能,此外,moon 作为 MoonBit 语言编译工具链的重要组件,与 IDE 紧密结合,为 IDE 分析代码提供了详尽的项目结构和依赖等信息。

moon 还为集成开发环境(IDE)提供了详尽的项目结构和依赖等信息,这对于对延迟极为敏感的 IDE 场景至关重要。moon 通过优化核心构建步骤的性能,确保了即使在高度交互的开发环境中也能提供流畅的用户体验。

开源信息:

https://github.com/moonbitlang/moon

腾讯开源 PhotoMaker 换脸神器再升级

还记得腾讯去年整的那个 PhotoMaker 吗,当时刷爆了朋友圈。就是可以把吴彦祖变成苏大强的那个换脸神器。现在它进化了,叫 PhotoMaker V2。

你只需要上传几张自己的照片,然后给它一些提示词,就能生成自己在各种场景、不同风格的照片。

今日观察社交观察

马斯克因 Llama3.1 为扎克伯格点赞

虽然杨立昆在 X 上狂怼马斯克的次数越来越多了(和技术关系不大,主要是派别立场,比如对特朗普的评价)。

但其实,马斯克和扎克伯格的最大公约数是越来越多了,特别是小扎热烈表达了对特朗普在枪击事件中的硬汉形象称赞之后。在 Llama3.1 405B 模型发布之后,马斯克的前同事 Andrej Karpathy 第一时间写了个短评,马斯克也在留言中低调称赞扎克伯格的工作(肯定会被小扎看到了)。

- 微博高飞

LLM 模型大小竞争愈演愈烈

我敢打赌,我们会看到非常小的、能够 “思考” 得非常好、非常可靠的模型。甚至 GPT-2 参数的设置很可能会让大多数人认为 GPT-2 是 “智能的”。目前的模型之所以如此庞大,是因为我们在训练过程中仍然非常浪费 -- 我们要求它们记住互联网上的内容,而令人惊讶的是,它们确实做到了,并且能够背诵常见数字的 SHA 哈希值,或者回忆起非常深奥的事实。(事实上,LLMs 的记忆能力真的很强,在质量上比人类强很多,有时只需要一次更新就能长时间记住很多细节)。但试想一下,如果你要接受闭卷考试,背诵互联网上任意段落的开头几个单词。这就是当今模型的标准(预)训练目标。之所以很难做得更好,是因为在训练数据中,思维展示(demonstrations of thinking )与知识 "纠缠" 在一起。

- 微博i陆三金

扎克伯格称用闭源防中国行不通

扎克伯格认为最好的策略是建立一个强大的开放生态系统,使得行业龙头公司与政府和盟友密切合作,以确保他们能够最好地利用最新进展,并在长期内实现可持续的先发优势。

关于中国,他在文中提到,“有些人认为,美国必须采用闭源,以防止中国获得这些模型”,但 “这是行不通的,只会让美国及其盟友处于不利地位”。

据彭博社报道,扎克伯格还补充说,认为美国在人工智能方面会领先中国数年也是不现实的。但他指出,即使是数月的小幅领先,也可以随着时间的推移 “累积”,让美国占据明显优势。

- 微博观察者网

变的是数据来源,没变的是数据质量

需求一直在那里,但是一直没被满足好。以前的数据散落在各处,就像大众点评找餐厅,我们通过搜索引擎获得了一些坐标,并前往去寻找。

现在的数据则被汇聚到了模型里,就像一个中央厨房,我们可以随时打上一句招呼,它就端菜上桌,任君食用。但是预制菜嘛,就是不太新鲜,所以我们做了 RAG,做了 AI 搜索,获取新鲜的实时信息。

大到金融、医疗,小到生活百科,我们的需求一直是高质量的数据,高质量的信息。但需求从未被满足。

不管是模型训练的数据、SFT 的数据,还是 RAG 的数据,质量都是第一性原理。

- 微博宝玉xp

媒体观察

大模型格局变天:Llama 3.1 诞生,开源首次击败当今最强闭源模型

相信今天大家翘首企盼的都是同一个主角,Meta 藏到现在的王牌、最被社区看好能直接叫板 GPT-4o 的新一代开源大模型 —— Llama 3.1 系列,终于正式发布了。

鉴于 4 月公开的两个 Llama 3 小参数模型 8B 和 70B 表现不俗,令开发者们对最大参数版本的强悍性能充满期待。

昨天凌晨,部分 “关键情报 “更是在 Reddit 和 Hugging Face 上遭到泄露,爆料者称它已匹敌 GPT-4o 和 Claude 3.5 Sonnet。今天看来所言非虚:开源大模型首次击败了闭源最强 SOTA 模型。

- 品玩

Meta 发布最强 AI 模型,扎克伯格公开信解释为何支持开源?

扎克伯格在脸书上发表了题为 “开源 AI 是未来发展之路” 的公开信。他表示,重要的是,AI 这项技术不应该由少数几家巨头公司控制,包括他自己的公司。开源 AI 能够让技术人员了解强大 AI 模型的创建过程,并利用这些知识开发他们自己的 AI 程序。

-凤凰网科技

专访成都晓多科技:国产芯片生态亟需各方通力去 “磨”

晓多科技 CTO 向海在接受红星资本局专访时谈到大模型现在最大的挑战,他认为不在于技术和成本,还是场景突破,“目前看上半年场景问题还是比较焦灼,如果有应用跑出来,大家的信心就会更强。”

-红星新闻

微软全球宕机加速巨头洗牌

AI 催化下,全球数字化加速狂奔。在万物互联的时代,网络安全必须始终被摆在最重要的位置,任何小错误都可能被无限放大,造成难以挽回的损失。

微软 “蓝屏” 事件给一直被寡头垄断的行业投入一枚炸弹,新格局已在暗中酝酿。

-全天候科技

大模型为深度伪造带来土壤,业界呼吁跨学科联合攻坚鉴伪技术

“鉴伪没有终点,只要生成式道路还没有走到头,鉴伪就会一直往下走。” 陈磊表示,赛后信也科技将开源数据,用于更广泛的学术研究,将选手的材料脱敏后共享学习。同时在业务场景中吸收前沿模型思想,构建 AIGC 鉴伪平台。他认为生成式 AI 要符合治理规则,人工智能治理需要监管层的顶层设计进行规范和引导,同时呼吁生态共建,以产业界共创防范系统性风险。

-澎湃新闻

周鸿祎:要把大模型 “从原子弹变成茶叶蛋”

“OpenAI 试图创造出像神一样的超级人工智能。他们认为,全世界所有的企业、政府、个人,只要用 OpenAI 的服务就够了。”360 集团创始人周鸿祎戏称,OpenAI 看起来是在造 “原子弹”。

但他认为,这种方式并不适用于国产大模型的发展,要把大模型拉下神坛,才可以引发更大规模的工业革命。

-i黑马

中国信通院正式启动 AI 大模型算子适配生态建设工作

第一批大模型算子级适配测试主要围绕大语言模型算子的丰富度、功能、性能开展,现已正式启动报名。后续将迭代更新算子列表,分类分批持续开展。

-CAICT人工智能

投资人看 AI:投大模型风险可控,大厂 VS 独角兽胜负难料

在大厂与独角兽的赛跑中,谁能胜出?这是两种完全不同风格的路线,大厂的出发点是,用大模型技术将旗下整个应用场景重新做一遍,创业公司的打法则是,先从基座出发,将模型往应用上做。

-第一财经

今日推荐

开源项目

iorate/ublacklist

https://github.com/iorate/ublacklist

uBlacklist 是一个浏览器扩展程序,可以阻止特定网站出现在 Google 搜索结果中,该扩展支持 Chrome、Firefox 和 Safari。

每日一博

从打点平台谈打点治理

本文介绍了打点治理的概念和其对于数据质量保障的重要性,分享了日志中台在打点治理方面的解决方案与实践经验。文章从用户痛点和打点治理的难点出发,介绍了日志中台如何通过质量标准的制定、在线化流程的建设和相应的配套工具来解决这些问题。

https://my.oschina.net/u/4939618/blog/11209038

开源之声

用户观点

扎克伯格:Llama 3.1 会成为开源 AI 标准,就像当年 Linux 一样

  • 观点 1:可是李彦宏说开源模型是智商税啊……
  • 观点 2:诶,所以说 3 的 400b 模型不放出来了(?)
  • 观点 3:李彦宏说的每一句话都是智商税
  • 观点 4:Zuckerberg 开放 AI 的决定我是支持的。
  • 观点 5:可惜国内网民只知道百度,连 llama 都没听说过。就算 llama4 出来后全面超过所有闭源模型了,百度肯定都会照样宣传它自己是最强的,照样有人信
我用十条优化措施,将 Redis 费用降本 46 万 / 月
  • 观点 1:我用的不花一分钱!没办法省了!
  • 观点 2:这个体量之前光 redis 一月就能百万费用,整个服务上千万了吧,可怕
  • 观点 3:用 com.github.fashionbrot:tlv:0.0.2 压缩更狠支持 gzip 压缩,比 protobuf 序列化更狠
  • 观点 4:优化最大的 使用压缩算法 不是把内存压力转到 计算上了吗
  • 观点 5:我不用,立省 100%
相信开源力量,MoonBit 构建系统正式开源!
  • 观点 1:啥意思,用 rust 构建了一个新语言吗?
    • 观点 2:用开源的 rust 构建了一个开源的 moon,用于构建开源的 moonbit。
  • 观点 3:牛牛牛,不过最好不要这么比。一门编程语言发展如何,也是 “领域” 驱动的,构建工具的某些性能行不行,几乎不影响语言发展,因为构建工具是容易改进的,甚至是可以替换的。那么 MoonBit 所瞄准的 “领域”,究竟是不是一个可以大发展的领域呢?云计算和边缘计算的场景需求是什么,这个领域是否空缺一门语言?如果把优势放在 “工具” 和 “更美的语法” 上,只是利于学习,而不能构成语言长远发展的根基,前车之鉴是 Ruby。

程序员梗图

活动推荐

END

References

https://www.oschina.net/news/303606/meta-llama-3-1

https://www.oschina.net/news/303533/moonbit-news

https://weibo.com/6105753431/Op0lajkwQ

https://weibo.com/1233486457/Op0sSu2GA

https://weibo.com/1706699904/OofzAnzmc

https://weibo.com/1887344341/Op2EY4Af0

https://weibo.com/1727858283/OoSOAoqEE

https://m.163.com/dy/article/J7S8PG4805118I96.html

https://www.pingwest.com/a/296857

https://finance.sina.cn/2024-07-24/detail-incffsef6230656.d.html

https://mp.weixin.qq.com/s?__biz=Mzk0MDUzOTcxNg==&mid=2247487773&idx=1&sn=63177dbe5cbf4d1ad3b65b9ffdbef84f&chksm=c2e17b36f596f220d7f28b69dfb11074a8fc964a828ec361d50a94f3f8012fc5e53505073afa#rd

https://www.thepaper.cn/newsDetail_forward_28169406

https://k.sina.com.cn/article_5953190035_162d67893019011qhg.html

https://ishare.ifeng.com/c/s/8bTcW4KBSF0

https://ishare.ifeng.com/c/s/8bTIetYG1cL

https://my.oschina.net/u/4939618/blog/11209038

https://github.com/iorate/ublacklist

https://mp.weixin.qq.com/s/zDxhHDAsIldxydm5edfeUg

https://mp.weixin.qq.com/s/wzTfo5qCuc9gmI5Srnpdyg

最后,欢迎扫码下载「开源中国 APP」

阅读海量技术报告、程序员极客分享

相关内容