Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样讲师的原话- 2024 年大家都在 cosplay Llama2- 2025 年的主题是「怎么训得不崩」- 2026 年的主题是「怎么扛住长上下文」下面是 2026 年开源 LLM 的标准模板 你训自己的模型可以直接抄【架构层 已经收敛的 7 件事】1）Layer Norm 挪出残差流（pre-norm）原版 Transformer 把 LN 放在残差里 几乎所有现代模型都挪到外面原因：keep your residual stream clean 梯度反传更稳2）RMS Norm 替代 LayerNormLayerNorm 的减均值 + 加 bias 那部分实际没怎么帮上忙丢掉之后 flops 只省 0.17% 但运行时省到 25%（瓶颈在数据搬运 计算反而次要）3）所有 bias 项全删跟 RMS Norm 一个道理 系统层省内存搬运4）激活函数用 SwiGLU
1:29:02
x.comJason Zhu
Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模
Jason Zhu (@GoSailGlobal). 28 replies. Stanford CS336 上，Tatsu 讲了一节 LLM 架构课，把过去 3 年所有主流 LLM 拆开，看它们的共通模板结论挺爆：90% 的架构选择已经收敛，你随便挑一个开源大模型，它跟其他模型在这些维度上几乎一模一样讲师的原话- 2024 年大家都在 cosplay ...
523.9K views2 weeks ago
百度搜索技巧
谷歌百度搜索引擎90%人不知道的技巧，让你事半功倍。
5:36
谷歌百度搜索引擎90%人不知道的技巧，让你事半功倍。
YouTube数程
995 viewsJun 18, 2020
搜索技术，普通人变强的唯一外挂。全套详细宝藏教程~
1:07:51
搜索技术，普通人变强的唯一外挂。全套详细宝藏教程~
YouTube檀东东·Tango
1.8M viewsOct 25, 2023
百度搜索技巧
百度搜索技巧
douyin.com
Sep 1, 2023
Top videos
还是事业养人 新剧定妆这张脸这个状态谁能不想看 就喜欢这个两年无缝进组不休息无绯闻猛猛冲事业的牛女人 比美貌更打动人的永远是姐姐的野心和自律
1:04
还是事业养人 新剧定妆这张脸这个状态谁能不想看 就喜欢这个两年无缝进组不休息无绯闻猛猛冲事业的牛女人 比美貌更打动人的永远是姐姐的野心和自律
bilibili小比邦邦给你两拳
92K views7 months ago
周蕙 Where Chou - 不想讓你知道 (官方版MV)
4:21
周蕙 Where Chou - 不想讓你知道 (官方版MV)
YouTube福茂唱片
4.1M viewsFeb 16, 2012
MAYDAY 五月天 [ 突然好想你 Suddenly missing you so bad ] Official Music Video
4:47
MAYDAY 五月天 [ 突然好想你 Suddenly missing you so bad ] Official Music Video
YouTube相信音樂BinMusic
28.9M viewsJan 18, 2013
百度产品介绍
百度地图产品介绍
2:39
百度地图产品介绍
bilibiliCould-Star
245 views1 month ago
激荡20年的百度帝国，曾经的王者为何从BAT掉队？到底发生了什么？
22:35
激荡20年的百度帝国，曾经的王者为何从BAT掉队？到底发生了什么？
YouTube猫眼儿观世界
241.7K viewsMay 25, 2020
【一分钟了解百度百科】
0:55
【一分钟了解百度百科】
bilibili账号已注销
1.3K viewsApr 4, 2022
还是事业养人 新剧定妆这张脸这个状态谁能不想看 就喜欢这个两年无缝进组不休息无绯闻猛猛冲事业的牛女人 比美貌更打动人的永远是姐姐的野心和自律
1:04
还是事业养人 新剧定妆这张脸这个状态谁能不想看 就喜欢这个两年无缝进组不休息无绯闻猛猛冲事业的牛女人 比美貌更打动人的永远是姐姐的野心和自律
92K views7 months ago
bilibili小比邦邦给你两拳
周蕙 Where Chou - 不想讓你知道 (官方版MV)
4:21
周蕙 Where Chou - 不想讓你知道 (官方版MV)
4.1M viewsFeb 16, 2012
YouTube福茂唱片
MAYDAY 五月天 [ 突然好想你 Suddenly missing you so bad ] Official Music Video
4:47
MAYDAY 五月天 [ 突然好想你 Suddenly missing you so bad ] Official Music Video
28.9M viewsJan 18, 2013
YouTube相信音樂BinMusic
【周深】听歌识曲遇到了挑战
3:04
【周深】听歌识曲遇到了挑战
2.5M viewsNov 25, 2023
bilibili周深资讯站
💞【全33集一口气看完】很想很想你（上）｜配音大神×学霸少女，从声音到心动都藏不住的爱意！#檀健次 #周也 #甜宠 #恋爱 #偶像剧 #一口气看完
11:49:02
💞【全33集一口气看完】很想很想你（上）｜配音大神×学霸少女，从声音到心动都藏不住的爱意！#檀健次 #周也 #甜宠 #恋爱 #偶像剧 #一口气看完
277.5K views6 months ago
YouTube优优青春剧场——YoYo Fun Station
拜拜我的老婆们
3:37
拜拜我的老婆们
21M viewsJul 22, 2023
bilibili下个月一定中100万
盛哲 - 在你的身边【我以为忘了想念】By Your Side (Official Lyric Video)
4:38
盛哲 - 在你的身边【我以为忘了想念】By Your Side (Official Lyric Video)
37.5M viewsJan 11, 2022
YouTube盛哲 Jason Sheng
4:09
張韶涵 Angela Zhang - 看得最遠的地方 (官方版MV)
3.3M viewsFeb 7, 2012
YouTube福茂唱片
1:13:02
The humble Cinderella bursts with talent to defeat all the boys and win the football championship!
283.7K viewsApr 18, 2025
YouTube中剧游乐园
23:27
十大最恐怖的鬼片
567.2K viewsJan 28, 2019
bilibili左先生厂
1:01
【喜歡你】電影「賴定你」預告 5/5 甜到爆炸
100.5K viewsApr 21, 2017
YouTube甲上娛樂
1:57:09
“I Just Want to Hold You” 💞EP01丨Drama Series丨Full Version丨English Subtitles丨2026 Latest Edition
244.9K views4 months ago
YouTube蜜桃可可
47:38
分手有多難 12星座誰最死纏爛打 女人我最大 20220701 (完整版)｜唐綺陽、卞慶華、徐凱希、張哲偉、徐凱希、何妤玟、壯壯、Dolly之絃、篠崎泫
133.4K viewsJul 1, 2022
YouTubeTVBS女人我最大
5:55
《想你的時候問月亮》 演唱：雨中百合 （好聽）
2.9M viewsJul 5, 2019
YouTubeYuying
3:53
顏人中 - 你想要的『而你卻像感覺滿身包袱，我的付出不是你想要的禮物。』【高音質|動態歌詞Lyrics】♫
2.6M viewsMar 28, 2020
YouTube4K Music Make
4:19
突然好想你 - 五月天 - 『超高无损音質』【動態歌詞Lyrics】
1.9M viewsAug 29, 2019
YouTubePOP MusicChannel
3:57
陳華 - 想和你看五月的晚霞 [歌詞字幕版]
156K viewsSep 21, 2022
YouTubeNaturalSelection
3:05
讓我留在你身邊 陳奕迅「最渺小的我 有大大的夢」【動態歌詞/Lyrics】
481.2K viewsApr 15, 2022
YouTubeZenaMusicChannel
2:05
五种错误的手淫方式，你做过几个？
134.5K viewsJan 15, 2024
bilibili泌尿男科息金波博士
1:04:25
电影最TOP：盘点月来喽！2023年度十大华语佳片
2.5M viewsDec 27, 2023
bilibili电影最TOP
3:23
豆瓣评分世界电影TOP100，每一部都值得细品
2.4M viewsSep 6, 2024
bilibili魔鬼公式人
1:14
习语｜“中华民族伟大复兴的梦想一定会实现！”
316.7K viewsNov 29, 2023
bilibili人民日报
2:38
男人如何正确手淫，丁丁挤捏法怎么做？具体步骤来了
145.9K viewsJan 29, 2024
bilibili泌尿男科息金波博士
0:19
她转身就走了 像下定了某种决心 再也没有看我一眼 。#经典台词 #非原创
131.3K viewsJan 30, 2023
bilibili经典台词剪辑
3:38
王优秀- 想某人【高音质|动态歌词】
626.7K viewsAug 30, 2021
bilibili你的副驾音乐搭子
3:12
【陈楚生】精选歌曲合集(无损音质 单集播放) 没错 就是会在十五年后重复爱上同一个人 民选冠军一点不虚 快乐男声 再就业男团 0713 青春 怀旧
583.3K viewsDec 6, 2023
bilibili小歌子音乐
2:57
【YouTube干货】第1期 入门篇 如何在YouTube中寻找想看的视频！
74.9K viewsMar 12, 2021
bilibilibili_1368749602
3:33
程响原唱《可能》完整版，可能拥有过梦想，才能叫做青春，太好听
3.4M viewsMar 15, 2023
bilibili冬雪4186
4:40:40
【CCTV9】你最想知道的科学 全6集
234.3K viewsDec 31, 2021
bilibili多元仓库
See more