LLM 发展的飞快，现在每天都在使用基于 Transformer 的模型——ChatGPT、Claude、GitHub Copilot 等。
那么 Transformer 是什么？当我们输入一段文字后，这些模型是如何”理解”并生成回复的？
元旦放假，趁着有时间对 Transformer 进行了学习，这篇文章是学习过程中的笔记。我重点将从工程师的视角，来学习 Transformer 在推理阶段的工作原理。对于做工程来说，复杂的数学证明和训练算法是没有必要的，但通过代码类比和直观图解，可以让我们更加深入的理解 LLM 是如何运转的。下次再听到 混合专家模型(MoE) 等等，就不会只从形式上理解，而是有更加深入的算法对应关系了。
近期 quickjs 的作者发布了 mquickjs，在保持性能接近的情况下，内存占用大幅缩小，运行时整体内存占用只需要 100kb。
由于好奇 mquickjs 在内存和执行速度上到底怎样，我跑了一些跟 Node.js 和 QuickJS 的对比。
前一阵高志凯用南北战争来来反驳西方媒体的视频被广泛传播，我看到的时候没有多想。后来看到一种说法，南北战争是为了统一还是解放黑奴？搜了一下发现这里面的论证很有意思。
最近团队组织了一次圆桌讨论，大家聊一聊关于 AI 的一些想法。我们是否该焦虑 AI 会替代自己的工作？对于 AI 的态度应该是什么样的？以下是关于这个话题我的一些思考。
上周末花了更多的心思带娃，也收获了更多。
这是一篇草稿很久一直没有发的文章，一年多前换了工作，去了宇宙厂，在使用 React 过程中有一些感想。
Vision Pro M5、街猫喂养、嵊山展览、信息求真、Cloudflare 性能排查。
Mayo Pickles Newsletter #3
Mayo Pickles Newsletter #2
关于如何让 LLM 理解站点，业界已经出现 https://llmstxt.org/ 规范，但如何自动化生成这些内容是一个难点。firecrawl 是一个使用 AI 来进行站点爬取的工具。