海拉鲁打怪日记 - 读书笔记
type: channel
link: https://xuezhao.space/tag/%E8%AF%BB%E4%B9%A6%E7%AC%94%E8%AE%B0/
items: 读书笔记：图解大模型——生成式AI原理与实战
items: 《房债》

读书笔记：图解大模型——生成式AI原理与实战
type: item
date: 2026-02-25T15:04:02+08:00
description: 书籍信息原书名：Hands-On Large Language Models中文名：图解大模型：生成式AI原理与实战作者：Jay Alammar（沙特）、Maarten Grootendorst（荷兰）出版：O'Reilly, 2024页数：~400 页，数百张原创插图定位：从零到实战的 LLM 全景指南，图解驱动，代码可跑推荐人：Andrew Ng、Nils Reimers（sentence-transformers 作者）、Josh Starmer（StatQuest）为什么读这本书作为数据研发工程师，大模型已经从「论文里的概念」变成了「每天都在用的工具」。但用归用，很多核心机制——Transformer 的注意力到底在算什么、Embedding 空间为什么能捕捉语义、RAG 的检索链路怎么设计——一直停留在「大概知道」的阶段。Jay Alammar 是写出 The Illustrated Transformer 的人，他的可视化能力是业界公认的。这本书延续了他一贯的图解风格，把抽象的数学过程拆成直觉可理解的视觉流程。对我来说，这不是一本「入门书」，而是一本「把模糊认知变成清晰认知」的书。读完之后，我和 Jarvis 一起把书中第 8 章（语义搜索与 RAG）的理论落地成了一个真实项目——siyuan-rag：思源笔记联动，为自己的思源笔记构建了混合检索系统（BM25 + Vector + RRF）。理论到实践的闭环，是这本书最大的价值。全书骨架三部分，十二章，一条清晰的递进线：Part I 理解语言模型（Ch 1-3） → 语言模型是什么、词元化、嵌入向量、Transformer 架构 Part II 使用预训练模型（Ch 4-9） → 分类、聚类、Prompt Engineering、文本生成、语义搜索/RAG、多模态 Part III 训练与微调（Ch 10-12） → 构建嵌入模型、微调分类模型、微调生成模型递进逻辑：先建立「是什么」的认知基础 → 再学「怎么用」的实战技能 → 最后掌握「怎么改」的深度能力。Part I：理解语言模型Ch 1 语言模型导论这一章建立了全书的概念地图。核心区分：表示模型（Representation Models） ：BERT 系，双向上下文，擅长理解（分类、检索、相似度）生成模型（Generative Models） ：GPT 系，自回归，擅长生成（续写、对话、翻译）关键洞察：这两类模型不是对立的，而是同一个 Transformer 架构在不同训练目标下的产物。BERT 用 MLM（掩码语言模型），GPT 用 CLM（因果语言模型）。训练目标决定了模型的「视野」——BERT 能看到前后文，GPT 只能看到前文。Ch 2 词元与嵌入这是全书最基础也最重要的一章。两个核心概念：词元化（Tokenization） ：文本不是以「词」为单位进入模型的，而是以「子词（subword）」为单位BPE（Byte Pair Encoding）：从字符级开始，统计最高频的相邻对，逐步合并。优雅地解决了 OOV（未登录词）问题WordPiece、SentencePiece：变体，核心思想一致实际影响：tokenizer 的选择直接决定了模型的「视力」——同一段中文，不同 tokenizer 切出的 token 数量可能差 2-3 倍，直接影响上下文窗口的有效利用率嵌入向量（Embeddings） ：Token Embedding：每个 token 映射到一个高维向量（如 768 维）Position Embedding：注入位置信息，让模型知道词序嵌入空间的几何意义：语义相近的词在向量空间中距离更近这不是隐喻，是数学事实——余弦相似度可以量化语义距离个人体会：在做 siyuan-rag 项目时，选择 embedding 模型是第一个关键决策。我们最终用了 Qwen3-Embedding-0.6B（1024 维），它在中文语义捕捉上的表现明显优于通用的多语言小模型。维度越高不一定越好，但对于中文这种信息密度高的语言，1024 维比 512 维确实能保留更多语义细节。Ch 3 深入 Transformer全书技术密度最高的一章，也是 Jay Alammar 最擅长的领域。自注意力机制（Self-Attention） ：Q（Query）、K（Key）、V（Value）三个矩阵的直觉：Q 是「我在找什么」，K 是「我能提供什么」，V 是「我的实际内容」$\text{Attention}(Q,K,V) = \text{softmax}(QK^T / \sqrt{d_k}) \cdot V$$\sqrt{d_k}$ 的缩放：防止点积过大导致 softmax 梯度消失，这个细节在很多教程里被一笔带过，但它对训练稳定…

《房债》
type: item
date: 2024-08-17T21:38:00+08:00
description: 《房债》 作者：[美]阿蒂夫·迈恩（AtifMian） 阿米尔·苏非（AmirSufi） 译者：何志强 邢增艺 出版社：中信出版社 出版年：2015-07 ISBN：9787508652016 63 条书摘书籍简介始于2007年的金融危机，导致美国800万人失业，400万家庭流离失所。这与美国从2000年到2007年住房抵押贷款翻番真的只是时间上的巧合吗？作者认为，当然不是！正是住房债务的大幅提升导致了次贷危机、大衰退乃至欧债危机。 《房债》利用大量关于2008年金融危机和住房债务的数据，提出了一个杠杆化损失的分析框架，以此框架重新检视了美国家庭债务，主要是住房债务，与金融危机的关系，批评了美国在危机时期采取的政策，并提出了如何防止下一次衰退的政策建议。 近年来，中国房价居高不下，住房抵押贷款从无到有，大规模增加，认为中国房地产市场存在泡沫的声音不绝于耳，本书对分析、判断中国房价到底有没有泡沫，如何防止房地产贷款积累冲击金融体系和实体经济，避免重蹈美国覆辙，也有重要的借鉴意义。作者简介阿蒂夫·迈恩（Atif Mian），普林斯顿大学经济和公共政策教授，威尔逊公共政策和金融学院Julis-Rabinowitz中心主任。他在麻省理工学院获得数学和计算机双料硕士学位以及经济学博士学位。曾任教于加州大学伯克利分校和芝加哥大学布斯商学院，并于2012年加入普林斯顿大学。擅长金融和宏观经济的交叉研究。 阿米尔·苏非（Amir Sufi），芝加哥大学布斯商学院金融学教授，国民经济研究局研究员。他是《美国经济评论》（American Economic Review）、《经济学季刊》（Quarterly Journal of Economics）的审稿人。 国际证据 ‍家庭债务、支出和严重的经济衰退间存在关联， 2024-06-02 23:06:10 大蓝图 ‍金融市场存在的主要目的就是帮助经济体中的人们来分散风险。金融体系提供很多降低风险的产品：人寿保险、股票投资组合或者主要指数的卖出期权。居民家庭需要一种免受不可知事件影响的安全感。 2024-06-02 23:06:10 第2章 债务与毁灭 ‍债务的一个基本特点是借款人必须承担与资产价格下跌相关的第一损失。 2024-06-02 23:06:10 ‍用金融术语来讲，住房抵押贷款发放人享有房屋的优先索赔权，因此他在房价下跌时是受到保护的。房产所有者享有次级索赔权，如果房价下跌，他将遭受巨大损失。 2024-06-02 23:06:10 ‍最穷的房产所有者也是杠杆化最高的，面对房地产业风险的暴露也是最大的，同时他们几乎没有金融资产。当高杠杆、高房屋风险暴露和缺乏金融资产这几点组合在一起时，对于社会中最弱势的家庭来说是灾难性的。 2024-06-02 23:06:10 ‍对大衰退期间的很多居民来讲，房价下跌后其房屋的价值已经低于他们所欠的住房抵押贷款，因此从住房抵押贷款的角度来看，房产所有者已经“资不抵债”或者“价值倒挂”了，实际上他们所拥有的房屋是负资产。如果他们选择出售，还得向银行支付住房抵押贷款与房屋售价之间的差价。面对这样恶劣的情况，房产所有者要么继续保留房屋，而所欠银行的住房抵押贷款超过房屋的价值，要么即刻卷铺盖走人，让银行止赎。 2024-06-02 23:06:10 ‍大衰退期间，债务的负面影响远不止对债务人本身。当房价暴跌时，与过度杠杆相关的问题会扩散到整个经济体。这种溢出效应包括失业率增加、建筑业破产。但是，最直接的后果就是止赎出现惊人上升。 2024-06-02 23:06:10 ‍债务导致了资产的抛售，加剧了净值损失。 2024-06-02 23:06:10 ‍债务是反保险的。债务并没帮助人们分担与房屋所有权相关的风险，而是将风险集中到社会上风险承担能力最低的人群身上。 2024-06-02 23:06:10 第3章 减少支出 ‍消费是驱动经济衰退的关键力量， 2024-06-02 23:06:10 ‍由于房价暴跌导致的净值减少可以分解为两个因素：房价下降和杠杆乘数。由此造成的结果是，即使在房价下降百分比相同的情况下，那些债务负担越高的县，净值下降幅度也越大。 2024-06-02 23:06:10 ‍受净值暴跌影响的地区比那些没有受此影响的地区支出收缩要早得多，而且也严重得多。 2024-06-02 23:06:10 ‍债务将损失强加到净值最少的借款人身上会放大房价下降对支出的影响吗？ 2024-06-02 23:06:10 ‍净值的负面冲击会导致人们减少支出。在经济学术语中，支出的这种响应被称为房屋财富的边际消费倾向。房屋财富的边际消费倾向告诉我们，个人在面对房屋财富冲击时会减少多少支出作为响应。 2024-06-02 23:06:10 第4章 杠杆化损失：理论 ‍基本…