UUQ's Blog

小小记录

咖啡日记

记录我的咖啡生活

入坑没多久,现在还处于一个瞎买瞎冲瞎喝的阶段 我的设备 磨豆机: 汉匠k0(已出) 司令官C40 MK4 橘 滤纸: 买hario switch送的不知名滤纸 锥形 abaca+ 慢速 买origami送的不知名蛋糕滤纸 MOLA V60大号滤纸 滤杯: hario switch聪明杯,1-2人份,小号 hario v60 01 陶瓷 白 origami蛋糕杯 树脂 Hari......

【论文阅读】Memory for LLMs 综述

https://www.arxiv.org/abs/2505.00675 这个全图其实没什么太大意义,毕竟是综述,所以摆在这了。 一、Intro 记忆类型 1. 从表示方法 参数化记忆 结构化上下文记忆 非结构化上下文记忆 2. 从时间维度 长期记忆 外部观察 内部参数 短期记忆 六种记忆操作 consolidation、indexing、updating、forgetting......

Memory for LLM

LLM Memory (for chatbot)相关工作整理 〇、Introduction LLM的爆火已不必多说,但LLM在当前阶段,仍然存在着上下文窗口有限的问题。在chatbot等场景中,为了让对话保持自然,让LLM保持对话记忆尤为重要。 把最近的聊天和对话尽可能放进上下文窗口,是一个之前比较通用的做法,很明显,这不仅受到上下文限制,同时也难以解决跨session、长期记忆遗忘的问题。......

【论文阅读】Prompt & 记忆压缩 文献调研 AGENTS

1. On Memory Construction and Retrieval for Personalized Conversational Agents ICLR 2025 https://arxiv.org/abs/2502.05589 清华 + 微软 Brief takeaway 研究了不同粒度下记忆构建的问题(Session-level、turn-level、summary)......

Normalization方法总结

总结神经网络中常见的Normalization方法

简单记录每种Normalization方法的数学定义、直观理解、区别和用法,以及效果 一、 BatchNorm 应该是第一个提出的Normalization方法,参考 Batch normalization: Accelerating deep network training by reducing internal covariate shift 他的归一化以batch为单位,每个f......

【论文阅读】Beyond Retrieval: Embracing Compressive Memory in Real-World

Beyond Retrieval: Embracing Compressive Memory in Real-World Long-Term Conversations https://arxiv.org/abs/2402.11975 Brief takeaways 传统的基于检索的方法在 记忆数据管理 和 精确检索 这两个问题上面临挑战。 本文提出的 COMEDY 框架避开了检索过......

【论文阅读】RAP(Retrieval Augumented Perception)

Retrieval-Augmented Perception: High-Resolution Image Perception Meets Visual RAG 0. Brief takeways arxiv 2503.01222 对于多模态大语言模型MLLMs对高分辨率图像感知HR image perception任务中,利用类似RAG的方法实现。 方法: Crops分块 + Vis......

【读书笔记】资本主义与自由

美 米尔顿 弗里德曼 新自由主义的先锋 导论 主题是竞争性资本主义(即通过私人企业在自由市场中的运营而实现对绝大部分经济活动的组织)作为经济自由的一种体制和政治自由的必要条件所起的作用。 第一章 经济自由和政治自由的关系 主旨: 所谓“采用俄国式的经济体制,同时通过政治安排保证个人自由”的观点不切实际。 作者认为经济自由有助于实现政治自由,以及经济自由本身也是一个重要的目标。对所谓自由的定......

NN学习笔记(一)

本节内容包括训练前的一些事情:数据处理、初始化 数据预处理 一、 Zero-center 每个维度的数据,都减去均值,使得新数据的中心迁移到原点。 二、Normalization 所有维度归一化,数值范围近似相等。 第一种方法:先zero-centered,然后每个维度除以标准差 第二种方法:每个维度归一化,使得max和min是1和-1 三、PCA 筛选一些更有区分度的特征,比如协方......

数据库期末复习

数据库理论 期末复习 做题注意 SQL SQL: Projection一定要有DISTINCT! SQL查询:蕴含和NOT EXISTS,ALL,IN 至少选修了S2选修的全部课程的人:对于S:不存在一个课程,(这个课程S2选修了,但是:(不存在S选修该课程的记录)) SQL:连表查询保险起见还是加上别名 子查询的子结果别名:(Select … ) As Name: ......