UUQ's Blog

softmax回归

感觉其实没什么内容，记录一下主要是防忘 Softmax函数 $$ \pmb{\hat{y}}=softmax(\pmb{o})~\ where ~~\hat{y_j}=\frac{\exp(o_j)}{\sum_{k}\exp(o_k)} $$ 可以理解为，对于一组输出 o, 通过softmax函数将其“归一化”，如果有n个分量，那么得到的y就是这n个分量的概率分布。这里的概率分布我......

Posted by UUQ on 2025-01-15

AI 学习笔记机器学习

注意力机制 Attention

注意力机制是Transformer的一大特性，最底层的 ...

Posted by UUQ on 2025-01-15

AI 学习笔记

2025寒假 TODO_LIST

AI 注意力机制 Transformer、Bert等，解码器编码器预训练模型，原理，实践微调方法，评估 CS231n完成 (ass1) cs231n assign2 cs231n assign3 1.14 早上好，今日计划完成下学期选课动手实践知识图谱构建理解学长发的论文和项目的源码，有机会的话尝试复现论文实验日常的阅读/单词学习实际执行： [x] 完成下学期选课 ......

Posted by UUQ on 2025-01-14

RAG 检索增强生成

RAG 与 GraphRAG...

Posted by UUQ on 2025-01-14

AI 学习笔记 NLP

市场投资

指标概念解释基金类 1. 溢价率 2. 基金种类：QDII qualified domestic institutional investor，国内筹钱投资国外优质资产股票类 1. 市盈率 PE 2. ETF Exchange Traded Funds 3. 技术指标 MACD 蓝线DIF，股价变化情况；红线DEA，是DIF均线 12DIF=12Days - 26DaysDEA = DI......

Posted by UUQ on 2025-01-13

latest todo

2024寒假

寒假TODO 基本科研实习论文阅读动手训练 extra 自己动手写一个多端多功能小助手，微信接入、大模型智能化、服务器日语复健看书 ...

Posted by UUQ on 2024-12-23

TODO

pytorch学习记录

...

Posted by UUQ on 2024-10-21

学习记录 AI

优化理论和算法

Intro 机器学习（深度学习）中的训练（或者说学习）离不开的就是如何有效率地改进参数，达到更优状态，在这个过程中，优化算法起到了决定性的作用：模型能否收敛、是否收敛到全局最优（而不是局部最优和鞍点）、能多块收敛（事关训练效率）。可以说算力增速难以填充需求的当下，优秀的优化算法对训练效率可能会带来更加显著的提升。常见的优化算法： SGD随机梯度下降、NGD自然梯度下降、RMSprop、A......

Posted by UUQ on 2024-10-11

AI 学习笔记优化

numpy&pytorch学习记录

记录奇技淫巧

Numpy 使用高级索引 10.10 对于SVM中的一个场景：现在有一个y shape为(500, )表示正确的分类想要选取scores (其shape为(500, 10) )中每一行y[i]的列，可以直接使用numpy的高级索引方法： 1score_correct = scores[np.arange(scores.shape[0]) , y].reshape(-1, 1) 不re......

Posted by UUQ on 2024-10-10

学习记录

【论文阅读】Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs

这篇文章提出通过层间分析法(layer-wise analysis) 实现在神经网络训练中“debug”，并解释了Batch Norm后的网络到底哪好？概述一、Hessian矩阵从这里开始可能会多次混用Hessian Matrix和FIM，这两个之间有数学上的关系：数学补充具体来讲，在训练DNN时，Hessian矩阵或 FIM(Fisher Information Matrix......

Posted by UUQ on 2024-10-09

AI 学习笔记论文阅读