引言最近推导强化学习的Bellman equation，在化解第二项Future Reward项时，需要用到全期望定理，秉承费曼学习法的理念，这里从两个方面对全期望定理公式进行介绍。首先，我们以一个简单的例子从感性上理解该公式，然后再从数学的角度对其进行较为严谨的推导。
全期望定理公式
假设$B_1, B_2, …, B_n$ 是一组互不相容的事件，并且形成样本空间的一个分割；
$C$是一个确定事件，且 $p(C) > 0$；
$A$是一个随机变量。
则有：$$E[A | C] = \sum_{i=1}^{n} p(B_i | C) E[A |B_i, C] $$上述公式即为全期...
引言Bellman equation 是强化学习的基石，以前为了快速应用，这部分的知识没有吃透，总是有一种不踏实的感觉，这次从费曼学习法的思想出发，力求完全透彻理解该公式及其推导过程。接下来，我们分三个部分对Bellman equation进行讲述。
前置知识贝尔曼等式推导的前置知识，主要包含条件概率的全概率公式，以及全期望定理，相关介绍在这里。
Bellman equation 推导两个使用 Bellman equation 的例子
1. 前言半年前，我曾基于 Apache2 搭建了一套 WebDAV 服务，用于实现 Obsidian 和 Zotero 的多端同步。那次部署过程可谓一波三折，尤其是在配置 SSL 签名和 Apache2 时遇到了不少麻烦。由于当时我没有备案的域名，只能使用公网 IP 申请 SSL 证书，而且免费证书只有 3 个月有效期，到期后还需要手动续签。虽然最终勉强配置成功，但也花了我不少时间和精力。
遗憾的是，这套服务没能持续使用太久。等 SSL 证书过期之后，我因为忙于其他事务也就没有再去续签。而当我想重新启用这套同步方案时，却发现当时使用的华为云廉价服务器（仅 1GB 内存）卡顿严重，连 S...
🛠️ 团队 Git 协作流程规范为确保多人协作开发的高效与规范，团队统一采用如下 Git 工作流流程， 记录如下：
🛠️ 0. 克隆远程仓库1git clone git@github.com:xxx.git
🚀 1. 创建个人开发分支1git checkout -b <your_branch_name>
🛠️ 2. 本地开发与提交123git diff # 查看变更（可选）git add <file> # 添加到暂存区git commit -m "说明内容" # 提交
☁️ 3....
最近比赛需要构建docker镜像，上传至阿里云镜像服务站，以便于官方复现测评，这是一个繁琐的过程，以后也会用到，所以记录一下。
主要分为以下几步：
1） 开通阿里云镜像服务
2） 在本地电脑或者服务器上面安装docker
3） 构建docker镜像
4） 将本地 docker 镜像推送至阿里云镜像服务站
5）本地一键镜像创建和上传脚本
下面为详细的步骤描述：
1） 开通阿里云镜像服务阿里云镜像服务站的开通过程比较繁琐，根据DataWhale的教程操作如下：
a. 点击链接并登录阿里云账号
b. 创建个人版实例
c. 创建命名空间
d. 创建镜像仓库
创建镜像仓库时，代码源选择本地...
今天在使用 pip 安装 torch-scatter 包时报错，然后使用 conda 成功安装了，但是运行代码的时候报错，并且是一个底层的错误。
查询之后发现，是因为在使用 torch_scatter、torch_sparse、torch_cluster 等基于 C++ 的扩展模块时，如果 PyTorch 版本和系统环境不完全匹配，就容易发生这类底层编译失败。
解决方法最稳定也最省事的方式是不要从源码编译 torch_scatter，而是使用预编译好的 .whl 包进行安装。步骤如下：
确认 PyTorch 和 Python 版本
12python -c "import torch;...
在做知识图谱相关的项目时，经常需要将数据导入到neo4j中，这里分享一下导入节点和边的python代码，以便于以后查阅。
需要注意的是，下面的代码是在neo4j 5.x 版本上测试通过的，如果是其他版本，可能需要做一些调整。
neo4j 导入节点和边的类实现
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687...
整理了一些以前的街拍照片，陆陆续续拍了几万张，后面会持续更新 …
「冬日图书馆前的树。」
「校园里面树上的鸟巢。」
.multiple-breaks {
display: block;
margin-top: 20px;
}
.image-caption {
...
后面会持续更新 …
导入依赖的包
1from concurrent.futures import ProcessPoolExecutor, as_completed
定义处理内容的函数，该函数要是全局函数，不能放在函数或者类里面函数的参数只有一个，可以用元组包装起来，然后再解包
12345678def process_record(args): text = args[0]["text"] CONTENT = args[1] extract_info = inference(text, model="deepseek-chat", CONTENT=CONTENT) retu...
先从网络上下载 SimHei.ttf 文件放在某个位置，然后用下面的代码，设置字体的位置。
12345678910111213141516171819import jsonimport pandas as pd# 从 data/original/SylvanL/Exam/tcm_exam_1.csv 读取数据import matplotlib.pyplot as pltfrom matplotlib import font_managerfrom matplotlib import rcParamsimport reimport matplotlib # 设置当前目录import os...
在自然语言处理（NLP）中，短语的相似性分析是一个常见且重要的任务。传统的文本相似性计算方法往往依赖于手工设计的特征，但随着深度学习和预训练语言模型的出现，BERT（Bidirectional Encoder Representations from Transformers）及其衍生模型为我们提供了更强大的表达能力。在本文中，我们将介绍如何使用BERT模型对短语进行向量化，并结合层次聚类算法对相似短语进行去重。
任务背景在很多应用场景下，我们往往需要从大量的短语数据中去除重复或者相似的内容，以便于进一步分析。例如，在传统中医（TCM）数据分析中，可能有大量的类似任务相关查询或医疗术语需...
