简介：面向音频处理与深度学习开发者，这份压缩包提供了一个基于RNN与U-Net的单声道人声分离项目，解决从混合音乐中提取纯净人声的盲源分离任务。资源共7个Python源文件、总大小16KB，其中unet.py与newunet.py实现U-Net模型，用于频谱图语义分割；RNN相关代码捕捉音频时间依赖；eval.py通过SISNR、SDR等指标评估分离质量；preprocess.py完成音频到频谱图转换与数据增强；config.py和data.py分别管理超参数与数据加载。已有718人学习浏览。整套代码覆盖预处理、模型构建、训练评估全流程，结构清晰，既适合初学者了解人声分离的完整建模思路，也可作为进阶实验的基线，在此基础上调整网络结构或评估指标进一步优化分离效果。

1. 人声分离为什么绕不开U-Net：从盲源分离到掩蔽估计

做伴奏提取、直播修音、人声增强的工程师，迟早会撞上同一个问题：人声和乐器在频谱上几乎完全重叠，传统高通滤波一拉，人声和吉他一起没了。现在的主流做法早就不靠滤波，而是用深度学习做盲源分离——把混合音频切成时间-频率单元，让U-Net判断每个单元是人声占优还是伴奏占优，输出一张掩蔽图。标题里那套RNN.rar方案，本质就是把U-Net的图像分割能力搬到音频频谱上，再用循环神经网络在时间轴上补记忆，属于这些年最容易复现、也最容易被低估的人声分离落地路径。这套思路适合音频算法工程师、深度学习从业者，也适合想拿公开数据集做第一个音频实战项目的人。

2. 从波形到频谱图：用STFT把"人声分割"变成U-Net的输入

2.1 盲源分离在音频上为什么难做：ICA的假设在音乐里撑不住

经典盲源分离有一个漂亮假设：各路信号相互独立，混合方式是线性瞬时，求解一个解混矩阵就能分开。这个假设在鸡尾酒会问题的部分场景下成立，但在流行歌里撑不住——人声和鼓、吉他、键盘在频带上大面积重叠，混响让混合变成卷积型，乐器本身还有大量谐波，独立成分分析（ICA）在非线性、非瞬时的真实录音里很难收敛。

所以现在的U-Net人声分离几乎没有人在波形上直接求解盲源分离矩阵，而是走监督掩蔽估计：你告诉模型每一个时频单元的目标掩蔽值是多少，模型去学习从混合频谱到掩蔽的映射。换句话说，U-Net在这里不是分离器，而是时频掩蔽预测器。这个思路还有一个好处：分离结果的形态可控，模型输出经过sigmoid之后天然落在0到1之间，乘回幅度谱就能重建人声，配合原混合相位做逆变换，一条完整的分离链路就通了。

2.2 STFT参数怎么设：帧长、hop与窗函数对人声分离的影响

U-Net的输入不是波形，而是短时傅里叶变换出来的幅度谱。我的常见做法先用librosa把混合音频转成对数幅度谱，相位单独留着，等推理时用。下面这段是每次都要用的前置函数：

import librosa import numpy as np def compute_spec(mix_wav, n_fft=2048, hop_length=512, win_length=2048): # mix_wav: 单声道 float32 波形，采样率 44100 D = librosa.stft( mix_wav, n_fft=n_fft, hop_length=hop_length, win_length=win_length, window="hann", ) mag = np.abs(D) # shape: [1025, T] phase = np.angle(D) # 重建时备用 log_mag = np.log1p(mag) # 对数压缩，压低高能量频点的主导作用 return log_mag.astype(np.float32), phase, mag

这段代码的逻辑在于：模型看的是幅度谱，但幅度动态范围太大，一段鼓点的能量可能是人声的几十倍，直接送进网络会让损失函数被低频打击乐主导，所以用log1p做对数压缩。phase不参与训练，只用于最终重建语音。

参数选择有讲究：n_fft=2048在44100采样率下频率分辨率约21.5Hz，能分辨人声基频和低音；hop_length=512时时间分辨率约11.6ms，正好匹配语音音素变化速度。win_length保持和n_fft一致，hann窗满足COLA条件，逆变换不会引入额外失真。常用的几个参数对照如下：

这里有个经常被忽略的约定：训练时的n_fft、hop_length必须和推理时完全一致，否则模型看到的频带对齐方式全变了，效果断崖式下跌。我一般在训练脚本里把这三个参数定义成全局常量，推理脚本直接引用同一份配置。

2.3 训练目标选IRM还是IBM：掩蔽标签计算与归一化

有了幅度谱，下一步是生成训练标签。人声分离的标签有两种常见形态：理想二值掩蔽（IBM）和理想比值掩蔽（IRM）。IBM是非0即1，人声能量大于伴奏就标1，否则标0；IRM则是连续比值，表示每个时频单元中人声能量占总能量的比例。我几乎不用IBM做U-Net的标签，因为0/1跳变会让sigmoid输出很难收敛，而且二值掩蔽乘回幅度谱会带来明显的振铃噪声。IRM把问题变成连续回归，训练稳定，分离出的歌声也更自然。

生成IRM标签的代码很直接：

def ideal_ratio_mask(vocal_mag, mix_mag, power=2): # vocal_mag: 人声幅度谱, mix_mag: 混合幅度谱, shape 均为 [F, T] eps = 1e-8 num = vocal_mag ** power den = mix_mag ** power return (num / (den + eps)).astype(np.float32)

power取2表示能量域比值，取1则是幅度域比值。实际训练里power=2更常见，因为能量域掩蔽和听感更接近，低频段的掩蔽值也更平滑。还有一个细节：模型输入是对数压缩后的幅度谱，但IRM标签不用取对数，它本身就是0到1的比值，sigmoid输出的值域和它天然匹配。

另外，有的实现会直接预测人声幅度谱而不是掩蔽，再用人声谱除以混合谱得到掩蔽。这种间接做法在测试时如果混合谱某个频点接近0，会得到很大的异常掩蔽值，所以我不推荐。直接回归IRM是最稳的起步方案。等模型跑通之后，如果追求更高上限，可以转向复数谱映射，这个后面第五、六章会提到。

3. 用U-Net搭建最小人声分离网络：PyTorch实现与RNN补强

3.1 从图像U-Net到音频U-Net：输入通道与频带维度怎么改

图像分割里的U-Net输入是[B, 3, H, W]的三通道RGB图，音频U-Net则把幅度谱当成单通道灰度图，输入变成[B, 1, F, T]。这里的F是频带数（n_fft=2048时F=1025），T是时间帧数。最大改动不是通道数，而是维度语义：卷积核在F轴上的操作对应频率局部滤波，在T轴上的操作对应时间局部上下文，两个轴的物理意义完全不同。

立体声素材也常用类似结构。常见做法是把左右声道各自的幅度谱当作两个输入通道，in_ch=2，网络同时看到声像位置信息，对某些乐器分离有一点帮助。但绝大多数开源方案先做单声道，因为这个任务的瓶颈通常不在声道信息，而在掩蔽估计的精度。

由于音频U-Net要在频带轴上连续做三次下采样，而F=1025不是8的倍数，直接MaxPool会报错或者尺寸对不齐。我习惯在forward开头把频带和时间帧都padding到8的倍数，输出再裁回原始尺寸。这是音频U-Net和图像U-Net最大的差异点，几乎所有第一次移植的人都会在这里卡一下。

3.2 可运行的单声道人声分离U-Net核心代码

下面是一个能直接跑通的PyTorch实现，结构是经典的三层编码器、三层解码器加跳跃连接：

import torch import torch.nn as nn import torch.nn.functional as F class ConvBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_ch, out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True), nn.Conv2d(out_ch, out_ch, 3, padding=1), nn.BatchNorm2d(out_ch), nn.ReLU(inplace=True), ) def forward(self, x): return self.conv(x) class AudioUNet(nn.Module): def __init__(self, in_ch=1, base_ch=64): super().__init__() self.enc1 = ConvBlock(in_ch, base_ch) self.enc2 = ConvBlock(base_ch, base_ch * 2) self.enc3 = ConvBlock(base_ch * 2, base_ch * 4) self.bottleneck = ConvBlock(base_ch * 4, base_ch * 8) self.up3 = nn.ConvTranspose2d(base_ch * 8, base_ch * 4, 2, stride=2) self.dec3 = ConvBlock(base_ch * 8, base_ch * 4) self.up2 = nn.ConvTranspose2d(base_ch * 4, base_ch * 2, 2, stride=2) self.dec2 = ConvBlock(base_ch * 4, base_ch * 2) self.up1 = nn.ConvTranspose2d(base_ch * 2, base_ch, 2, stride=2) self.dec1 = ConvBlock(base_ch * 2, base_ch) self.out = nn.Conv2d(base_ch, 1, 1) self.pool = nn.MaxPool2d(2) def forward(self, x): # x: [B, 1, F, T]，F 通常是 1025 B, C, F, T = x.shape pad_f = (8 - F % 8) % 8 pad_t = (8 - T % 8) % 8 if pad_f or pad_t: x = F.pad(x, (0, pad_t, 0, pad_f)) # 右侧补时间，下方补频带 e1 = self.enc1(x) e2 = self.enc2(self.pool(e1)) e3 = self.enc3(self.pool(e2)) b = self.bottleneck(self.pool(e3)) d3 = self.dec3(torch.cat([self.up3(b), e3], dim=1)) d2 = self.dec2(torch.cat([self.up2(d3), e2], dim=1)) d1 = self.dec1(torch.cat([self.up1(d2), e1], dim=1)) mask = torch.sigmoid(self.out(d1)) return mask[:, :, :F, :T] # 裁回原始帧数

代码里有几个值得注意的参数。base_ch=64是基础通道数，每下采样一次通道翻倍，到bottleneck变成512；这个设置下模型参数约在3000万量级，单张8GB显存能跑batch=4、6秒音频，属于性价比很高的配置。ConvTranspose2d承担上采样，比插值上采样多一组可学习参数，实际效果略好，代价是可能出现棋盘格伪影，如果发现分离结果有周期性噪声，可以把上采样改成Upsample + Conv组合。

训练时输入的频谱切块一般是[1, 1025, 128]左右，对应44100采样率下约4.5秒音频。切太长显存吃不消，切太短模型学不到句子级上下文，128帧是我试下来比较稳的默认值。

3.3 RNN在这套方案里的角色：bottleneck双向GRU加在哪、为什么

纯U-Net的问题是卷积感受野有限，它看的是局部时频块，对"这一句人声还没唱完"这类长时间依赖没有显式建模。标题里的RNN.rar指向的正是这个痛点：在U-Net的bottleneck处插入循环神经网络，让网络沿时间轴记住前面的频谱状态。常见做法是在bottleneck后接双向GRU或BLSTM，而不是把整个网络换成RNN。

我的实现是在bottleneck卷积之后、上采样之前插入一个逐频带的双向GRU层：

class RNNBottleneck(nn.Module): def __init__(self, in_ch, hidden=256): super().__init__() self.gru = nn.GRU( input_size=in_ch, hidden_size=hidden, batch_first=True, bidirectional=True, ) self.proj = nn.Conv2d(hidden * 2, in_ch, 1) def forward(self, x): # x: [B, C, F, T] B, C, F, T = x.shape # 把每个频带的时间序列送入 GRU，频带之间参数共享 x = x.permute(0, 2, 3, 1).reshape(B * F, T, C) out, _ = self.gru(x) out = out.reshape(B, F, T, -1).permute(0, 3, 1, 2) return self.proj(out)

这个模块替换原来bottleneck的输出后再送入decoder。hidden=256配合双向GRU会输出512维，用1x1卷积压回in_ch维，避免decoder输入维度膨胀。这里的 tradeoff 是训练速度会明显变慢，因为GRU的串行依赖没法像卷积那样充分并行。如果项目对实时性有要求，可以把双向改成单向，牺牲掩蔽精度换流式推理能力；如果不想牺牲精度又嫌GRU慢，可以用时序卷积或Transformer block替代，思路是一样的。

4. 训练数据与损失函数：让人声分离模型真正落地的三件事

4.1 数据对怎么造：随机增益、公开分轨与对齐

U-Net人声分离是有监督任务，训练数据必须包含混合音频、人声单独轨道、伴奏单独轨道三份对齐的文件。公开数据集里MUSDB18是常见选择，它的训练集和测试集都是完整歌曲分轨，人声和伴奏分开存放，拿来直接生成IRM标签很方便。商用项目要注意版权问题，内部练手和学术研究没问题，部署到产品里最好用自己录制的干声或确认过授权的数据。

拿到分轨之后，最影响模型泛化的不是网络结构，而是混合策略。如果每次都原样相加，模型会偷懒学会"幅度大的是人声"。我常用的数据增强混合代码如下：

def make_mixture(vocal_path, accomp_path, sr=44100): vocal, _ = librosa.load(vocal_path, sr=sr, mono=True) accomp, _ = librosa.load(accomp_path, sr=sr, mono=True) # 随机增益，打破"响的就是人声"的捷径 v_gain = np.random.uniform(0.6, 1.2) a_gain = np.random.uniform(0.6, 1.2) vocal = vocal * v_gain accomp = accomp * a_gain max_len = min(len(vocal), len(accomp)) mix = vocal[:max_len] + accomp[:max_len] return mix, vocal[:max_len], accomp[:max_len]

随机增益是最便宜也最有效的增强。除此之外，我还会做两件事：一是随机裁剪6到8秒片段，保证每个batch的序列长度一致；二是在混合信号上加少量高斯噪声，让模型对录音底噪不敏感。注意不要对频谱做时间伸缩或变调增强，因为变调后人声和伴奏的相对关系变了，IRM标签需要重新计算，处理起来很麻烦，收益却不明显。

4.2 损失函数选L1还是SI-SNR：频谱域与波形域的权衡

掩蔽回归最直接的损失是频谱域L1，即预测IRM和标签IRM之间取绝对误差。它的优点是收敛平稳、不会出现相位问题，缺点是与人耳听感相关性一般。SI-SNR则是把预测掩蔽应用到混合幅度谱上、重建出波形，再在波形域计算信噪比，更贴近主观听感但训练初期梯度不稳定。我的做法是两者混合，频谱L1负责稳定训练，SI-SNR负责优化听感。

def l1_mask_loss(pred_mask, target_mask): return torch.mean(torch.abs(pred_mask - target_mask)) def si_snr_loss(estimate, target, eps=1e-8): # estimate/target: [B, T_wave]，已做均值归零 target = target - target.mean(dim=-1, keepdim=True) estimate = estimate - estimate.mean(dim=-1, keepdim=True) ref = torch.sum(estimate * target, dim=-1, keepdim=True) / \ (torch.sum(target * target, dim=-1, keepdim=True) + eps) s_target = ref * target e_noise = estimate - s_target snr = torch.sum(s_target ** 2, dim=-1) / (torch.sum(e_noise ** 2, dim=-1) + eps) return -10 * torch.log10(snr + eps).mean()

两个损失需要配合使用，我一般取total = 10 * l1_mask_loss + si_snr_loss，让L1先主导，SI-SNR在后期慢慢把边界修干净。如果发现训练初期loss波动剧烈，把SI-SNR的权重降到0.1，只保留L1跑前20个epoch再加回来。频谱L1和SI-SNR的作用域不同，前者在掩蔽域，后者在波形域，所以不能简单各乘0.5了事。

4.3 训练参数与环境配置：从AdamW到混合精度的建议

训练这套模型不需要多夸张的显卡，PyTorch + CUDA是标配，8GB显存起步，16GB会从容很多。深度学习环境配置这一步常见的坑是CUDA、PyTorch、Librosa三者版本不匹配，我通常先建独立conda环境，用pip install torch --index-url指定CUDA版本安装，再装librosa和soundfile，避免系统Python环境被搞乱。

训练超参数我常用的初始值如下：

有一个反直觉的经验：batch size并不是越大越好。人声分离任务的样本方差很大，同一首歌的两个随机片段难易程度完全不同，小batch配合梯度裁剪反而更容易收敛到好的局部最优。我现在的习惯是batch=8不动，先调学习率和损失权重。如果显存只够batch=4，就把base_ch从64下调到48，而不是强行开大batch。

5. 人声分离U-Net训练与部署的避坑指南：从5个高频翻车点里筛经验

这套方案看起来不复杂，但训练和部署阶段有五个高频翻车点，几乎每个做U-Net人声分离的人都遇过。下面按现象、原因、解决的顺序讲清楚。

5.1 分离出来的人声闷且伴奏残留

现象：模型训练完，分离出的歌声听起来发闷，低频贝斯和鼓的残留特别明显，人声像隔着一层布。

原因：最常见的是推理时将掩蔽做了0.5二值化，把大量处于中间值的时频单元直接判成人声或伴奏，丢失了细节；另一个原因是IRM标签的power取2时，低频段人声能量占比被压缩，模型对低频的响应天然偏弱。

解决：推理时不要二值化，直接用连续掩蔽乘混合幅度谱；把IRM的power从2改成1，低频段的掩蔽值会更平滑；如果还是闷，对分离结果做60Hz以下的高通滤波也是有效补救，但对低频人声（男低音）要谨慎，截止频率不要高于80Hz。

5.2 验证集SDR很高，试听却觉得糊

现象：验证集SDR刷到了10dB以上，指标很漂亮，放给同事听，反应却是"有金属声""高频好脏"。

原因：SDR和SI-SNR都被整体能量主导，高频能量占比低，即使高频被污染，指标也不会明显下降；再加上重建时沿用了混合信号相位，人声和伴奏的相位干涉会产生梳状滤波效应，这种失真恰恰是SDR测不出来的。

解决：建立主观试听清单，每版模型训练完先挑十首不同风格歌曲盲听，再谈指标；客观指标上增加分频带SDR和频谱距离LSD；训练阶段可以引入多分辨率STFT损失，鼓励模型把高频细节也重建干净。

5.3 batch size一加大就OOM

现象：batch从8加到16，训练直接CUDA out of memory，但显存明明还有剩余空间。

原因：音频U-Net的中间特征图很大，bottleneck层是[B, 512, F/8, T/8]，AdamW优化器还要额外保存动量和方差，显存占用大约是模型参数的两到三倍；频带padding到1088后，多出来的64个频带也会白白消耗显存。

解决：第一优先级不是降batch，而是把base_ch从64降到48或32，参数量和显存都会大幅下降；同时开启混合精度和gradient checkpointing，梯度检查点会牺牲大约20%训练速度，但显存能省接近一半。补零的频带在padding时不要送进网络，先切片裁掉，最大能省约6%的中间特征显存。

5.4 人声时断时续，乐器尾音盖不住

现象：长句歌声被切成碎片，辅音丢失，钢琴或吉他的尾音把下一句的开头盖住。

原因：卷积感受野限制在周围十几个时频单元，模型根本没有"这个人声还在延续"的记忆；训练时切段太短，比如只切32帧，模型见不到长依赖，推理时也不可能凭空学会。

解决：在bottleneck加双向GRU，这是标题里RNN进入人声分离方案的核心原因；训练切段至少覆盖100帧（约6.4秒），让GRU有足够的上下文可学；推理时用50%重叠的窗口滑动，掩蔽结果用hann窗加权叠加，避免帧边界的跳变。

5.5 换语种、换风格后效果明显下降

现象：模型在训练集同风格的歌曲上表现不错，一换到中文说唱、民乐合奏或清唱，分离质量明显下降。

原因：训练集风格单一，说唱音节密集、掩蔽变化快，民乐里的高音二胡与人声频带重叠，模型把"训练集里高频响的频段"当成了人声；纯伴奏段也会被强行分离出人声。

解决：收集多语种、多风格数据做微调，哪怕每个风格只补几十首也比不加好；针对说唱增加帧级时间注意力，让模型更关注节奏点；对纯伴奏片段，在训练数据里随机插入静音人声，让模型学习输出趋近0的掩蔽，配套的VAD门控也能在推理时避免"幽灵人声"。

6. 验证方法与下一步进阶：SDR之外，U-Net还能往哪走

6.1 用SDR验证分离效果：先搞清口径再刷分

SDR（信号失真比）是人声分离最常用的指标，但口径不同结果差很多。正确做法是按4秒窗口滑窗计算，再做置换对齐，因为盲源分离的输出通道顺序可能和参考通道不一致。直接全段计算SDR会被长静音段稀释，数值虚高。严格评测建议用museval套件，自己实现时至少按下面的逻辑验证：

def sdr(reference, estimate, eps=1e-8): # reference/estimate: 一维数组，同长度 s_true = np.dot(reference, estimate) / (np.dot(reference, reference) + eps) s_true = s_true * reference error = estimate - s_true return 10 * np.log10(np.sum(s_true ** 2) / (np.sum(error ** 2) + eps))

这个函数刻画的是一维信号的投影误差，跑通它不代表一切正常。真正的盲源分离评测要做通道置换对齐，还要按窗口滑窗，否则评测结果很难和大论文里的数字对比。

6.2 进阶方向：复数谱、band-split RNN与双路径RNN

如果掩蔽式U-Net已经到了瓶颈，下一步有三个方向。第一是复数谱回归，让网络直接输出复数实部虚部而不是掩蔽，相位误差大幅下降，但训练难度翻倍。第二是band-split，把频带分组后在每个频带内部建模，降低参数量，目前在少数开源实现里表现不错。第三是双路径RNN，例如DPRNN架构把时间帧分块，块内和块间分别用循环神经网络建模，这也是标题里RNN.rar隐含的下一站：U-Net提供图像先验，RNN提供音频时间先验，两者结合才是完整的人声分离思路。

6.3 一个让我少翻车的习惯

我早期在某次演示中过于相信SDR分数，结果现场试听时全屋子人都在皱眉。后来我养成了一个习惯：每版模型训练完，先挑十首覆盖不同风格、不同语种、不同节奏的歌曲盲听一遍，再回头调参数。这个习惯帮我躲过了很多次指标好看、听感翻车的发布。也希望帮到你。

本文还有配套的精品资源，点击获取