Contents

研一Spring

Contents

第三学期三门课是:

  • Variational Methods in Image Processing
  • Machine Learning
  • Speech Technologies

Variational Methods in Image Processing

看了标题里有图像处理就选了,但似乎上课内容和想象的区别有点大了。几乎完全是一门数学课,大部分作业题也都是理论分析。

后期会有一些python编程实现的作业,但感觉就算正确实现了一些降噪或者图像补全的算法但效果也不是很好?虽然从数学的角度非常简洁也有可解释性。或许这门课最大的收获是认清现实全面拥抱神经网络?

这课的教授似乎很不喜欢LLM,特意要求完全不允许使用。

Machine Learning

上课内容丰富多样,但特别感兴趣的东西比如CUDA或者图神经网络要么不考要么讲得比较粗略。希望可以多加点编程实践(但加了可能就上不完这么多内容了)

Speech Technologies

这学期最喜欢的课,教授Karen Livescu非常友善,上课课件也准备的非常认真。语音技术从最基础的发声方式,语音分类开始讲起,逐渐讲到GNN和最新的HuBert之类的模型。倒数第二节课还能请到CMU的教授来上课,分享了开源Vec2Vec模型的训练过程。作业内容也很丰富,助教批改很认真,出分之后还有讲解环节,可以说是一门非常不错的语音技术入门课了。可能唯一的遗憾是最后的project我没做出什么特别亮眼的成果吧,利用CCA loss降噪的思路我觉得听起来非常合理,但效果似乎不太行。

从语音技术也可以看出简单的方法和模型越来越打不过大模型了,这就转MLE(逃