LLM Training 101
这个是读完这篇综述 Efficient Training of Large Language Models on Distributed Infrastructures - A Survey 之后的一个产出，这篇综述文章针对 LLM 的 training 介绍的已经很详细了，但是同时内容过多也不可能全都学完。这里...
Recent Posts
读书笔记 - Patterns of Distributed System
最近读了一本和 distributed system 相关的书籍，介绍了在 distributed system 里面常用的一些 pattern. 这是一篇简要的读书笔记，把书中提到的几个 pattern 总结了下来; 我计划会经常更新这篇 blog, 把我新学习到的或者总结出来的一些 pattern 记录在这里...
那些年，我们追过的 Feature
在今天的 blog 里面，我将结合我前一阵子面试 machine learning engineering 的经验，跟大家唠唠在 ML design 里面的 feature engineering 相关的问题。 在 ML design 里面，我们可能会被问到可以使用什么样的 feature, 以及具体一些 fea...
How to Design Auction System
In this post, let’s discuss a little bit how to design an auction system similar to the one on eBay, where owner could list their items in the system and oth...
How to use LLM for recommendation task
Recently, I have been working with some of my friends (Dalao) on leveraging GPT to do recommendation tasks. This gives me an opportunity to review some paper...
How to Design Webhook
Today, let’s discuss about how to design a system that could let customer to register webhook and send webhook requests to destination.
DDIA Chapter 11 Stream Processing Part I
In this post, we would introduce stream processing. Since it is a large topic, we would break it down into 2 part, and in the first part, we would focus on t...
MIT Distributed System Course - KVRaft
It has been a long time since last update on the project. Finally I have found some time that I could resume this project and finish it up.
投资小白读《指数基金投资指南》
在上一篇blog中，我们多次提到了指数基金的定投是一个对于投资新手来说非常不错的方法。为此，我去专门找了一本讲解指数基金投资的书：《指数基金投资指南》。这本书比较吸引我的两个章节分别是如何选择指数基金，以及如何选择定投的策略。在这篇blog中，我会总结一些书中提到的一些方法和大家分享。
投资小白读《聪明的投资者》/ 《投资的常识》
作为一个投资小白，阅读一些书籍来学习一些知识还是很有必要的。在琳琅满目的投资类书籍中，我优先读了这么两本书：《聪明的投资者》和《投资的常识》。《聪明的投资者》是被誉为华尔街教父的格雷厄姆写的一本通俗易懂的面向大众的投资书籍。格老是价值投资的先驱，巴菲特的精神导师，其投资理念可见一斑。《投资的常识》是一本更加通俗易...