Book Library
书库
/ 蒸馏、合成数据和 RSI,是怎么连到一起的?
蒸馏、合成数据和 RSI,是怎么连到一起的?
作者:未知作者 · 语言:zh-CN
整理这期节目时,我原本以为重点会是蒸馏。顺着对谈往下看,问题慢慢变成了:训练越来越方便以后,模型研究员到底还在研究什么?
阅读中文版
中英双语阅读
原文网页
目录
蒸馏、合成数据和 RSI,是怎么连到一起的?
我为什么把这三个词画在一条线上
蒸馏
合成数据
RSI
后训练的人,怎么每天都在做数据
给一道题,核对一个答案
给一套工具,看事情有没有办成
国内模型的优势,可能不在我们以为的地方
那蒸馏到底算什么
RSI 已经能跑了,只是经常越跑越偏
我最后留下的判断
有几处我还没完全被说服
「预训练学知识,后训练搬分布」说得太整齐了
在模拟环境里做对,进公司后未必也能做对
没人能算清蒸馏到底贡献了多少
节目时间轴
资料与出处