「教科书级」数据能有多大熏染?微软超强小模子引热议
随着大模子掀起新一轮 AI 热潮 ,教科人们开始思考:大模子的书级数据强盛能耐源头于甚么?
之后,大模子不断在由不断削减的熏染小模「大数据」来增长。「大模子 + 大数据」彷佛已经成为构建模子的微软尺度范式 。但随着模子规模以及数据量的超强不断削减,算力的引热议需要会快捷缩短。一些钻研者试验探究新思绪。教科
6 月,书级数据微软宣告了一篇题为《Textbooks Are All You Need》的熏染小模论文 ,用规模仅为 7B token 的微软「教科书品质」数据磨炼了一个 1.3B 参数的模子 ——phi-1。尽管在数据集以及模子巨细方面比竞品模子小多少个数目级,超强但 phi-1 在 HumanEval 的引热议 pass@1 上抵达了 50.6% 的精确率,在 MBPP 上抵达了 55.5% 。教科
phi-1 证实高品质的书级数据「小数据」可能让模子具备精采的功能。最近,熏染小模微软又宣告了论文《Textbooks Are All You Need II: phi-1.5 technical report》 ,对于高品质「小数据」的后劲做了进一步钻研。
论文地址:https://arxiv.org/abs/2309.05463
模子简介
架构
钻研团队运用 phi-1 的钻研措施,并将钻研重点放在做作语言知识推理使命上,建树了具备 1.3B 参数的 Transformer 架构语言模子 phi-1.5。phi-1.5 的架构与 phi-1 残缺相同,有 24 层 ,32 个头,每一个头的维度为 64,并运用旋转维度为 32 的旋转嵌入,高下文长度为 2048。
此外,该钻研还运用 flash-attention 妨碍磨炼减速 ,并运用 codegen-mono 的 tokenizer 。
磨炼数据
phi-1.5 的磨炼数据是由 phi-1 的磨炼数据(7B token)以及新建树的「教科书品质」数据(约莫 20B token)组成的。其中,新建树的「教科书品质」数据旨在让模子把握知识推理 ,钻研团队精心筛选了 20K 个主题来天生新数据。
值患上留意的是,为了品评辩说收集数据(LLM 罕用)的紧张性,该钻研还构建了 phi-1.5-web-only 以及 phi-1.5-web 两个模子。
钻研团队展现 :建树强盛且周全的数据集需要的不光是原始合计能耐 ,还需要重大的迭代 、实用的主题抉择,以及对于知识的深入清晰,具备这些因素,能耐确保数据的品质以及多样性。
试验服从
对于语言清晰使命 ,该钻研在多个数据集(搜罗 PIQA 、Hellaswag、OpenbookQA、SQUAD 以及 MMLU)上评估了一些模子。评估服从如下表 3 所示,phi-1.5 的功能可能媲美 5 倍大的模子 :
在知识推理基准上的测试服从如下表所示 :
在更重大的推理使命(好比小学数学以及根基编码使命)上 phi-1.5 还逾越了大少数 LLM:
钻研团队以为,phi-1.5 再次证明了高品质「小数据」的实力。
质疑与品评辩说
概况是由于「大模子 + 大数据」的理念太深入夷易近意 ,这项钻研受到了机械学习社区一些钻研职员的质疑,致使有人怀疑 phi-1.5 直接在测试基准数据集上磨炼了。
网友 Susan Zhang 妨碍了一系列验证 ,并指出:「phi-1.5 可能对于 GSM8K 数据会集的原下场给出残缺精确的回覆,但惟独稍微更正一下格式(好比换行),phi-1.5 就不会回覆了。」
尚有更正下场中的数据,phi-1.5 在解答下场的历程中就会泛起「幻觉」 。好比 ,在一个点餐下场中 ,只更正了「披萨的价钱」 ,phi-1.5 的解答就泛起了过错 。
而且 ,phi-1.5 彷佛「记住了」最终谜底 ,纵然在修正数据的情景下该谜底已经是过错的。
对于此,论文作者之一 Ronen Eldan 很快给出了回应,针对于上述网友测试泛起的下场给出批注以及反驳:
但该网友再次剖析其意见:测试剖析 phi-1.5 的回覆对于 prompt 的格式黑白常「单薄结子」的 ,并对于作者的回应提出质疑 :
论文第一作者 Yuanzhi Li 回应道:「由于不妨碍任何指令微调以及对于齐使命,phi-1.5 在安妥性上简直不如 GPT-4。但『单薄结子』并非精确的术语 ,事实上 ,对于任何模子,pass@k 精确率都市比 pass@1 高良多(以是模子精确便是无意偶尔的)。」
看到这些质疑与品评辩说,网友们直呼:「最重大的回应方式便是直接果真分解数据集。」
对于此,你奈何样看?
参考链接 :https://twitter.com/suchenzang/status/1701615026648605095
相关文章
高歌猛进!湖人迎来三连胜升至西区第四,距离第二仅差0.5个胜场
湖人队的高歌猛进,近期连续取得三连胜,一举升至西区第四的位置,离第二仅差0.5个胜场。这样的表现让球迷们热血沸腾,湖人的连胜不仅为他们自身的排名带来提升,更是为球队在季后赛中的表现树立了信心。在这个连2024-10-25【现场】哈登重返布鲁克林遭嘘 平民篮网掀翻快艇被老虎舔一下有什么下场?看到这块冰块,瞬时起了一身鸡皮疙瘩
体坛周报全媒体记者吴鼎闻布鲁克林报道当地时间11月8日,篮网坐镇主场迎来洛杉矶快艇的挑战。和哈登加入后形成四巨头的银河战舰相比,篮网显得有些“星光黯淡”。虽然开赛至今战绩上只取得3胜4负,但跟踪球队的2024-10-25原创 火箭队记力挺8+7前锋,呼吁增加他出场时间,后场核心处境微妙
原标题:火箭队记力挺8+7前锋,呼吁增加他出场时间,后场核心处境微妙 客场惜败给洛杉矶快船,也让休斯顿火箭终结自己的六连胜,尤其赛后裁判报告显示,火箭这边多次吃亏,也格外让人感到可惜。当然火箭自2024-10-25- 原标题:库里火线复出又如何?雷霆双少76分再辱勇士 3天之内,勇士二度输给雷霆,虽然这场球场面上有所改观,可结局显然是更加苦涩的…… 时间回到上场球,比赛末节,雷霆竟然是用勇士的绝招——三2024-10-25
英超快报:曼联遭遇主场溃败,滕哈格陷入帅位危机《家有儿女》中明目张胆的穿帮镜头,导演是把观众当傻子吗?
北京时间12月10日 讯 昨晚23:00,英超联赛第16轮比赛中,曼联遭遇了一场灾难性的失利,以0-3的比分惨败伯恩茅斯,这也是曼联在主场老特拉福德球场首次败给樱桃军团,这场失利也使得滕哈格的帅位再度2024-10-25中超本土锋线还能有期待?27岁成都高塔杀出重围,表现非常稳!从世界冠军沦为AV女优,她怎么堕落成这样?
相信很多球迷都看了国足客场对阵泰国队的比赛。这场比赛国足是有惊无险地以2-1客场战胜了对手。这场比赛的胜利,让国足晋级世预赛的下一轮充满希望。而为国足进球的就是我们的锋线大腿武磊和替补上场的王上源。赢2024-10-25
最新评论