XXXXXL196苹果为什么要用“小模型”XXXXXL196？

苹果为什么要用“小模型”XXXXXL196？

业绩方面，以年报、快报或预告区间中值计算，煤炭股上半年净利润普遍偏差。其中，安源煤业实现扭亏，净利润预计在4800万元到5700万元之间，业绩增长主要系公司所属煤矿正常生产天数同比增加，带动毛利同比增长所致。

　　来源XXXXXL196：新智元　　在WWDC2024上，　　这是一款深度集成到iOS18、iPadOS18和macOSSequoia中的个人智能系统。　　与其他科技大厂不同的是，「苹果牌」AI并没有奉行「越大越好」的宗旨。　　相反，苹果的态度更加务实，优先考虑用户体验，更强调AI模型的定制化。　　将生成式AI无缝融入操作系统，——从某种意义上来说，这是一种非常「苹果」的做法。　　AppleIntelligence由多个功能强大的生成模型组成，这些模型专门用于用户的日常任务，可以即时适应用户当前的活动。　　AppleIntelligence内置的基础模型针对用户体验进行了微调，例如编写和优化文本、摘要、确定通知的优先级、为对话创建有趣的图像，以及简化跨App的交互。　　苹果倾向于利用设备端的小模型搞定这些事情，当然用户也可以选择使用ChatGPT等第三方的服务，但这时数据方面的责任就跟苹果没有关系了。　　苹果着重介绍了其中两个模型：一个约30亿参数的设备端语言模型，以及一个更大的基于服务器的语言模型（可通过私有云计算在苹果服务器上运行）。　　KeepSmall　　苹果的基础模型是在AXLearn框架上训练的。　　AXLearn是苹果在2023年发布的一个开源项目，它建立在JAX和XLA之上，使苹果能够在各种训练硬件和云平台上以高效率和可扩展性训练模型，包括TPU、云端和本地GPU。　　苹果结合使用数据并行、张量并行、序列并行和完全分片数据并行（FSDP）来沿数据、模型和序列长度等多个维度扩展训练。　　苹果使用网络爬虫AppleBot来收集公开可用的数据，——如果Web发布者不希望自己的内容被AppleIntelligence用于训练，苹果也提供了各种粒度的控制方案。　　苹果表示，在训练基础模型时，从不使用用户的私人个人数据或用户交互，并且苹果应用过滤器来删除互联网上公开的个人身份信息（比如社会保险和信用卡号）。　　除了过滤之外，苹果还通过数据提取、重复数据删除和基于模型的分类器的应用，以识别高质量的文档。　　后处理　　苹果在训练管道中使用混合数据策略，结合人工注释和合成数据，并执行彻底的数据管理和过滤程序。　　苹果在后处理阶段开发了两种新颖的算法：　　1.拒绝抽样微调算法（rejectionsamplingfine-tuningalgorithm）；　　2.基于人类反馈的强化学习（RLHF）算法，采用镜像下降策略优化和留一法优势估计器（leave-one-outadvantageestimator）。　　这两种算法可以显著提高模型的指令遵循质量。　　除了确保生成模型具有强大功能外，苹果还使用了一系列创新技术在设备上和私有云上对其进行优化，以提高速度和效率。　　设备端模型和服务器模型都使用分组查询注意力（grouped-query-attention），来优化其推理性能。　　苹果使用共享的输入和输出词汇表，来降低内存需求和推理成本，保证了共享嵌入张量的映射没有重复。　　设备端模型使用49K的词汇大小，而服务器模型使用100K的词汇大小。　　对于设备端推理，苹果使用low-bitpalletization，来满足必要的内存、功耗和性能要求。　　为了保持模型质量，苹果开发了一个使用LoRA适配器的新框架，混合使用2比特和4比特的配置策略（平均每个权重3.5比特），以实现与未压缩模型相同的精度。　　此外，苹果还使用交互式模型延迟和功耗分析工具Talaria来更好地指导每个操作的比特率选择。　　利用激活量化和嵌入量化，可以在苹果的神经引擎上实现高效的键值缓存（KVcache）更新。　　通过上面的这些优化，iPhone15Pro能够达到约0.6毫秒的延迟，以及每秒30个token的生成速率。　　适配器　　苹果的基础模型针对用户的日常活动进行了微调，可以动态地专注于手头的任务。　　做法是将小型神经网络作为模块（适配器，adapter），插入到预训练模型的各个层中，以实现针对特定任务的微调。　　此外，苹果调整了注意力矩阵、注意力投影矩阵和前馈网络中的全连接层，以适应Transformer架构的的解码层。　　通过仅微调适配器层，基本预训练模型的原始参数保持不变，从而保留模型的一般知识，同时又能支持特定任务。　　AppleIntelligence包含一组广泛的适配器，这是扩展基础模型功能的有效方法。　　苹果使用16位表示适配器参数的值，对于30亿个参数的设备模型，16级适配器的参数通常需要10兆字节。　　适配器模型可以动态加载、临时缓存在内存中并进行交换，保证了操作系统的响应能力。　　因为用户体验是最高优先级，所以在对模型进行基准测试时，苹果专注于人工评估。　　摘要　　苹果的训练数据基于从更大的服务器模型生成的合成摘要，并通过拒绝抽样策略进行过滤，仅保留高质量的摘要。　　为了评估特定于产品的摘要，这里使用一组750个响应，针对每个用例进行了仔细抽样。　　评估数据集涵盖了苹果的产品功能在生产中可能面临的各种输入，包括不同内容类型和长度的单个文档和堆叠文档的分层组合。　　另外，评估摘要功能也要考虑到一些固有风险，比如，模型偶尔会忽略掉一些重要的细节。　　根据评分者在五个维度上的打分，摘要被分类为好、中、差。　　实验结果表明，与同类模型相比，带有适配器的模型可以生成更好的摘要。　　并且在超过99%的针对性对抗性示例中，摘要适配器并没有放大敏感内容。　　基础功能　　对于设备端和服务器模型的一般功能，苹果利用一套全面的真实世界提示来评估通用模型的功能。　　这些提示在不同的难度级别上各不相同，涵盖头脑风暴、分类、封闭式问答、编码、提取、数学推理、开放式问答、重写、安全、总结和写作等主要类别。　　将苹果的模型与开源模型（Phi-3、Gemma、Mistral、DBRX）和类似规模的商业模型（GPT-3.5-Turbo、GPT-4-Turbo）进行比较。　　实验表明，与大多数竞品相比，苹果的模型更受人工评分师的青睐。　　苹果的3B设备端模型性能优于Phi-3-mini、Mistral-7B和Gemma-7B等大型模型；而苹果的服务器模型也要优于DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo，同时效率更高。　　安全性　　苹果使用一组不同的对抗性提示来测试模型在有害内容、敏感主题和事实性方面的表现。　　测量每个模型的违规率，同样采用人工评估：　　上图显示了在安全提示方面与竞品的PK。人工评分员发现苹果的回答更安全、更有帮助。　　指令遵循　　为了进一步评估模型，苹果还使用指令跟踪评估（IFEval）基准测试来比较同类模型的能力。　　结果表明，苹果的设备端和服务器模型都比同等规模的开源和商业模型更好地遵循详细说明。　　最后是根据内部总结和作文基准评估模型的写作能力，包括各种写作说明，这些结果不涉及用于特定功能的适配器。

koa12jJid0DL9adK+CJ1DK2K393LKASDad

编辑:冯兴国

TOP1热点：ESG又有新成果！2023新大学生入职海尔智家

而且，公司在19个城市建立了20个自有智能仓库，跨省配送40小时到城市，50小时到乡镇，比行业平均水平快20%。。

新天鑫化工成立于2005年，同样位于开阳县。据公告披露，新天鑫化工的主营业务为磷化工及衍生产品的生产与销售，已有及在建黄磷产能合计13万吨。另外，根据贵阳市生态环境局2022年3月公示的环评信息，新天鑫化工投资366870万元建设“利用黄磷尾气年产50万吨（一期10万吨）电池级碳酸酯系列产品项目”，项目建成后将形成碳酸二甲酯31.5万吨/年、碳酸甲乙酯15万吨/年、碳酸二乙酯1.5万吨/年的生产能力。

TOP2热点：美瑞新材(300848.SZ)：公司的PBS业务推进较为顺利

我们用大数据回溯了近一年同类形态的所有涨停个股，共得147个样本，结合大模型超强推理能力，分析得出中迪投资次日有89.80%的概率继续上涨，平均收益率8.01%。

2019年11月29日至2021年2月9日期间，碚圣医药向恒辉小贷共计偿还借款本金4900万元。2021年2月15日，碚圣医药与恒辉小贷签订《贷款展期协议》，约定展期偿还5100万元，潘先文和ST三圣时任董事长潘呈恭作为连带保证人。

TOP3热点：中概新能源汽车股集体上扬，小鹏汽车涨超25%丫头牦户一张一合

作为欧洲市值最高的科技公司，阿斯麦是全球唯一一家能够生产极紫外光刻机（EUV）的公司。2012年，三星收购了阿斯麦3%的股份，并建立了战略合作伙伴关系，此后又减持了所持股份。

友联国际教育租赁(01563)发布公告，预期集团于截至2023年6月30日止六个月将取得公司除税后净溢利不低于人民币1.20亿元，而2022年上半年则取得公司除税后净溢利约人民币4600万元。

TOP4热点：苏新服务(02152)拟透过公开招标收购苏州苏铜科嘉机电工程100%股权婉莹满足了十几个农民工视频