二人世界拔萝卜苹果为什么要用“小模型”二人世界拔萝卜？
苹果为什么要用“小模型”二人世界拔萝卜？
今年以来，国产电视剧紧跟时代步伐，创作结构更加优化，创作生态更加繁荣，呈现了良好的发展势头，取得了重要的创作成果。未来，期待广大电视剧工作者继续聚焦新时代新征程，立足中国式现代化道路，胸怀“国之大者”，以温暖的基调和底色反映火热的现实生活，推出更多优秀作品。
来源二人世界拔萝卜：新智元 在WWDC2024上， 这是一款深度集成到iOS18、iPadOS18和macOSSequoia中的个人智能系统。 与其他科技大厂不同的是，「苹果牌」AI并没有奉行「越大越好」的宗旨。 相反，苹果的态度更加务实，优先考虑用户体验，更强调AI模型的定制化。 将生成式AI无缝融入操作系统，——从某种意义上来说，这是一种非常「苹果」的做法。 AppleIntelligence由多个功能强大的生成模型组成，这些模型专门用于用户的日常任务，可以即时适应用户当前的活动。 AppleIntelligence内置的基础模型针对用户体验进行了微调，例如编写和优化文本、摘要、确定通知的优先级、为对话创建有趣的图像，以及简化跨App的交互。 苹果倾向于利用设备端的小模型搞定这些事情，当然用户也可以选择使用ChatGPT等第三方的服务，但这时数据方面的责任就跟苹果没有关系了。 苹果着重介绍了其中两个模型：一个约30亿参数的设备端语言模型，以及一个更大的基于服务器的语言模型（可通过私有云计算在苹果服务器上运行）。 KeepSmall 苹果的基础模型是在AXLearn框架上训练的。 AXLearn是苹果在2023年发布的一个开源项目，它建立在JAX和XLA之上，使苹果能够在各种训练硬件和云平台上以高效率和可扩展性训练模型，包括TPU、云端和本地GPU。 苹果结合使用数据并行、张量并行、序列并行和完全分片数据并行（FSDP）来沿数据、模型和序列长度等多个维度扩展训练。 苹果使用网络爬虫AppleBot来收集公开可用的数据，——如果Web发布者不希望自己的内容被AppleIntelligence用于训练，苹果也提供了各种粒度的控制方案。 苹果表示，在训练基础模型时，从不使用用户的私人个人数据或用户交互，并且苹果应用过滤器来删除互联网上公开的个人身份信息（比如社会保险和信用卡号）。 除了过滤之外，苹果还通过数据提取、重复数据删除和基于模型的分类器的应用，以识别高质量的文档。 后处理 苹果在训练管道中使用混合数据策略，结合人工注释和合成数据，并执行彻底的数据管理和过滤程序。 苹果在后处理阶段开发了两种新颖的算法： 1.拒绝抽样微调算法（rejectionsamplingfine-tuningalgorithm）； 2.基于人类反馈的强化学习（RLHF）算法，采用镜像下降策略优化和留一法优势估计器（leave-one-outadvantageestimator）。 这两种算法可以显著提高模型的指令遵循质量。 除了确保生成模型具有强大功能外，苹果还使用了一系列创新技术在设备上和私有云上对其进行优化，以提高速度和效率。 设备端模型和服务器模型都使用分组查询注意力（grouped-query-attention），来优化其推理性能。 苹果使用共享的输入和输出词汇表，来降低内存需求和推理成本，保证了共享嵌入张量的映射没有重复。 设备端模型使用49K的词汇大小，而服务器模型使用100K的词汇大小。 对于设备端推理，苹果使用low-bitpalletization，来满足必要的内存、功耗和性能要求。 为了保持模型质量，苹果开发了一个使用LoRA适配器的新框架，混合使用2比特和4比特的配置策略（平均每个权重3.5比特），以实现与未压缩模型相同的精度。 此外，苹果还使用交互式模型延迟和功耗分析工具Talaria来更好地指导每个操作的比特率选择。 利用激活量化和嵌入量化，可以在苹果的神经引擎上实现高效的键值缓存（KVcache）更新。 通过上面的这些优化，iPhone15Pro能够达到约0.6毫秒的延迟，以及每秒30个token的生成速率。 适配器 苹果的基础模型针对用户的日常活动进行了微调，可以动态地专注于手头的任务。 做法是将小型神经网络作为模块（适配器，adapter），插入到预训练模型的各个层中，以实现针对特定任务的微调。 此外，苹果调整了注意力矩阵、注意力投影矩阵和前馈网络中的全连接层，以适应Transformer架构的的解码层。 通过仅微调适配器层，基本预训练模型的原始参数保持不变，从而保留模型的一般知识，同时又能支持特定任务。 AppleIntelligence包含一组广泛的适配器，这是扩展基础模型功能的有效方法。 苹果使用16位表示适配器参数的值，对于30亿个参数的设备模型，16级适配器的参数通常需要10兆字节。 适配器模型可以动态加载、临时缓存在内存中并进行交换，保证了操作系统的响应能力。 因为用户体验是最高优先级，所以在对模型进行基准测试时，苹果专注于人工评估。 摘要 苹果的训练数据基于从更大的服务器模型生成的合成摘要，并通过拒绝抽样策略进行过滤，仅保留高质量的摘要。 为了评估特定于产品的摘要，这里使用一组750个响应，针对每个用例进行了仔细抽样。 评估数据集涵盖了苹果的产品功能在生产中可能面临的各种输入，包括不同内容类型和长度的单个文档和堆叠文档的分层组合。 另外，评估摘要功能也要考虑到一些固有风险，比如，模型偶尔会忽略掉一些重要的细节。 根据评分者在五个维度上的打分，摘要被分类为好、中、差。 实验结果表明，与同类模型相比，带有适配器的模型可以生成更好的摘要。 并且在超过99%的针对性对抗性示例中，摘要适配器并没有放大敏感内容。 基础功能 对于设备端和服务器模型的一般功能，苹果利用一套全面的真实世界提示来评估通用模型的功能。 这些提示在不同的难度级别上各不相同，涵盖头脑风暴、分类、封闭式问答、编码、提取、数学推理、开放式问答、重写、安全、总结和写作等主要类别。 将苹果的模型与开源模型（Phi-3、Gemma、Mistral、DBRX）和类似规模的商业模型（GPT-3.5-Turbo、GPT-4-Turbo）进行比较。 实验表明，与大多数竞品相比，苹果的模型更受人工评分师的青睐。 苹果的3B设备端模型性能优于Phi-3-mini、Mistral-7B和Gemma-7B等大型模型；而苹果的服务器模型也要优于DBRX-Instruct、Mixtral-8x22B和GPT-3.5-Turbo，同时效率更高。 安全性 苹果使用一组不同的对抗性提示来测试模型在有害内容、敏感主题和事实性方面的表现。 测量每个模型的违规率，同样采用人工评估： 上图显示了在安全提示方面与竞品的PK。人工评分员发现苹果的回答更安全、更有帮助。 指令遵循 为了进一步评估模型，苹果还使用指令跟踪评估（IFEval）基准测试来比较同类模型的能力。 结果表明，苹果的设备端和服务器模型都比同等规模的开源和商业模型更好地遵循详细说明。 最后是根据内部总结和作文基准评估模型的写作能力，包括各种写作说明，这些结果不涉及用于特定功能的适配器。koa12jJid0DL9adK+CJ1DK2K393LKASDad
编辑:马继
TOP1热点：邵新宇已任湖北省政府党组副书记
《把碳达峰碳中和纳入生态文明建设整体布局》是习近平同志2021年3月15日在中央财经委员会第九次会议上讲话的一部分。指出，“十四五”是碳达峰的关键期、窗口期，要重点做好构建清洁低碳安全高效的能源体系、实施重点行业领域减污降碳行动、推动绿色低碳技术重大突破、完善绿色低碳政策和市场体系、倡导绿色低碳生活、提升生态碳汇能力、加强应对气候变化国际合作等工作。。
“班子成员带着问题下去调研，果真验证了我们的猜想，回来就要好好想办法落实。”祝春燕说。
TOP2热点：关键时刻警铃炸响，“我寻思这是门呢…”
中国式现代化是中国共产党领导的社会主义现代化。习近平总书记强调：“这是对中国式现代化定性的话，是管总、管根本的。”中国式现代化既有各国现代化的共同特征，更有基于自身国情的中国特色。中国式现代化的本质要求，体现和符合中国式现代化的内在规定性和本质属性，是实现中国共产党领导的社会主义现代化的必备条件和重要支撑。推进中国式现代化，在政治建设领域，就要发展全过程人民民主。全过程人民民主，是我们党团结带领人民追求民主、发展民主、实现民主的伟大创造，充分彰显社会主义国家性质，充分彰显人民主体地位，使人民当家作主更好体现在国家政治生活和社会生活之中。
TOP3热点：千元高端酒卖不动 三五百中端名酒打主力西方37大但人文艺术a管77
为促进拉美和加勒比地区数字医疗转型，智利国家健康信息系统中心近日同国际数字健康与人工智能研究合作组织签署合作协议，对地区数字医疗领域的100名专业人士进行培训，旨在为数字领域的国家行动提供所需的技术支持。智利国家健康信息系统中心执行副主任菲利克斯・利贝罗纳表示，地区国家在数字医疗发展方面存在许多共性特点和问题，此次培训帮助参与者了解差距并分享经验，助力地区各国加快数字医疗转型。
定制专线不仅开到了景点，还开进了社区、学校、医院、产业园区。
TOP4热点：特朗普就涉嫌财务欺诈案出庭 称诉讼意在破坏其竞选活动HDHDHD❌❌X❌18
网友“清风上影”留言说：“我的朋友圈都在旅游，大家纷纷选择了暑假出行。”网友“一个”留言认为：“学生在暑假期间通过旅游看看祖国的大好河山，了解各地文化，这对成长是很有帮助的。”
根据计划，后续，航天员乘组还将开展大量空间科学实（试）验，参与完成多次应用载荷出舱安装任务。
TOP5热点：中国首条时速350公里跨海高铁通车798大但人文艺术
通过引进国际先进设计理念和技术手段，并结合国内市场需求，钢卷尺企业不断推出具有创新性、独特性的产品，量具类产品也变得越来越智能。
“主题教育开展以来，海口已开通各类定制专线104条。今年还将打造12条老龄化线路，目前线路已完成规划，将覆盖公园、医院、社区等，公交车辆、站点设施正在加紧改造，年底即可全部投入运营。”林成说。
TOP6热点：外交部发言人就美国国务院发表涉华报告答记者问麻花星空影视传媒制作公司
“心不可乱，则利至而必知，害至而必察”出自北宋苏辙《上皇帝书》。苏辙一生忧国忧民，为官期间始终勤于政事，立身为民，廉洁奉公。在《上皇帝书》中，苏辙提出许多针砭时弊的重要观点，“心不可乱，则利至而必知，害至而必察”便是其一。大意是说，心正才能心境平和、头脑清醒，有利之事发生就必能意识到，有害之事发生就必能觉察到，从而趋利避害。习近平总书记引用这句名言，意在告诫年轻干部，只有正心明道、怀德自重，才能在任何时候任何情况下都不放纵、不越轨、不逾矩。
TOP7热点：国防部评台湾潜艇下水：不过是螳臂当车铜铜铜铜铜铜铜铜铜好多水
网友表示，科技伴夏，乐享智慧生活。这些形式多样的科普课程和教育活动，通过寓教于乐的方式，让孩子们在暑期感受科技魅力，培养科学兴趣。
TOP8热点：旗下化妆品厂停产整改 金发拉比遭药监局飞行检查浪小辉杭州全季酒店4人行
记者浏览多家外卖平台，发现大多数餐厅在菜品说明中没有标识原料、分量或标识不全，大部分“一人份”“双人套餐”也没有标注菜品具体分量，消费者很难根据个人需要进行评估选择。“虽然不想浪费食物，但有时为了防止不够吃，特别是有朋友一起点餐吃饭的时候，还是会倾向于宁多不少，最后就剩下了。”温容宁说。
TOP9热点：福厦高铁带来的改变和想象男男伦流澡～你tm别㖭了文
本报北京7月20日电（记者吴月辉）记者从中国科学院获悉：由该院空间应用工程与技术中心研制建设的4秒电磁弹射微重力实验装置日前启动试运行。装置采用电磁抛射方式在地面模拟微重力、月球重力、火星重力等模式，为空间科学实验提供有效的地面验证机会。
“班子成员带着问题下去调研，果真验证了我们的猜想，回来就要好好想办法落实。”祝春燕说。
TOP10热点：美国白宫：拜登希望众议院能迅速选出新的议长696969大但人文艺术主题
“强制扫码”并非小事，亟待相关部门、机构以及社会组织的协同配合、联合发力，实现从治标到治本的有效治理
漫步古城，城市肌理记录岁月悠长；寻常巷陌，传统现代实现交相辉映。位于江苏苏州古城东北隅的平江历史文化街区，至今已有2500多年历史。在这里，现代汽车缓缓驶过，古城气质风采依然。