热点资讯
迪士尼彩乐园3源码 UPSTAGE为何构建袖珍话语模子
这家韩国公司专注于提供稳当使用的话语模子，这些模子比大型话语模子更低廉，也更准确。
译自WhyUpstageBuildsSmallLanguageModels，作家AlexWilliams。
拉斯维加斯——Upstage是一家韩国企业AI公司，构建袖珍话语模子(SLM)以匡助公司贬责文档处理问题。它当先是一家使用光学字符识别(OCR)为韩国大型公司扫描文档的公司。
当ChatGPT出刻下，客户驱动接洽Upstage对于大型话语模子(LLM)的问题。Upstage使用其OCR功能杀青了95%的准确率，但客户但愿达到100%的准确率。因此，Upstage团队驱动寻找大概赋闲得回更高准确率条件的模子。LLM具有通用性，但较小的模子更适用于文档处理所需的褊狭焦点。
袖珍话语模子(SLM)莫得得到太多见原，但它们的功能包括提供公司专用以至国度专用的LLM。
“客户思要一个稳当他们我方使用的话语模子，”勾搭首创东说念主兼首席产物官在AWSre:Invent的一次采访中说说念。“是以这即是咱们驱动构建袖珍话语模子的原因之一。是以当今咱们正在接洽文档处理引擎和大型话语模子。”
模子交融以创建SLM
Upstage，一家AWS生成式AI加快器参与者，使用开源模子，允许在单个GPU上运行。其旗舰模子Solar，与其他在单个GPU上运行的袖珍模子特殊，包括Llama3.81B、MistralSmallInstruct2409和HuggingFace的ExaOne3.07.8BInstruct。
暗示Upstage将两个袖珍LLM的副本祛除成一个大型LLM。举例，它会将一个70亿参数的模子集成到一个100亿参数的模子中。“如若咱们有一个140亿参数的模子，咱们会将其膨胀到一个220亿参数的模子，”她说说念。“这即是咱们最近一直在作念的。”
模子交融，一种组合LLM的技艺，迪士尼彩iii乐园已在AI社区得回招供。杀青包括诸如权重平均之类的奉行，这是一种用不同才气的多个孤苦模子的参数进行祛除的要道。凭证南洋理工大学、东北大学和中山大学的接洽东说念主员8月份发表的一篇论文，模子交融允许数据科学家“在无需考核原始锻真金不怕火数据或腾贵的打算的情况下构建通用模子”。
暗示Upstage还是发现使用组合模子要道不错普及其基准测试效果。凭证Upstage网站，SolarPro是一个袖珍话语模子，与SolarPro预览版比较，其东亚话语掌捏才气普及了64%。
SLM在话语方面的校正反应了它们日益普及的趋势。SLM锻真金不怕火较小的数据集，使其大概天真地用于Upstage这么的畛域中心要道。
暗示大型话语模子专注于通用智能。袖珍话语模子也提供了更窄的焦点。
举例，Upside为泰语构建了一个特定模子。对于泰语，它近似于GPT4，OpenAI的模子。
SLM的开荒资本也低得多。假定，暗示，思象一下一个构建资本为10好意思元的SLM。一个大10倍的LLM可能要奢靡100好意思元。
她暗示，客户将遴选三种遴荐来部署模子。如若他们是在土产货部署模子，他们不错使用Upstage收尾台，该收尾台通过AWS商场提供API。举例，SolarPro模子当今已在AmazonBedrockMarketplace上提供。
本文在云云众生（https://yylives.cc/）首发，宽宥全球考核。
而从最近一段时间的数据来看魔兽世界WLK怀旧服的时光徽章的价格趋于下降，虽然从目前数据来看并没有下降多少迪士尼彩乐园3源码，但是时光徽章的最低价格居然已经达到了9429，虽然这个价格并没有稳住多久。但是可以证明一点便是魔兽世界WLK怀旧服游戏中的玩家们数量正在增加或者是玩家们的需求正在增加从而导致了时光徽章价格下跌G币上升。