这一幕，刚刚在OpenAI开发者日最后一个环节——奥特曼炉边谈话中上演。

　　对话由奥特曼和OpenAI首席产品官Kevin Weil进行，奥特曼还对未来作出如下判断：

　　o1正在推动智能体应用，人们将要求AI在一小时内完成以前人类数月或数年的工作

　　比如GPT-4o驱动的实时语音API， 配合函数调用+Twillio（云通讯服务），可以直接打电线个草莓裹巧克力酱甜点，参会者人人都有的吃。

　　看起来演示现场是OpenAI员工在台上扮演食品店员工，真正的订购过程是在幕后完成。

　　刚刚离职的几位中，前研究VP Barret Zoph已决定要成立一家新公司。

　　前CTO Mira Murati还没宣布下一步要干什么，但投资人开始围追堵截她，希望她尽快成立自己的公司。

　　与去年相比，今年的OpenAI开发者日活动不再现场直播，并拆分成三部分在不同地点举办（美国、英国、新加坡）。

　　实时语音API为公开测试版，所有开发者都能在自己的APP中构建与ChatGPT高级语音模式类似的体验。

　　价格也不贵，每分钟音频输入约0.06美元，每分钟音频输出约0.24美元。

　　语言学习应用Speak已使用Realtime API开发AI角色扮演练口语功能。

　　此外还在Chat Completions API中增加了音频输入和输出，可以用在对时延要求不高的地方，将在未来几周内作为gpt-4o-audio-preview发布。

　　可以用来增强视觉搜索功能、改进自动驾驶汽车或智能城市的物体检测以及更准确的医学图像分析等应用。

　　如外卖和共享出行公司Grab，将车道计数的准确性提高20%，将限速标志的定位提高13%。

　　在UI设计上，微调过的GPT-4o生成的网页区域也能更好匹配整个页面的风格。

　　视觉微调的过程与文本微调类似，按照OpenAI指定的格式准备图像数据集，然后将数据集上传到OpenAI开发平台

　　只需使用100张图像就能提高GPT-4o在视觉任务中的性能，当然用的更多提升也能更大。

　　不过在2024年10月31日之前，每天免费为视觉微调提供100万个训练token。

　　许多开发者在构建人工智能应用程序时，会在多个API调用中重复使用相同的上下文，例如在编辑代码库或与聊天机器人进行长时间、多轮对话时。

　　金年会app,

　　此前，模型蒸馏是一个多步骤、易出错的过程，需要开发人员在互不关联的工具中手动协调多个操作，从生成数据集到微调模型和评估性能。

　　由于蒸馏本质上是迭代的，需要反复运行每个步骤，大大增加了工作量和复杂性。

　　这次OpenAI推出了新的集成工作流程，可自动获得前沿模型生成的输入-输出对、运行自定义评估、以及完成微调。

　　OpenAI持续发布新模型、新功能的压力，让OpenAI内部研究和安全团队疲于奔命，难以跟上步伐。

　　此前已有消息证实GPT-4o发布前，团队只有9天时间做安全评估，每天工作20多个小时。

　　财富杂志最新消息表示，o1发布前也遇到了同样的情况，并且在公司高层之间引发了摩擦。

　　许多向前CTO Mira Murati汇报工作的团队都认为o1还没有做好发布的准备，还没有真正形成产品，不过他们的反对意见被驳回了。

　　除了奥特曼之外唯一还在的联创Woijceich Zarembra发声，承认了在o1开发阶段他和后训练团队负责人Barret Zoph发生激烈冲突，但没有透露详细细节。

　　Barret Zoph目前表示将成立一家新公司，但目前尚不清楚他具体会做什么，也不清楚他是否会和Murati合作。

　　再看Murati这边，她本人还没有宣布下一步任何计划，但投资人争相与她会面，希望她尽快创办自己的公司。

　　据消息，许多投资人正在试图接近她，即使以前没有联系过的也会给她发冷邮件。

　　作为去年11月奥特曼被短暂赶下台的余波，OpenAI高层持续动荡，已经流失不少研究和管理人才。

　　与此同时，OpenAI 一直在疯狂招聘，规模相比去年扩大了一倍多，员工人数从不到800人增加到1800人。

　　两人合作开发了变分自编码器VAE，相关论文于今年获得ICLR首届时间检验奖。

　　这次他加入Anthropic将主要在荷兰远程办公，没有透露他将具体加入哪个团队或负责哪部分工作。

　　总之OpenAI变得不像以前的自己，但隔壁Anthropic越来越像以前的OpenAI了。

　　还有人提出，如果去年11月奥特曼真的下台了，OpenAI现在会不会更好呢？

　　健康的公司，有优秀的CEO，不会用报酬威胁员工签封口协议，也不会有高管辞职，更不会有那么多丑闻。