我们相信,总有人对外面的世界有所兴趣与好奇。


我很喜欢播客《读报 teleread》的这句标语。


经过过去一年多的快速发展,生成式 AI 激发出众多能帮助我们跨越语言障碍,触及“外面的世界”的工具。


这些工具不再仅限于“翻译”,而是以更敏捷的交互,在不同环境下越过外语屏障,帮助用户获取信息和理解信息。


这次,围绕外刊文章、视频和播客三种媒介,我们试图在不同“相遇”场景下寻找减少语言隔阂的方法,最终梳理出以下这批 AI 工具。


因为现在大部分大模型都能翻译,不同用户有不同偏好,因此这次我们选择的工具尽可能是支持多模型选择,更重视这些工具在特定场景中的交互便利性。


当然,我们没法穷尽现存所有的工具。如果你也有好方法,还请多多在评论区和我们分享。


一、外刊文章 & 书籍



作为科技编辑,看外网文章找资料是工作日常中的日常。


在这个环节中,我会将外刊阅读分为三个维度:全文翻译、总结或理解。


1. 全文翻译


“沉浸式翻译”相信很多人都用过。


这款浏览器插件在交互上非常方便,安装后只需轻轻一点,就能在浏览器里进行双语阅读。



翻译质量方面,插件支持选择用不同的大模型来进行翻译。不过,OpenAI 和 DeepL 等模型必须要成为插件的付费用户或者自己有对应产品的 API 才可使用,免费的就只能选微软翻译、谷歌翻译、Yandex 和腾讯交互翻译几种产品。


即便如此,它可翻译几乎任何浏览器里文字的能力和非常轻量化的设计,还是收获了众多喜爱。


它甚至还支持 PDF 全翻译。在浏览器打开线上的 PDF 论文,插件会创建一个新的并排界面,让你可以双语共读。如果想下载,也可以选择保存论文的单语或双语版本。



如果你想看的是 EPUB 格式的电子书,也可以把英文图书直接丢进去,导出双语版本的 EPUB 格式图书。


对于 PDF 和 EPUB 文件的翻译,“微信读书”的用户也可以直接把文件导入微信读书,打开文件后启用自带的翻译功能,同样也有逐段式的翻译文本。


微信读书自带翻译功能


说起双语并列的阅读体验,那当然少不了很早就提出这种设计的“彩云小译”。


不过,和支持多个模型选择的“沉浸式翻译”相比,彩云只有“通用”和“学术”两种翻译模型选择,而且彩云的免费用户单次翻译字数和次数都有限制。


与此同时,彩云的插件时不时会有 bug,譬如我为了写稿加装了好些浏览器翻译插件,然后现在一用彩云就会出现一层遮挡。



相比之下,彩云的优点可能就是定价比“沉浸”的便宜些:彩云小译会员 SVIP 的价格为 35 元/月,VIP为 12 元/月;沉浸式翻译会员为 703 元/年或者 69 元/月。


2. 总结或理解


和传统翻译工具对比,生成式 AI 工具的最大优势是让互动超越“纯翻译”,走向“对话”。


“总结”是一个高频场景,是在决心投入 30 分钟以上的时间来阅读一篇特写前的“预览”。


同样,我也更偏好可以调用不同模型去完成这件事的插件类产品,其原理大多是“帮我复制文章到大语言模型,输入提示词总结,向我返回结果”。


只想看总结的话,可以安装 NoteGPT 插件,一键就能在原页面看总结,非常快捷方便。(NoteGPT 插件免费用户一个月只有 15 次免费总结次数,但它的另一个插件“文章摘要ChatGPT生成”可免费使用。)



值得留意的是,一般这些插件的默认总结提示词都是让总结成英文,可以自己手动在设置处改成中文。


另一款插件 Glasp 也是我喜欢的“伴读”工具。


阅读文章时,快捷键“command + x + x”就可以总结,但它的呈现形式并不是在当前页面,而是带着复制文本 + 提示词跳转到大模型界面中。



所以,如果你需要对文章进行进一步“询问”,这是更顺手的一种模式。譬如,提问“文章中是否有提及 Luis von Ahn 自己是如何学习外语的?”



同样的,这个插件默认的总结提示词也是英文,可以在设置中国把需求改成中文,或者改成双语。


Glasp 的高亮功能我也很喜欢。在精读过程中,如果看到后面写稿有机会可能引用的话或者是写得好的地方,我都会高亮起来,方便之后回头找。


用账号登录后,所有标注过的高亮部分都会被汇总起来


在生成式 AI 时代,遇到不懂的单词能查的不再只是词典,可以直接让模型结合上下文给你解释。


我一般会用 Perplexity 的网页插件直接询问。譬如,在以下文段中出现了一个用法“net-net”,我不太理解它的意思,我就会:



反馈结果:



同样,如果文段中有句子让你感到困惑,同样也可以放在上下文语境中让大模型为你解释其背后含义,或者是作者为什么要这样去写。


如果我的网络条件不太好,只能用必须自己手动拷贝文章全文到模型的工具,我会用先打开浏览器“阅读模式”插件,这样拷贝起来更快。


国内的 Kimi 擅长处理长文本,但处理外网链接的限制较多,所以要手动拷贝文章,但它的“常用提示词”也是挺方便的。



二、视频、视频、视频



现在的年轻人都爱看视频学习,怎能让外语阻挡了呢?


1. 在线看


“沉浸式翻译”插件在这个领域适配得挺好,将“双语”习惯延续到在线视频上,支持在 YouTube、哔哩哔哩、Coursera、TED 等众多视频网站上实时提供双语字幕。



不过,“沉浸式翻译”似乎只能为原本就有 CC 字幕的视频提供双语视频。鉴于 YouTube 基本都会自动生成英文 CC 字幕,所以在那使用基本无障碍。


“彩云小译”同样也支持视频翻译,但它采用的并不是对 CC 字幕的翻译,而是自己实时“听”英文,然后翻译,显示时会有时间滞后,同时翻译质量也不稳定。



2. 在线总结


就和看特写文章一样,如果想在投入大段时间看一个视频前“预览”一下视频内容,可以用视频浏览器插件 NoteGPT 或者 Glasp 来读一下视频的总结或者浏览文字转录。



在 NoteGPT 的插件中,用户也可以进一步就视频内容在“AI Chat”中进行直接提问,不用跳转页面。



而 Glasp 的模式则仍然是在 YouTube 视频页面直接生成完整转录文稿,如果需要“总结”或进一步“提问”,可一键直接带着完整文稿到大模型对话框中进行。



3. 本地视频


如果你有一个视频,找不到字幕,也没法完全听懂,那我们可以用“通义效率”的“上传音视频”来看。


虽然没法自动在视频上生成双语字幕(希望终有一天会有!),但通义会提供完整的双语文本,并对视频内容生成概要和带时间点的章节速览。



在观看视频的过程中,视频下的字幕会随之往下滚动。用户也可以在界面右侧做笔记备忘,甚至支持添加时间戳。


三、追发布会和听课



在这些情景下,我们的根本需求是“实时翻译”,如果能做便利做笔记就更加分。


1. 电脑端


“通义效率”里的“实时记录”功能很好地满足了以上需求。


活动前,打开“实时记录”,选择“音频语言”和是否需要翻译,开听。



在测试过程中,虽然生成会有一点滞后,但不算严重。


通义的界面对于阅读也很友善,两种语言并排显示,可以先看到源语言的转录,随后翻译跟上。语音分段时,分段文稿读起来也比较舒服。



在听的过程中,用户也可以在右边的笔记区实时记录,甚至还提供了“时间戳”功能,结束后要回头找详细信息也更容易定位。


活动结束后,在完整文稿的基础上,通义还会自动提取内容关键词、撰写概要、章节预览和内容要点。


唯一限制,就是这个功能只有电脑网页端有,手机端的通义并没有。


2. 手机端


如果你只方便带手机,那我们可以用飞书的“妙记”,正好飞书的妙记录音功能也只有手机有,电脑端无。


妙记可以实时录音并对文字进行转录,但在手机这个更小的屏幕上,用户只能选择一种语言——要么显示源语言,要不就显示翻译成果。



和显示源语言相比,显示翻译后语言的速度会稍微慢些。



妙记更像是一个单纯的速记工具,用户没有空间去做笔记或备注,录音结束成稿后也没有摘要章节等自动总结,但它就是可以直接在手机上用。


四、播客



近几年来,海外科技圈做播客的人越来越多,播客也成为了我们获取信息的一个重要途径。


1. 善用原有文稿


非常幸运地,“Lex Fridman Podcast”“All-In Podcast”等对话型播客除了可以在播客应用收听外,也可以在 YouTube 上观看。



如果你是“看视频播客”的话,可以前面的指南开“沉浸式翻译”或者用 NoteGPT 或 Glasp 来做总结文稿。


而“Hard Fork”和“Pivot”这类由媒体打造的音频播客,通常会在其媒体主页上提供转录文字稿,因此要细看也没问题。


2. Apple Podcast 转录


如果你想听的播客,暂时没能找到文稿或视频,那还是可以试试通义效率里的“播客链接转写”功能。


据测试,Apple Podcast 的节目链接放进去可以识别成功,小宇宙和 Spotity 的链接则无法解析。



成功解析链接后,界面呈现同样也会以全文稿、概要、章节速览等部分组成,并提供了用户自己做笔记的部分。



3. “播客笔记”


在播客界,Snipd 算是比较有差异性的。


Snipd 不仅可以搜到大部分主流播客,同时也支持从你手机中的 Apple Podcast、Castro、Google Podcast 等专门的播客应用中导入你原本就已经在订阅的节目。


Snipd 虽然没有翻译功能,但它可就播客在手机端生成完整文稿(并实时滚动)、内容总结以及分章节。



它最大的特色在于甚至可以做“播客笔记”:在听的过程中,选择“create snip”,就可以就当前段内容生成 AI 总结,并附上相关转录文稿,支持以图片、视频、链接等方式分享到社交媒体或者是笔记软件。



不过,这些 AI 功能都是付费用户才能用——连续订阅的价格是 15 元/月,单月订阅则是 35 元/月。


完整产品传送门:

沉浸式翻译:https://immersivetranslate.com/

彩云小译:https://fanyi.caiyunapp.com/#/web

NoteGPT:https://notegpt.io/

NoteGPT 文章摘要 ChatGPT 生成:https://chromewebstore.google.com/detail/llkgpihjneoghmffllamjfhabmmcddfh

Glasp:https://glasp.co/

通义效率:https://tingwu.aliyun.com/

飞书妙记:https://www.feishu.cn/product/minutes

Snipd:https://www.snipd.com/

Perplexity:https://www.perplexity.ai/

Kimi:https://kimi.moonshot.cn/


本文来自微信公众号:APPSO(ID:appsolution),作者:方嘉文