Ruby 搞了一个专门用来学习 Ruby 和 Rails 的 GPT: RubyChat

ccok · 2023年04月18日 · 最后由 ccok 回复于 2023年05月11日 · 1682 次阅读

做了一个专门用于学习 Ruby 和 Ruby on Rails 的 ChatGPT: RubyChat,内容来自于我们之前录制的所有视频,整理出的文字大概有 160 万字,可以回答 Ruby 和 Rails 相关的问题,还在完善中

开发思路:

  1. 把蛋人网所有的视频使用 ffmpeg 转出音频
  2. 使用 whisper 再转为文本
  3. 使用 ChatGPT 的修正语法和文本
  4. 切分文本为小的 chunk
  5. 使用 embedding 接口来生成向量
  6. 导入 weaviate 数据库
  7. 根据问题生成向量,再搜索 weaviate,发送匹配内容到 ChatGPT,生成摘要返回客户端

目前发现的问题主要是在提取音频时因为术语太多(还有发音问题),在转文字时会有问题,比如 username 在对话中会显示成 user name 等等,以及变量和方法名称有大小写和拼写错误等问题

地址:https://www.343cloud.com/rubychat

啥都叫 GPT?

不用 pg vector,用 weaviate 的考量能谈谈吗?

zzz6519003 回复

基于 GPT 模型

嗯,其他一些 vector database, pinecone, redis vector,楼主比较过么? 还是说看见 weaviate 就用了?(weaviate 是开源免费可以装在本地么?还是 cloud 付费?)

femto 回复

没研究过,拿来就用了,单纯是因为 weaviate 是基于 go 开发的,这些年一直在用 go,看着亲切,再加上 openai cookbook 有推荐和文档。weaviate 可以云端也可以独立部署,开源的

需要 登录 后方可回复, 如果你还没有账号请 注册新账号