大模型的分类

• 自然语言处理模型(LLMs，Large Language Models)：基于深度学习的模型，旨在理解和生成人类语言，他们在通过大规模的文本数据的训练，能够执行多种自然语言处理（NLP）的任务，如专注于文本生成、理解、翻译等任务。
• 计算机视觉（CV）模型
• 语音模型
• 多模态模型：能够同时处理多种数据模态如文本、图像、音频、视频等的人工智能模型。

聊天机器人

前端通过Streamlist等框架实现简介易用的交互界面，后端通过Ollama等平台进行模型部署和管理，确保系统的高效性和可扩展性。

常见的搭建聊天机器人的方式有下面的三种：

• 使用无代码平台搭建
• 使用开源框架搭建
• 基于大语言模型的集成：适合大模型出来以后有更好的对话效果场景，目前企业纷纷采用的方式，不仅能保障适合数据隐私和安全性的要求，还可以实现高质量的对话体验。

为什么要有私有大模型

• 定制化和自主控制：允许高度定制和完全自主控制，灵活性更高，且不依赖外部网络，适合特定场景的需求
• 数据隐私和安全：确保敏感数据不离开内部网络，避免云服务可能带来的数据泄露风险，尤其适合有严格合规要求的行业
• 性能和延迟：减少数据传输的时间，提供低延迟和稳定的性能，适合需要实时响应的应用场景
• 成本控制：长期来看，本地部署可能比持续支付云服务费用更加经济，且允许根据需求灵活调整硬件资源

部署

前端界面：采用Streamlist

后端模型：采用Ollama的Qwen模型

模型调用：后端服务负责将用户输入的内容传递给Qwen模型，并获取模型生成的回复，然后将回复的内容返回给前端界面进行展示，确保对话的实时性和准确性

Ollama

Ollama官网地址

Docker安装Ollama

# 拉取镜像
docker pull ollama/ollama
# 命令行启动
docker run -d -v ollama:/root/.ollama -p 8899(服务器对外访问的端口):11434(镜像对外暴露的端口) --name ollama ollama/ollama
# 访问：http://119.96.30.46:8899即可

进入Ollama容器内部，验证安装完成

docker exec -it ollama bash
# 在容器内部的控制台输入：
ollama -h
输出如下：即表示安装成功🎉
root@22ddeec490a6:/# ollama -h
Large language model runner

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start Ollama
  create      Create a model
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  signin      Sign in to ollama.com
  signout     Sign out from ollama.com
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  launch      Launch the Ollama menu or an integration
  help        Help about any command

Flags:
  -h, --help         help for ollama
      --nowordwrap   Don't wrap words to the next line automatically
      --verbose      Show timings for response
  -v, --version      Show version information

Use "ollama [command] --help" for more information about a command.

在容器内部的终端使用Ollama，以下是 Ollama 使用常见的指令：

ollama serve         # 启动ollama
ollama create        # 从模型文件创建模型
ollama show          # 显示模型信息
ollama run           # 运行模型
ollama pull          # 从注册表中拉取模型
ollama push          # 将模型推送到注册表
ollama list          # 列出模型
ollama cp            # 复制模型
ollama rm            # 删除模型
ollama help          # 获取有关任何命令的帮助信息

搜索你想要的模型，模型库地址在这里，然后直接启动，例如：

# 模型不存在则进行拉取，如果存在则直接运行
ollama run deepseek-r1:latest
ollama run qwen2:7b

下载速度取决于你的带宽，下载完毕即可使用✌记得使用 control + D 退出聊天

Ollama的远程访问