使用Spring AI对接Ollama搭建自己的智能问答网站

前言

已经是2024年的下半年了，AIGC的应用特别广泛，不仅好玩儿也很实用，之前有使用过RWKV做过一个智能问答网站，但那时Spring AI还不是很流行。

现在Spring AI已经比较成熟了，想体验一下Spring AI到底是啥样的，并且由于Open AI在国内的限制，看了看Spring AI所支持的模型，选择了可本地运行的Ollama模型。

开始

环境

在开始前需要确定开发环境，我的开发环境如下：

软件	版本
JDK	`17.0.11` 2024-04-16 LTS，下载地址
Maven	`3.8.8`，下载地址
IntelliJ IDEA	IntelliJ IDEA 2024.1.4 (Ultimate Edition)，下载地址
Ollama	`0.2.5`，下载地址

Ollama

参考Ollama全面指南：安装、使用与高级定制.

Windows安装步骤：

到Ollama下载页下载安装程序，执行安装程序，默认会安装到C:\Users\{Windows账户名}\AppData\Local\Programs\Ollama下。
如果不想下载的模型安装到C盘，可以通过设置OLLAMA_MODELS环境变量更改模型下载路径，我的变量值为E:\LM\ollama，设置好后记得重启Ollama。
安装完成后使用ollama -v查看是否安装成功，如果没有运行模型则输出信息大致如下：
1
2
Warning: could not connect to a running Ollama instance
Warning: client version is 0.2.5

运行一个模型：

可以到library | Ollama查看你的电脑适合的模型，这里我选择通义千问0.5b模型。

打开cmd，键入以下命令下载并运行模型：

1	ollama run qwen:0.5b

模型运行成功后等待输入，我们可以让它介绍一下自己，终端完整执行过程如下：

C:\Users\makun>ollama run qwen:0.5b
pulling manifest
pulling fad2a06e4cc7... 100% ▕████████████████████████████████████████████████████████▏ 394 MB
pulling 41c2cf8c272f... 100% ▕████████████████████████████████████████████████████████▏ 7.3 KB
pulling 1da0581fd4ce... 100% ▕████████████████████████████████████████████████████████▏  130 B
pulling f02dd72bb242... 100% ▕████████████████████████████████████████████████████████▏   59 B
pulling ea0a531a015b... 100% ▕████████████████████████████████████████████████████████▏  485 B
verifying sha256 digest
writing manifest
removing any unused layers
success
>>> 请介绍一下你自己
我是来自阿里云的大规模语言模型，我叫通义千问。作为一个AI助手，我的目标是帮助用户获取准确、有用的信息，解决他们的问题
和困惑。我会不断地学习新的知识和技能，不断提高自己的能力和效率，更好地服务于用户。

>>> Send a message (/? for help)

如果不想聊天，想关闭模型，输入聊天内容/bye即可，其他聊天命令可以使用/?进行查看。

其他说明：如果Ollama模型被其他程序启动了，没有关闭，再用其他程序调用Ollama模型的话，可能出现异常（没有响应），可以到Windows任务栏的隐藏图标托盘^处右键Ollama，Quit Ollama即可。

Spring AI

可以参考Spring AI - Spring 中文创建Spring AI项目。

创建步骤：

直接使用IDEA的Spring Initializr（即创建Project时的Spring Boot）引导，快速创建Spring AI项目。
1. 项目参数（按需参考）：
  参数名参数值
  Name spring-ai-demo
  Location ~\Desktop\temp\project-demo
  Language Java
  Type Maven
  Group cn.insectmk.demo
  Artifact spring-ai-demo
  Package Name cn.insectmk.demo.springaidemo
  JDK 17
  Java 17
  Packaging Jar
2. 项目依赖（按需参考）：
  Spring Boot：3.3.2
  Dependencies：Web - Spring Web、AI - Ollama

参数名	参数值
Name	spring-ai-demo
Location	~\Desktop\temp\project-demo
Language	Java
Type	Maven
Group	cn.insectmk.demo
Artifact	spring-ai-demo
Package Name	cn.insectmk.demo.springaidemo
JDK	17
Java	17
Packaging	Jar

参考Ollama聊天::Spring AI参考-Spring中文，编写@Controller类，案例代码如下：

package cn.insectmk.demo.springai.controller;

import org.springframework.ai.chat.messages.UserMessage;
import org.springframework.ai.chat.model.ChatResponse;
import org.springframework.ai.chat.prompt.Prompt;
import org.springframework.ai.ollama.OllamaChatModel;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;
import reactor.core.publisher.Flux;
import java.util.Map;

@RestController
public class ChatController {

    private final OllamaChatModel chatModel;

    @Autowired
    public ChatController(OllamaChatModel chatModel) {
        this.chatModel = chatModel;
    }

    @GetMapping("/ai/generate")
    public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        return Map.of("generation", chatModel.call(message));
    }

    @GetMapping("/ai/generateStream")
	public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
        Prompt prompt = new Prompt(new UserMessage(message));
        return chatModel.stream(prompt);
    }

}

编写src/main/resources/application.properties，加入以下内容配置Ollama模型的内容：
1
2
spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.model=qwen:0.5b