siwei_ai/app/services/chat_service.py

import ollama
import psycopg2
import json
import uuid
import datetime
from llm_model.query import query
from psycopg2.extras import DictCursor
import pandas as pd
import time
from app.utils.pinyin_utils import replace_word
from app.common.word import target_word
from app.common.res import res_success, res_error
from app.utils.log_utils import logger
import re
from markdownify import markdownify


# read_csv = pd.read_csv("E:\\siwei_ai\\poi.csv")
# first_column = read_csv.iloc[:, 0]
# poi_list = first_column.tolist()
# # 将每个 POI 用双引号包裹，并用逗号拼接
# poi_str = ",".join(f'"{poi}"' for poi in poi_list)

# # 保存为 TXT 文件
# with open("E:\\siwei_ai\\poi_list.txt", "w", encoding="utf-8") as file:
#     file.write(poi_str)

# print("POI 列表已保存至 poi_list.txt（逗号分隔）")


chat_history = "用户：你好，我是智能助手，请问有什么可以帮助您？\\n智能助手：好的，请问您有什么需求？"
sys_xuanzhi = """请扮演文本提取工具,根据输入和聊天上下文信息,基于以下行政区划、选址点名称、因子选择和用地类型提取这句话中的关键信息，用户没有提及到行政区划和选址点名称则返回空值。提取到的结果请严格以json格式输出并保障寄送格式正确无误，
行政区划 = ['抱坡区','天涯区','崖州区','海棠区','吉阳区' ]
选址点名称 = ['南新中学宿舍',"三亚市人民医院-2号综合楼","三亚蜈支洲岛度假中心-医务所","润春堂药店","长春堂药店(荔枝沟路店)" ],
因子选择 = ["高程","坡度","永久基本农田","城镇开发边界内","生态保护红线","文化保护区","自然保护地","风景名胜区","国有使用权","河道管理线","水库","公益林","火葬场","垃圾处理场","污水处理场","高压线","变电站","古树","城市道路","主要出入口","文化活动设施","体育运动场所","排水","供水","燃气","电力","电信","十五分钟社区生活圈邻里中心","社区服务设施","零售商业场所","医疗卫生设施","幼儿园服务半径","小学服务半径","为老服务设施"],
用地类型 = ['园地','耕地','林地','草地','湿地','公共卫生用地','老年人社会福利用地','儿童社会福利用地','残疾人社会福利用地','其他社会福利用地','零售商业用地','批发市场用地','餐饮用地','旅馆用地','公用设施营业网点用地','娱乐用地','康体用地','一类工业用地','二类工业用地','广播电视设施用地','环卫用地','消防用地','干渠','水工设施用地','其他公用设施用地','公园绿地','防护绿地','广场用地','军事设施用地','使领馆用地','宗教用地','文物古迹用地','监教场所用地','殡葬用地','其他特殊用地','河流水面','湖泊水面','水库水面','坑塘水面','沟渠','冰川及常年积雪','渔业基础设施用海','增养殖用海','捕捞海域','工业用海','盐田用海','固体矿产用海','油气用海','可再生能源用海','海底电缆管道用海','港口用海','农业设施建设用地','工矿用地','畜禽养殖设施建设用地','水产养殖设施建设用地','城镇住宅用地','特殊用地','居住用地','绿地与开敞空间用地','水田','水浇地','旱地','果园','茶园','橡胶园','其他园地','乔木林地','竹林地','城镇社区服务设施用地','农村宅基地','农村社区服务设施用地','机关团体用地','科研用地','文化用地','教育用地','体育用地','医疗卫生用地','社会福利用地','商业用地','商务金融用地','二类农村宅基地','图书与展览用地','文化活动用地','高等教育用地','中等职业教育用地','体育训练用地','其他交通设施用地','供水用地','排水用地','供电用地','供燃气用地','供热用地','通信用地','邮政用地','医院用地','基层医疗卫生设施用地','田间道','盐碱地','沙地','裸土地','裸岩石砾地','村道用地','村庄内部道路用地','公共管理与公共服务用地','仓储用地','交通运输用地','公用设施用地','交通运输用海','航运用海','路桥隧道用海','风景旅游用海','文体休闲娱乐用海','军事用海','其他特殊用海','空闲地','田坎','港口码头用地','管道运输用地','城市轨道交通用地','城镇道路用地','交通场站用地','一类城镇住宅用地','二类城镇住宅用地','三类城镇住宅用地','一类农村宅基地','商业服务业用地','三类工业用地','一类物流仓储用地','二类物流仓储用地','三类物流仓储用地','盐田','对外交通场站用地','公共交通场站用地','社会停车场用地','中小学用地','幼儿园用地','其他教育用地','体育场馆用地','灌木林地','其他林地','天然牧草地','人工牧草地','其他草地','森林沼泽','灌丛沼泽','沼泽草地','其他沼泽地','沿海滩涂','内陆滩涂','红树林地','乡村道路用地','种植设施建设用地','娱乐康体用地','其他商业服务业用地','工业用地','采矿用地','物流仓储用地','储备库用地','铁路用地','公路用地','机场用地'],

landType是用地类型
districtName是行政区划
poi是选址点名称
area是用地面积，单位为亩，min是最小面积，max是最大面积,
factors是因子选择
buffer是缓冲距离，单位为米
其他公里、千米的单位转换为米
输出json格式数据如下：
{
    "districtName": "",
    "poi":"", 
    "buffer":30,
    "landType": "居住用地",
    "area": {
        "min": 10,
        "max": 100
    },
    "factors": [
        {
            "type": "医疗卫生设施",
            "condition": "lt",
            "value": "500"
        },
        {
            "type": "永久基本农田",
            "condition": "not_intersect"
        },
        {
            "type": "火葬场",
            "condition": "gt",
            "value": "1000"
        }，
        {
            "type": "幼儿园服务半径",
            "condition": "lt",
            "value": "1000"
        }，
        {
            "type": "小学服务半径",
            "condition": "lt",
            "value": "1000"
        }，
    ]
}
json中"condition"的值为"gt"、"lt"、"get"、"let"、"between","not_intersect"、"intersect"、"not_contain"、"contain"、"between"
"""
sys_question = """请扮演问答工具,对用户输入信息进行回答，请严格以markdown格式输出并保障寄送格式正确无误"""

# 连接数据库
conn = psycopg2.connect(
    dbname="real3d",
    user="postgres",
    password="postgis",
    # host="192.168.100.30",
    host="192.168.60.2",
    port="5432"
)

# 清除聊天记录


def clear_chat_history():
    global chat_history
    chat_history = ""
    return chat_history

def extract_json(text):
    json_marker = "```json"
    start_pos = text.find(json_marker)
    if start_pos == -1:
        return None
    
    # 从```json后面开始找JSON内容
    json_start = text.find('{', start_pos + len(json_marker))
    if json_start == -1:
        return None
        
    end_marker = "```"
    end_pos = text.find(end_marker, json_start)
    if end_pos == -1:
        json_end = text.rfind('}', json_start)
    else:
        json_end = text.rfind('}', json_start, end_pos)
    
    if json_end == -1:
        return None
        
    # 提取JSON字符串并打印出来看看内容
    json_str = text[json_start:json_end + 1]
    print("提取的JSON字符串：")
    print(json_str)
    json_str = json_str.replace("\xa0", " ")
    print(json_str)
    try:
        return json.loads(json_str)
    except json.JSONDecodeError as e:
        print("JSON解析错误:", e)
        # 打印出错误位置附近的内容
        error_pos = e.pos
        print("错误位置附近的内容:")
        print(json_str[max(0, error_pos-20):min(len(json_str), error_pos+20)])
        return None


def create_chat(msg, type_ai):
    # msg = data['msg']

    # type = data['type']
    if type_ai == 'selectLand':
        # 同音字替换
        msg = replace_word(msg, target_word)
        words_to_replace1 = ["爆破", "爆坡", "鲍坡"]
        for word in words_to_replace1:
            msg = msg.replace(word, "抱坡")
        print(msg)

        # 调用大模型解析
        # 这里调用大模型，并返回解析结果
        start = time.time()
        res = update_chat_history(msg)
        print(res)  # 打印生成的回复
        end = time.time()
        print("解析时间：", end - start)
        # 解析结果返回给前端

        # 未找到相关数据提示
        prompt = "根据提供的信息，您的表述不够清晰明确，为更好的达到您的选址需求，请重新描述您的选址条件。"
        addtress = ['抱坡区', '天涯区', '崖州区', '海棠区', '吉阳区']
        poi_list = ['南新中学宿舍', '三亚市人民医院-2号综合楼', '三亚蜈支洲岛度假中心-医务所', '润春堂药店', '长春堂药店(荔枝沟路店)']
        land = ['园地', '耕地', '林地', '草地', '湿地', '公共卫生用地', '老年人社会福利用地', '儿童社会福利用地', '残疾人社会福利用地', '其他社会福利用地', '零售商业用地', '批发市场用地', '餐饮用地', '旅馆用地', '公用设施营业网点用地', '娱乐用地', '康体用地', '一类工业用地', '二类工业用地', '广播电视设施用地', '环卫用地', '消防用地', '干渠', '水工设施用地', '其他公用设施用地', '公园绿地', '防护绿地', '广场用地', '军事设施用地', '使领馆用地', '宗教用地', '文物古迹用地', '监教场所用地', '殡葬用地', '其他特殊用地', '河流水面', '湖泊水面', '水库水面', '坑塘水面', '沟渠', '冰川及常年积雪', '渔业基础设施用海', '增养殖用海', '捕捞海域', '工业用海', '盐田用海', '固体矿产用海', '油气用海', '可再生能源用海', '海底电缆管道用海', '港口用海', '农业设施建设用地', '工矿用地', '畜禽养殖设施建设用地', '水产养殖设施建设用地', '城镇住宅用地', '特殊用地', '居住用地', '绿地与开敞空间用地', '水田', '水浇地', '旱地', '果园', '茶园', '橡胶园', '其他园地', '乔木林地', '竹林地', '城镇社区服务设施用地', '农村宅基地', '农村社区服务设施用地', '机关团体用地', '科研用地', '文化用地', '教育用地', '体育用地', '医疗卫生用地', '社会福利用地', '商业用地', '商务金融用地', '二类农村宅基地', '图书与展览用地',
                '文化活动用地', '高等教育用地', '中等职业教育用地', '体育训练用地', '其他交通设施用地', '供水用地', '排水用地', '供电用地', '供燃气用地', '供热用地', '通信用地', '邮政用地', '医院用地', '基层医疗卫生设施用地', '田间道', '盐碱地', '沙地', '裸土地', '裸岩石砾地', '村道用地', '村庄内部道路用地', '公共管理与公共服务用地', '仓储用地', '交通运输用地', '公用设施用地', '交通运输用海', '航运用海', '路桥隧道用海', '风景旅游用海', '文体休闲娱乐用海', '军事用海', '其他特殊用海', '空闲地', '田坎', '港口码头用地', '管道运输用地', '城市轨道交通用地', '城镇道路用地', '交通场站用地', '一类城镇住宅用地', '二类城镇住宅用地', '三类城镇住宅用地', '一类农村宅基地', '商业服务业用地', '三类工业用地', '一类物流仓储用地', '二类物流仓储用地', '三类物流仓储用地', '盐田', '对外交通场站用地', '公共交通场站用地', '社会停车场用地', '中小学用地', '幼儿园用地', '其他教育用地', '体育场馆用地', '灌木林地', '其他林地', '天然牧草地', '人工牧草地', '其他草地', '森林沼泽', '灌丛沼泽', '沼泽草地', '其他沼泽地', '沿海滩涂', '内陆滩涂', '红树林地', '乡村道路用地', '种植设施建设用地', '娱乐康体用地', '其他商业服务业用地', '工业用地', '采矿用地', '物流仓储用地', '储备库用地', '铁路用地', '公路用地', '机场用地']
        # json_res = res.replace("json", "")
        # json_res = json_res.replace("```", "")

        # 使用正则表达式提取<think>标签之间的内容
        match = re.search(r'<think>(.*?)</think>', res, re.DOTALL)

        if match:
            think_content = match.group(1)
            think_content = think_content.replace("\n", "")
            think_content = markdownify(think_content)  # 转换为 Markdown
            # print(think_content)
        else:
            print("没有找到<think>标签内容。")

        # 使用这个函数处理你的json_res
        json_res = extract_json(res)
        print(json_res)  # 打印生成的回复

        # if json_data:
        #     districtName = json_data["districtName"]
        # else:
        #     print("无法提取有效的JSON数据")

        if json_res != "未找到相关数据":
            # try:
            print(type(json_res))  # 检查 json_res 的类型

            districtName = json_res["districtName"]
            landType = json_res["landType"]
            poi = json_res["poi"]
            # if landType != "未找到相关数据" and landType != "" and districtName  != "未找到相关数据"and districtName != "":

            if landType in land and( districtName in addtress or poi in poi_list):
                json_res = jsonResToDict(json_res, poi, think_content)
                # print(json_res)
            else:
                json_res = prompt
                json_res = res_error(json_res, "selectLand", "error1")
            #  except:
            #     json_res = prompt
            #     json_res = res_error(json_res, "selectLand", "error2")
        else:
            json_res = prompt
            json_res = res_error(json_res, "selectLand", "error3")
        return json_res
    elif type_ai == 'answer':
        # json_res = route_query(msg)
        # json_res = jsonResToDict_questions(json_res)
        # print(json_res)  # 打印生成的回复

        json_res = update_chat_history_simple(msg)
        json_res = res_success(json_res, "answer", "success")
        print(json_res)  # 打印生成的回复
        return json_res


# 智能选址


def update_chat_history(user_message):
    global chat_history  # 使用全局变量以便更新
    prompt = chat_history + "\\n用户：" + user_message

    # 生成回复，并加入聊天上下文
    res = ollama.generate(
        # model="qwen2.5:3b",
        model="deepseek-r1:7b",
        stream=False,
        system=sys_xuanzhi,
        prompt=prompt,
        options={"temperature": 0, "num_ctx": 32000, },
        keep_alive=-1
    )

    # 获取机器人回复
    bot_message = res["response"]

    # 更新聊天历史
    # chat_history += "\\n智能助手：" + bot_message

    # 返回机器人的回复
    return bot_message

# 将大模型解析的结果转换为选址需要的数据格式


def jsonResToDict(json_res, poi,think_content):
    # 1.查询选址范围信息
    # 位置点为空，利用行政区划选址
    if poi == "":
        print("位置点为空，利用行政区划选址")
        ewkt = getAiDistrict(json_res["districtName"])
    # 位置点不为空，利用位置点选址
    else:
        ewkt = getPoiArea(json_res["poi"],json_res["buffer"])
        print("位置点不为空，利用位置点选址")

    # 2.保存选址范围信息
    geomId = saveGeom(ewkt)
    # 3.获取用地类型信息
    landType = json_res["landType"]
    landType = getLandType(landType, "YDYHFLDM")
    # 4.获取模板信息
    factorTemplates = getTemplateByCode(landType)

    # TODO 以哪个因子列表为准，模版和因子个数怎么匹配

    now = datetime.datetime.now()
    formatted_time = now.strftime("%Y%m%d%H%M%S")
    res = {
        "xzmj": 1500,
        "xmmc": "规划选址项目_"+formatted_time,
        "jsdw": "建设单位",
        "ydxz_bsm": landType,
        "ydmjbegin": json_res["area"]["min"],
        "ydmjend":  json_res["area"]["max"],
        "geomId": geomId,
        "yxyz": [],
        # TODO: 循环遍历
        # "yxyz": [
        #     {
        #         "id": "259e5bbaab434dbfb9c679bd44d4bfa4",
        #         "name": "幼儿园服务半径",
        #         "bsm": "TB_YEY",
        #         "conditionInfo": {
        #             "spatial_type": "distance",
        #             "default": "lt",
        #             "hasValue": true,
        #             "defaultValue": "300",
        #             "unit": "米",
        #             "clip": false
        #         }
        #     }
        # ],
        # "useMultiple": json_res["useMultiple"],
        "useLandType": True,
        # "multipleDistance": json_res["multipleDistance"]
    }
    # 循环遍历输入因子
    factors = json_res["factors"]
    input_factors = {}
    for factor in factors:
        factorInfo = getFactorByName(factor["type"])
        if factorInfo == None:
            continue
        factorId = factorInfo["id"]
        factorBsm = factorInfo["bsm"]
        conditionInfo = factorInfo["condition_info"]
        conditionObj = json.loads(conditionInfo)

        defaultValue = '0'
        default = 'lt'
        if "value" in factor:
            defaultValue = str(factor["value"])
        if "condition" in factor:
            default = factor["condition"]
        # if defaultValue == '':
        #     defaultValue = '0'

        factor_info = {
            "id": factorId,
            "name": factor["type"],
            "bsm": factorBsm,
            "conditionInfo": {
                "spatial_type": conditionObj["spatial_type"],
                "default": default,
                "hasValue": conditionObj["hasValue"],
                "defaultValue": defaultValue,
                "unit": conditionObj["unit"],
                "clip": conditionObj["clip"]
            }
        }
        input_factors[factor_info["id"]] = factor_info
    # 循环遍历模板
    # 记录已经添加的因子 ID
    added_factor_ids = set()

    # 首先处理模板
    for factorTemplate in factorTemplates:
        factorId = factorTemplate["id"]
        factorTemplate["conditionInfo"] = json.loads(
            factorTemplate["conditionInfo"])
        res["yxyz"].append(factorTemplate)
        added_factor_ids.add(factorId)  # 记录已添加的因子 ID

    # 然后检查 input_factors 并添加未在模板中的因子
    for factor_id, factor_info in input_factors.items():
        if factor_id not in added_factor_ids:
            res["yxyz"].append(factor_info)

    resObj = {}
    resObj["data"] = res
    resObj["code"] = 200
    resObj["think"] = think_content
    resObj["type"] = "selectLand"

    return resObj

# 获取因子信息


def getFactorByName(name):
    with conn.cursor(cursor_factory=DictCursor) as cur:
        sql = "SELECT * FROM base.t_fzss_fzxz_factor WHERE name = %s"
        complete_sql = cur.mogrify(sql, (name,)).decode('utf-8')
        logger.info(f"Executing SQL: {complete_sql}")
        cur.execute(sql, (name,))
        res = cur.fetchone()
    return res

# 获取选址范围信息


def getAiDistrict(name):
    with conn.cursor(cursor_factory=DictCursor) as cur:
        sql = "SELECT public.st_asewkt(geom) as geom FROM base.t_fzss_fzxz_ai_district WHERE name = %s"
        complete_sql = cur.mogrify(sql, (name,)).decode('utf-8')
        logger.info(f"Executing SQL: {complete_sql}")
        cur.execute(sql, (name,))
        res = cur.fetchone()
    return res["geom"]

# 获取位置点信息区域


def getPoiArea(name, buffer):
    with conn.cursor(cursor_factory=DictCursor) as cur:
        # SQL query with LIKE and buffer
        sql = """
        SELECT public.st_asewkt(public.st_buffer(geom::public.geography, %s)) as geom 
        FROM vector.poi 
        WHERE name LIKE %s
        """
        # Use % for LIKE query, adding % around the name parameter
        like_name = f"%{name}%"
        
        # Format the query
        complete_sql = cur.mogrify(sql, (buffer, like_name)).decode('utf-8')
        logger.info(f"Executing SQL: {complete_sql}")
        
        # Execute the query
        cur.execute(sql, (buffer, like_name))
        res = cur.fetchone()
    return res["geom"]

# 保存选址范围信息


def saveGeom(ewkt):
    new_uuid = str(uuid.uuid4())  # 生成一个新的 UUID
    from_type = 3
    with conn.cursor() as cur:
        sql = "INSERT INTO base.t_fzss_zhxz_file(id,geom,from_type,create_time,area) VALUES (%s,public.st_geomfromewkt(%s),%s,now(),public.st_area(public.st_geomfromewkt(%s)::public.geography))"
        complete_sql = cur.mogrify(
            sql, (new_uuid, ewkt, from_type, ewkt)).decode('utf-8')
        logger.info(f"Executing SQL: {complete_sql}")
        cur.execute(sql, (new_uuid, ewkt, from_type, ewkt))
        conn.commit()
    return new_uuid

# 获取用地类型信息


def getLandType(landName, fzbs):
    with conn.cursor(cursor_factory=DictCursor) as cur:
        sql = "SELECT dm,mc,fzbs FROM base.t_fzss_fzxz_dict WHERE mc = %s and fzbs=%s"
        complete_sql = cur.mogrify(sql, (landName, fzbs)).decode('utf-8')
        logger.info(f"Executing SQL: {complete_sql}")
        cur.execute(sql, (landName, fzbs))
        res = cur.fetchone()
    return res["dm"]

# 获取内置模板信息


def getTemplateByCode(code):
    with conn.cursor(cursor_factory=DictCursor) as cur:
        sql = 'SELECT factor_id as id,factor_name as name,factor_bsm as bsm,condition_info as "conditionInfo" FROM base.t_fzss_fzxz_factor_temp WHERE land_type_code = %s'
        complete_sql = cur.mogrify(sql, (code,)).decode('utf-8')
        logger.info(f"Executing SQL: {complete_sql}")
        cur.execute(sql, (code,))
        res = cur.fetchall()
        # 将查询结果转换为字典列表
        result_list = [dict(row) for row in res]
    return result_list

# 简单知识问答，未关联本地知识库


def update_chat_history_simple(user_message):
    global chat_history  # 使用全局变量以便更新
    prompt = chat_history + "\\n用户：" + user_message

    # 生成回复，并加入聊天上下文
    res = ollama.generate(
        model="deepseek-r1:1.5b",
        stream=False,
        system=sys_question,
        prompt=prompt,
        options={"temperature": 0, "num_ctx": 32000, },
        keep_alive=-1
    )

    # 获取机器人回复
    bot_message = res["response"] + "感谢您的提问，四维智能助手将竭诚为您解答。"

    # 更新聊天历史
    chat_history += "\\n智能助手：" + bot_message

    # 返回机器人的回复
    return bot_message


def route_query(msg):
    response = query(msg)
    # print(response)
    # if response:
    #     resObj = {}
    #     resObj["data"] = response
    #     resObj["code"] = 200
    #     resObj["type"] = "answer"
    #     return resObj
    # return {"error": "Something went wrong"}, 400
    return response