milvus语义搜索方式的大bug：milvus的整型id用了milvusClient.insert()方法之后，返回的id是字符串类型的，中间存在精度损失，导致mongo与milvus之间数据对应关系错误

[ENg-122]

例行检查

• [√] 我已确认目前没有类似 issue
• [√] 我已完整查看过项目 README，以及项目文档
• [√] 我使用了自己的 key，并确认我的 key 是可正常使用的
• [√] 我理解并愿意跟进此 issue，协助测试和提供反馈
• 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

你的版本

• 公有云版本
• 私有部署版本, 具体版本号:

问题描述, 日志截图

init = async () => {
const client = await this.getClient();

// init db(zilliz cloud will error)
try {
  const { db_names } = await client.listDatabases();

  if (!db_names.includes(DatasetVectorDbName)) {
    await client.createDatabase({
      db_name: DatasetVectorDbName
    });
  }

  await client.useDatabase({
    db_name: DatasetVectorDbName
  });
} catch (error) {}

// init collection and index
const { value: hasCollection } = await client.hasCollection({
  collection_name: DatasetVectorTableName
});
if (!hasCollection) {
  const result = await client.createCollection({
    collection_name: DatasetVectorTableName,
    description: 'Store dataset vector',
    enableDynamicField: true,
    fields: [
      {
        name: 'id',
        data_type: DataType.Int64,
        is_primary_key: true,
        autoID: true
      },
      {
        name: 'vector',
        data_type: DataType.FloatVector,
        dim: 1536
      },
      { name: 'teamId', data_type: DataType.VarChar, max_length: 64 },
      { name: 'datasetId', data_type: DataType.VarChar, max_length: 64 },
      { name: 'collectionId', data_type: DataType.VarChar, max_length: 64 },
      {
        name: 'createTime',
        data_type: DataType.Int64
      }
    ],

---

上述代码片段中，milvus的向量数据的id是int64类型的

insert = async (props: InsertVectorControllerProps): Promise<{ insertId: string }> => {
const client = await this.getClient();
const { teamId, datasetId, collectionId, vector, retry = 3 } = props;

try {
  const result = await client.insert({
    collection_name: DatasetVectorTableName,
    data: [
      {
        vector,
        teamId: String(teamId),
        datasetId: String(datasetId),
        collectionId: String(collectionId),
        createTime: Date.now()
      }
    ]
  });

  console.log("result1234", result)
  // console.log("result123456", result.IDs.str_id.data)

  const insertId = (() => {
    if ('int_id' in result.IDs) {
      return `${result.IDs.int_id.data?.[0]}`;
    }
    return `${result.IDs.str_id.data?.[0]}`;
  })();

  return {
    insertId: insertId
  };
} catch (error) {
  if (retry <= 0) {
    return Promise.reject(error);
  }
  await delay(500);
  return this.insert({
    ...props,
    retry: retry - 1
  });
}

};

上面这段代码中const result = await client.insert({这里的result结果是：
{
succ_index: [ 0 ],
err_index: [],
status: {
extra_info: {},
error_code: 'Success',
reason: '',
code: 0,
retriable: false,
detail: ''
},
IDs: { int_id: { data: [Array] }, id_field: 'int_id' },
acknowledged: false,
insert_cnt: '1',
delete_cnt: '0',
upsert_cnt: '0',
timestamp: '453151970661498903'
}
在这里面 IDs: { int_id: { data: [Array] }, id_field: 'int_id' },这个data是类似['453132573482114000']的。

问题是插入的数据可能是'453132573482114001',然后这个result里面的数据精度损失后四舍五入是这样的：'453132573482114000'。
以下尝试了几组数据：
[@LIN-99F1B266A15 milvus]$ node
Welcome to Node.js v20.14.0.
Type ".help" for more information.

aa = 453132573482114001
453132573482114000
aa = 453132573482114399
453132573482114370
aa = 453132573482113999
453132573482114000

这就导致原始文本与向量之间对应关系错误了
而且还会影响到向量搜索的代码，因为向量搜索的代码同样存在精度损失，导致搜索出来的id也不对

希望官方的分析下：pg大概率也存在这种问题。现在没出现应该是pg的数据规模还不够大。id的位数较小，不会存在精度损失

目前已经搞定的解决方法：
把milvus的id改为varchar，但是这样会导致以前训练好的数据失效，希望官方能够有更好的解决方法。

复现步骤
请不要直接使用自己的pnpm dev方式来复现，这样复现不出来，原因尚不明确。使用官方的镜像来复现可以，我们尝试了4.8.3-4.8.11的版本，一直都有这个问题。
另外：https://github.com/labring/FastGPT/issues/2836这个已经有人反馈过的数据id不一致的 同样属于这个问题，希望官方重视一下，不要用未复现来简单避开这个问题。

预期结果

相关截图

[c121914yu]

看起来是 milvus 返回有问题，之前一直用 zilliz，debug 看了，不会出现这个问题，在 int64 下，会返回一个字符串，而不是 number。下次再看看本地的 milvus

[c121914yu]

确实，本地是不会出现任何问题。

[c121914yu]

好像没啥解法，SDK 返回已经是精度缺失了。只能改主键类型，重新训练，或者 milvus sdk 可以修复这个问题。
milvus sdk 也有类似issue：milvus-io/milvus-sdk-node#226

至于 pg，因为从 1 递增，最大值可到 9007199254740992，相信 99.999% 人不会遇到该问题。

[ENg-122]

我看项目里用的这个sdk的版本是2.4.2 意思是用现在最新的2.4.9版本可以解决这个问题吗？

[ENg-122]

还有就是改主键类型为varchar的话要不要改别的 我看项目代码里面int64的时候设置了id是自增的autoID: true 换成varchar这个自增就没用了 会不会有啥影响

[c121914yu]

还有就是改主键类型为varchar的话要不要改别的 我看项目代码里面int64的时候设置了id是自增的autoID: true 换成varchar这个自增就没用了 会不会有啥影响

不会有啥影响，随机 ID 了

[c121914yu]

我看项目里用的这个sdk的版本是2.4.2 意思是用现在最新的2.4.9版本可以解决这个问题吗？

并不能，已经和他们提了，看看能不能解决，不能的话就换数据类型了。

[ENg-122]

好嘞 感谢感谢

[shanghaikid]

你可以在创建客户端的时候引用设置loaderOptions。 但是我不确定对你的程序会不会造成破坏性影响。

const longClient = new MilvusClient({
  address: IP,
  loaderOptions: { longs: Function },
});

这样会返回

 {
        json: { string: 'HGa', float: 0.020460665868316408, number: 15222 },
        id: Long { low: 1228037498, high: 1811489737, unsigned: false },
        varChar_array: [ 'Eesfo', 'apple', 'orange', 'O' ],
        int64: Long { low: 996449586, high: 800717565, unsigned: false }
      },
      {
        json: { string: 'orange', float: 0.43789397308881695, number: 4139 },
        id: Long { low: 1305978112, high: 1831617625, unsigned: false },
        varChar_array: [ 'apple', 'QP', 'orange', 'lB8' ],
        int64: Long { low: 897979946, high: 1652577907, unsigned: false }
      },
      {
        json: {},
        id: Long { low: 1527160501, high: 2047027582, unsigned: false },
        varChar_array: [ 'orange', 'T7K7oT', 'w', 'apple' ],
        int64: Long { low: 232075865, high: 1912830474, unsigned: false }
      }

然后你解析的时候需要用long.js或者bigInt解析。

https://github.com/milvus-io/milvus-sdk-node/blob/88c2ee009fbc5ff41d6a9b6a069758647ea80321/test/grpc/Insert.spec.ts#L18C7-L18C17

    const int64Data2 = queryInt64.data.map(d => d.int64);
    // console.log('int64Data', int64Data);
    // console.log('int64Data2', int64Data2);
    int64Data.forEach((item, i) => {
      expect(BigInt(item)).toEqual(BigInt(int64Data2[i]));
      expect(item).toEqual(int64Data2[i].toString());
    });

[RipperTs]

奇怪，我好像没有遇到这个问题呢，没有使用官方的镜像，自己重新build的
刚看了下mongo存储的ID并没有丢失精度