Text-to-SQL 리더보드

[bongkyunSON]

Why ❓

현재 상황 :

현재 시스템에 객관적인 성능평가에 대한 평가나 지표가 부족

How 🤔

해결 방안 ✅:

• 객관적인 Text-to-SQL 리더보드를 활용해 점수 산출
• Discussions에 링크 업로드

What 🛠️

• Salesforce WikiSQL (2017)
• YALE Spider (2018)
• Alibaba BIRD (2023)

[ehddnr301]

@bongkyunSON 님 감사합니다!!

한 가지 궁금한 점이 있는데요!, 저희 프로젝트가 Text-to-SQL 리더보드에 참여할 수 있을지 확신이 서지 않습니다.

그 이유는 현재 저희 프로젝트가 DataHub에 상당히 의존적인 구조이기 때문입니다.
쿼리 생성을 위해서는 테이블 및 컬럼에 대한 description을 DataHub에서 불러와야 하는데,
단순히 자연어 input만 주어졌을 때도 제대로 작동할 수 있을지는 조금 더 검토 및 발전이 필요할 것 같습니다.

의견주신 현재 시스템에 객관적인 성능평가에 대한 평가나 지표가 부족 부분은 저도 작업을 하면서 계속 필요성을 느끼지만 어렵네요!! ㅠㅠ

[bongkyunSON]

@bongkyunSON 님 감사합니다!!

한 가지 궁금한 점이 있는데요!, 저희 프로젝트가 Text-to-SQL 리더보드에 참여할 수 있을지 확신이 서지 않습니다.

그 이유는 현재 저희 프로젝트가 DataHub에 상당히 의존적인 구조이기 때문입니다. 쿼리 생성을 위해서는 테이블 및 컬럼에 대한 description을 DataHub에서 불러와야 하는데, 단순히 자연어 input만 주어졌을 때도 제대로 작동할 수 있을지는 조금 더 검토 및 발전이 필요할 것 같습니다.

의견주신 현재 시스템에 객관적인 성능평가에 대한 평가나 지표가 부족 부분은 저도 작업을 하면서 계속 필요성을 느끼지만 어렵네요!! ㅠㅠ

@ehddnr301 의견에 동의합니다

당장 필요하기보다는, 해당 리더보드를 저희 입맛대로 사용할 수도 있을 것 같습니다.
예를 들어, 저희 데이터에서는 좋은 프롬프트일 수 있지만, 다른 데이터에서는 그렇지 않을 수 있습니다. 이런 것들을 평가하는 데에도 활용 가능하고, 그 외에도 다양한 용도로 사용할 수 있을 것 같아 보입니다.