Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

问题反馈:最后一段缺失+长视频下载失败+使用体验 #32

Open
featherwit001 opened this issue Nov 27, 2024 · 2 comments
Labels
bug Something isn't working enhancement New feature or request

Comments

@featherwit001
Copy link

featherwit001 commented Nov 27, 2024

  1. 音频最后一小段缺失,没有输出到outputs的文本文件中。不确定是切分音频最后一段掉了,还是whisper出结果最后一段没输出,这个是恶性bug。
  2. 比较直接用whisper转文字,和使用bili2text的结果:从准确度上看,直接转不切分更好;从格式上看,bili2text更好,句读清晰;从耗时上看,1h16min的视频,同样设备,直接用whisper耗时39min左右,bili2text切分后转文字,耗时没有明显降低,我的体感甚至是更耗时了。
  3. 如果非要切分,我的思路是使用ffmpeg的识别音频静默点切分,避免破句,给文字识别造成不必要的困难。
  4. 这不是一个开盒即用的产品。作为用户,我之前没有任何AI方向的经验,环境安装耗时5h,反反复复,各种问题层出不穷,最后磕磕绊绊才完成,效果很惊喜,但也就意味着这只能给有CS背景的人使用,用户群体骤然缩小。如果可以的话,可以优化一下安装功能,把一些必要的文件都打包进去,安装自动配置环境,如果暂时做不到,短期内至少给出明确的版本要求,例如驱动版本,cuda版本,pytorch版本等等。
  5. UI交互,卡顿很明显,有种单线程的美,这里优化好了,体验可以涨很多。
  6. 最后,感谢付出,省了我很大功夫,非常有用!!!上面的得要求都是我使用的时候踩的坑,希望这个项目顺利发展。
@featherwit001 featherwit001 changed the title 问题反馈: 问题反馈:最后一段缺失+使用体验 Nov 27, 2024
@featherwit001
Copy link
Author

featherwit001 commented Nov 30, 2024

在较短视频,1h30min,大小60M,能够正常下载,提取的情况下,长视频2h,大小390M下载失败。失败案例,BV1wNUkYnEH4,本地尝试3次,每次都报同样的错误。

bug 复现:

激活conda环境后输入python main.py
输入BV号,BV1wNUkYnEH4
显示下载进度,到13%,73% ,76%都发生错误。

报错信息如下:

发生错误: ('Connection broken: IncompleteRead(314215918 bytes read, 96323721 more expected)', IncompleteRead(314215918 bytes read, 96323721 more expected))
Traceback (most recent call last):
File "E:\Projects\bili2text\main.py", line 9, in
foldername = run_split(filename)
File "E:\Projects\bili2text\exAudio.py", line 47, in run_split
flv_mp3(name, target_name=folder_name)
File "E:\Projects\bili2text\exAudio.py", line 8, in flv_mp3
clip = VideoFileClip(f'{folder}/{name}.mp4')
File "D:\Tools\Miniconda\Miniconda3_py39\envs\py10\lib\site-packages\moviepy\video\io\VideoFileClip.py", line 88, in init
self.reader = FFMPEG_VideoReader(filename, pix_fmt=pix_fmt,
File "D:\Tools\Miniconda\Miniconda3_py39\envs\py10\lib\site-packages\moviepy\video\io\ffmpeg_reader.py", line 35, in init
infos = ffmpeg_parse_infos(filename, print_infos, check_duration,
File "D:\Tools\Miniconda\Miniconda3_py39\envs\py10\lib\site-packages\moviepy\video\io\ffmpeg_reader.py", line 270, in ffmpeg_parse_infos
raise IOError(("MoviePy error: the file %s could not be found!\n"
OSError: MoviePy error: the file bilibili_video/None.mp4 could not be found!
Please check that you entered the correct path.

@featherwit001 featherwit001 changed the title 问题反馈:最后一段缺失+使用体验 问题反馈:最后一段缺失+长视频下载失败+使用体验 Nov 30, 2024
@lanbinleo lanbinleo added bug Something isn't working enhancement New feature or request labels Dec 13, 2024
@lanbinleo
Copy link
Collaborator

很高兴可以帮到你!感谢支持!

  1. 音频确实问题这个是我没有测试出来的,我可能后期再测试一下;
  2. 音频切分主要不是因为耗时,我最开始做切分功能是因为看到了一篇研究说Whisper这样的模型(在去年刚开始开发的时候)转换长音频会出很多错误,于是就把每一个音频都裁断了再转换。不过这个功能可能如今已经不需要了(?),我会再做测试滴。
  3. 这个点子很好!确实应该从静音的地方开始切割,考虑会在后面的版本支持
  4. 这一点已经在考虑的范围内了,因为之前有计划过加上自动安装做成一个整合包,后来是因为考虑到有人会用这个项目洗稿搬运视频,所以给这个项目加上了一点使用门槛;不过这两年这类的项目越来越多,小程序都有好多这种程序,但是转换要充VIP,动辄都是几十几百块,所以这个项目后续肯定会加上低门槛整合包的。这个项目最初就是帮助我将视频内容转换成文字,放进我的第二大脑知识库,让这种新兴的信息渠道不会因为记忆力下降而忘记。感谢重新提醒!大家的使用反馈是我改进的动力!
  5. 最开始做UI的时候没想到这么多人用,就随便糊了一个,算是背上了技术债吧,不过确实,现在这么多人在使用也应该好好优化一下UI了。

最后关于你的报错,很多代码当时都是选择了最快的开发路径,有些代码我现在都不知道当时为什么要这么写😂。后续计划会重构这些代码的,谢谢!

祝好!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

2 participants