Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

新的内存管理模块 #301

Merged
merged 31 commits into from
Jul 22, 2023
Merged

新的内存管理模块 #301

merged 31 commits into from
Jul 22, 2023

Conversation

fslongjin
Copy link
Member

@fslongjin fslongjin commented Jul 21, 2023

  实现了具有优秀架构设计的新的内存管理模块,对内核空间和用户空间的内存映射、分配、释放、管理等操作进行了封装,使得内核开发者可以更加方便地进行内存管理。

  内存管理模块主要由以下类型的组件组成:

  • 硬件抽象层(MemoryManagementArch) - 提供对具体处理器架构的抽象,使得内存管理模块可以在不同的处理器架构上运行
  • 页面映射器(PageMapper)- 提供对虚拟地址和物理地址的映射,以及页表的创建、填写、销毁、权限管理等操作。分为两种类型:内核页表映射器(KernelMapper)和用户页表映射器(位于具体的用户地址空间结构中)
  • 页面刷新器(PageFlusher) - 提供对页表的刷新操作(整表刷新、单页刷新、跨核心刷新)
  • 页帧分配器(FrameAllocator) - 提供对页帧的分配、释放、管理等操作。具体来说,包括BumpAllocator、BuddyAllocator
  • 小对象分配器 - 提供对小内存对象的分配、释放、管理等操作。指的是内核里面的SlabAllocator (SlabAllocator的实现目前还没有完成)
  • MMIO空间管理器 - 提供对MMIO地址空间的分配、管理操作。(目前这个模块待进一步重构)
  • 用户地址空间管理机制 - 提供对用户地址空间的管理。
    • VMA机制 - 提供对用户地址空间的管理,包括VMA的创建、销毁、权限管理等操作
    • 用户映射管理 - 与VMA机制共同作用,管理用户地址空间的映射
  • 系统调用层 - 提供对用户空间的内存管理系统调用,包括mmap、munmap、mprotect、mremap等
  • C接口兼容层 - 提供对原有的C代码的接口,是的C代码能够正常运行。

除上面的新增内容以外,其它的更改内容:

  • 新增二进制加载器,以及elf的解析器
  • 解决由于local_irq_save、local_irq_restore函数的汇编不规范导致影响栈行为的bug。
  • 解决local_irq_save未关中断的错误。
  • 修复sys_gettimeofday对timezone参数的处理的bug

fslongjin and others added 30 commits March 27, 2023 15:14
* 添加bump分配器

* 修改BumpAllocator的分配逻辑

* bugfix:bump分配器的分配逻辑修改

* 调整注释格式并删除无用操作
* 新版内存管理的Arch部分。(尚未完成x8664的初始化部分)

* 页表、页表项的抽象

* 将内存分配器移动到mm/allocator文件夹下
* new: PageMapper and PageFlush
* 添加bump分配器

* 修改BumpAllocator的分配逻辑

* bugfix:bump分配器的分配逻辑修改

* 调整注释格式并删除无用操作

* 初始化伙伴分配器

* 抽离共有方法,修改逻辑

* 格式化代码

* 完善初始化分配器的逻辑,如果内存足够大可能占用多个页来存储

* 完善分配器的分配释放逻辑

* 解决无法通过编译的问题

* 修复边界值带来的bug
* 新增kernel mapper,以及从multi boot2获取内存信息

* reformat
* 添加slab分配器
修改printk,使得kdebug等宏,不会进行堆内存分配。
* 新增VFS文档,以及修改文档配置 (#209)

* 1.新增vfs设计文档
2.修改文档版权标志为"2022-2023, DragonOS Community"
3.修改电脑版文档页面的宽度为90%

* layout.html末尾加空行

* 修正了FAT32判断逻辑,解决了文件系统为FAT12/16时系统无法正常启动的问题。 (#211)

* fix(fat): fix determination of fat type casue crash if fs is fat12/16

* refactor(fat): split BiosParameterBlock.validate() into BiosParameterBlockFAT32.validate() and BiosParameterBlockLegacy.validate()

* 调整“最大允许的簇号”的常量放置的位置。


* 增加x87FPU支持 (#212)

* remove `ret_from_syscall`
*修复ps2键盘驱动程序inode在进程fork的时候导致死锁的问题.
*更新: VFS每次拷贝文件描述符的时候,都会去调用inode的open函数



* 部分函数从返回值为Result<<>,i32>修改为Result<<>,SystemError> (#210)

* 将Result<<>,i32>替换为Result<<>,SystemError>
* bugfix: 显示双缓冲区初始化的时候,连续注册了两次Video Softirq的问题。



* 第一套键盘扫描码的状态机 (#216)

第一套键盘扫描码的状态机

* 将TTY与stdio进行连接,实现基本的stdio功能 (#217)

* 将stdio与tty接上

* Patch keyboard capslock alt (#219)

* keyboard-alt-capslock

* 解决键盘输入'%'字符的时候无法回显的bug



* Add dup,dup2 (#224)

* dup,dup2

* fix: sys_dup2语义与posix不一致的问题


* 添加了qemu使用VNC作为图像输出的选项 (#222)

* 添加了qemu使用VNC作为图像输出的选项

* 设置vnc端口为5900


* 软中断&定时器重构 (#223)

* 软中断&定时器重构


* 修改timer的clock()

* 删除debug信息



* V0.1.6发行日志&更新构建系统文档 (#225)

1.更新构建系统文档
2.V0.1.6发行日志

* Patch add 0.1.6 changelog (#226)

* 修正标题错误

* 修复显示刷新线程的空指针问题 (#228)

* 新增设备驱动模型,为设备和驱动提供高层视图 (#227)

* 添加base mod

* 添加设备驱动模型相关文件

* 删除单独的mod文件,使用mod.rs,修改一些格式上的问题

* 移动驱动错误类型到该文件

* 修改一些格式上的问题

* 修改CFSqueue从Vec变成红黑树 (#229)

使用了由tickbh编写的rbtree: https://github.com/tickbh/rbtree-rs/blob/master/src/lib.rs


* new: lazy_init (#230)

* Patch add lazy init (#236)

* 修正并发安全问题

* pci重构+pcie支持 (#235)

* pci重构+pcie支持

* pci重构测试完成

* 修正makefile的问题

* 小修改

* 修改函数名字

* 增加对dhcpv4的支持(tcp、udp socket已写好,但由于缺少epoll机制,尚未完整测试) (#237)

* 为virtio网卡完成smoltcp的phy层配置

* raw socket

* 初步写完udp和tcp socket

* 能够正常通过dhcp获取ipv4地址(具有全局iface btree)



* 调整brk系统调用,使得参数、返回值与Linux一致 (#238)

* 新增用于测试relibc的app

* 为适配relibc,修改do_execve中关于用户栈的内容的设置

* 调整brk系统调用,使得参数、返回值与Linux一致

* 修改errno,使其与relibc的保持一致 (#234)

修改errno,使其与relibc的保持一致

* 修复ecam无法获取MCFG table的问题 (#241)

* 修复Issue#220;vnc的端口号恢复5900 (#243)


* 修复Issue#220

* qemu-vnc端口号恢复为5900

* new: DowncastArc and its docs (#244)

* 增加定时器和软中断文档,修改了softirq面向c的接口 (#245)

* 增加定时器和软中断文档

* 修改softirq对c的接口和文档

* 修改文档格式

* 新增网络socket的系统调用接口 (#247)

1.修复spinlock忘记恢复rflags的问题
2.WaitQueue增加wakeup_all的功能
3.完善tcp,udp,raw socket
4.把PollStatus结构体改为使用bitflags
5.新增iovec结构体
6.完成网络的系统调用
7.在bootstrap里面添加dnsmasq bridge-utils iptables

* 新增SysFS (#250)

* 添加sysfs

* 注册sysfs

* 添加sysfs相关

* 添加rust-anlyzer辅助配置

* 将设备与sysfs相关联

* 添加单独的文件管理sysfs下的文件夹

* 解决使用zsh在构建DragonOS时,无法直接使用一键初始化脚本进行安装的问题  (#252)

* 匿名管道重构&增加IrqArch trait以及IrqFlags及其守卫 (#253)

* 实现匿名管道

* 增加IrqArch trait以及IrqFlags及其守卫


* 根据sysfs完善设备驱动模型 & 添加sysfs官方文档 (#254)

* 根据sysfs完善设备驱动模型

* 添加sysfs官方文档

* doc: V0.1.7发行日志 (#255)
* 完成vma的代码编写(尚未实现匿名页反向映射)

* 添加创建页表的函数
* 完成ELF加载器的代码

* reformat
* 重写execve系统调用

* reformat code
* 添加bump分配器

* 修改BumpAllocator的分配逻辑

* bugfix:bump分配器的分配逻辑修改

* 调整注释格式并删除无用操作

* 初始化伙伴分配器

* 抽离共有方法,修改逻辑

* 格式化代码

* 完善初始化分配器的逻辑,如果内存足够大可能占用多个页来存储

* 完善分配器的分配释放逻辑

* 解决无法通过编译的问题

* 修复边界值带来的bug

* 添加slab分配器

* 减小buddy结构体的占用空间

* bugfix:修改数据类型

* 找回buddy测试误删内容

* 测试伙伴算法

* 抽象出函数,修复entry的地址计算bug

* buddy 分配器实现Allocator trait,同时加锁

* 移除无用测试代码

* 格式化代码

* 1.修改buddy,使得其能正常申请、释放页。
2.buddy改为从链表页首部申请内存
3.删除预留页计算器(因为发现不需要了)

---------

Co-authored-by: longjin <[email protected]>
* 初始化的时候,把所有内存映射到页表。

* kernel mapper能正常运行,可以初始化textui

* 设置全局分配器,并导出到C的kmalloc、kzalloc接口。(存在bug: acpi create mmio之后出错)

* 1、解决由于locak_irq_save、local_irq_restore函数的汇编不规范导致影响栈行为的bug。
2、对mmio模块进行改动,使得能够正常运行。(存在问题:a. 缺乏统一的,已分配地址空间的管理机制。 b. 目前由于数据缺失,因此未归还空间到池中) 这个模块需要接下来进行优化、部分重构,但目前能跑。
3、目前能正常初始化到acpi模块
* 1、使得smp和apic能正常初始化。
2、增加LowAddressRemapping管理

* 能够进入pid=1的内核线程

* 能初始化virtio

* 卡在了网卡初始化这里。

* pci的dma内存设置pwt和pcd

* 解决KernelAllocator里面把不可变引用转为可变指针导致的未定义行为。

* 能进用户程序,显示调用sys_sbrk

* 能够执行about应用程序(存在bug:随机双重加锁、map ananymous出错(随机性,重启就好))
* 1、使得smp和apic能正常初始化。
2、增加LowAddressRemapping管理

* 能够进入pid=1的内核线程

* 能初始化virtio

* 卡在了网卡初始化这里。

* pci的dma内存设置pwt和pcd

* 解决KernelAllocator里面把不可变引用转为可变指针导致的未定义行为。

* 能进用户程序,显示调用sys_sbrk

* 能够执行about应用程序(存在bug:随机双重加锁、map ananymous出错(随机性,重启就好))

* gdb 调试rust内核

* 1.修复PageFlushAll在drop时没有刷新TLB的问题
2.修复buddy的一些内存越界问题(把paddr当成vaddr来用了)
3.调整:buddy free在迁移伙伴块后,把原来的entry位置清空.
4.elf load_elf_segment的时候,对要读取的文件的位置/大小进行了调整(有bug:about app无法运行,在malloc_query_free_chunk_bf函数里面报#GP)
1.修正rwLock未修改锁持有计数的bug
2.修复PageMapper::create未清空页表的问题
3.解决x86_64不支持XD时,页表项填写错误的问题
4.调整elf加载器,使得能够正确的加载relibc的程序
1. 删除调试日志
2. bugfix: 修复sys_gettimeofday对timezone参数的处理的bug
3. 删除无用的c文件
4. 编写文档
@fslongjin fslongjin linked an issue Jul 21, 2023 that may be closed by this pull request
2.bugfix: 未保存初始CR3的问题
3.把process的导出到C的函数的位置进行移动.
Copy link
Collaborator

@YJwu2023 YJwu2023 left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

对于全局变量的修改是unsafe的,但内存模块里面不可避免地会使用到全局变量,所以有没有可能为全局变量封装函数,把unsafe块限制在对全局变量的改变上,而不外扩影响其他变量的检查。

}

/// 从空闲链表的开头,取出1个指定阶数的伙伴块,如果没有,则返回None
///
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

这个文件的注释风格怎么不太一样

return self.0 * MMArch::PAGE_SIZE;
}

/// 将字节数转换为页帧数量
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

这个函数注释不太规范


/// 映射一段物理地址到指定的虚拟地址。
///
/// ## 参数
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

这里注释风格又突变了哈哈

@@ -1,7 +1,5 @@
#pragma once
#include "mm.h"

extern void mmio_buddy_init();
extern void mmio_create();
extern void mmio_create(uint32_t size, uint64_t vm_flagsu, uint64_t* res_vaddr, uint64_t* res_length);
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

为什么不直接在头文件中声明函数,而是在文件中声明完了再在头文件中使用extern


/// 判断当前页表的第i个页表项是否已经填写了值
///
/// ## 参数
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

这里注释风格也不统一


/// 内核的第一个页表在pml4中的索引
/// 顶级页表的[256, 512)项是内核的页表
static KERNEL_PML4E_NO: usize = (X86_64MMArch::PHYS_OFFSET & ((1 << 48) - 1)) >> 39;
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

一个模块的全局变量有没有可能做成一个结构体,每个全局变量是一个成员,方便管理。

@fslongjin
Copy link
Member Author

fslongjin commented Jul 21, 2023 via email

@fslongjin
Copy link
Member Author

fslongjin commented Jul 21, 2023 via email

@YJwu2023 YJwu2023 closed this Jul 22, 2023
@YJwu2023 YJwu2023 reopened this Jul 22, 2023
@fslongjin fslongjin merged commit d8ad0a5 into master Jul 22, 2023
fslongjin added a commit that referenced this pull request Jul 22, 2023
fslongjin added a commit that referenced this pull request Jul 22, 2023
@fslongjin fslongjin deleted the patch-refactor-mm branch November 9, 2023 08:51
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

【重构】内存管理模块
3 participants