429 lines
15 KiB
Markdown
429 lines
15 KiB
Markdown
排序算法(英语: Sorting algorithm)是一种能将一串数据依照特定顺序进行排列的一种算法。
|
||
|
||
|
||
# 排序算法的稳定性
|
||
|
||
**稳定性**：稳定排序算法会让原本有相等键值的纪录维持相对次序。也就是如果一个排序算法是稳定的，当有两个相等键值的纪录R和S，且在原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。
|
||
|
||
|
||
当相等的元素是无法分辨的，比如像是整数，稳定性并不是一一个问题。然而，假设以下的数对将要以他们的第一个数字来排序。
|
||
|
||
```shell
|
||
(4, 1)(3, 1)(3, 7)（5, 6）
|
||
```
|
||
在这个状况下，有可能产生两种不同的结果，一个是让相等键值的纪录维持相对的次序，而另外一个则没有：
|
||
```shell
|
||
(3, 1) (3, 7) (4, 1) (5, 6) （维持次序）
|
||
(3, 7) (3, 1) (4, 1) (5, 6) （次序被改变）
|
||
```
|
||
* 不稳定排序算法可能会在相等的键值中改变纪录的相对次序，但是稳定排序算法从来不会如此。
|
||
|
||
* 不稳定排序算法可以被特别地实现为稳定。
|
||
|
||
* 作这件事情的一个方式是人工扩充键值的比较，如此在其他方面相同键值的两个对象间之比较，（比如上面的比较中加入第二个标准：第二个键值的大小）就会被决定使用在原先数据次序中的条目，当作一个同分决赛。然而，要记住这种次序通常牵涉到额外的空间负担。
|
||
|
||
# 常见的时间复杂度
|
||
|
||
1. 常数阶 O(1)
|
||
|
||
2. 对数阶 O(log2n)
|
||
|
||
3. 线性阶 O(n)
|
||
|
||
4. 线性对数阶 O(nlog2n)
|
||
|
||
5. 平方阶 O(n^2)
|
||
|
||
6. 立方阶 O(n^3)
|
||
|
||
7. k 次方阶 O(n^k)
|
||
|
||
8. 指数阶 O(2^n)
|
||
|
||
* 常见的算法时间复杂度由小到大依次为：Ο(1)＜Ο(log2n)＜Ο(n)＜Ο(nlog2n)＜Ο(n2)＜Ο(n3)＜ Ο(nk) ＜ Ο(2n) ，随着问题规模 n 的不断增大，上述时间复杂度不断增大，算法的执行效率越低
|
||
|
||
* 我们应该尽可能避免使用指数阶的算法
|
||
|
||
## 常数阶 O(1)
|
||
|
||
无论代码执行了多少行，只要是没有循环等复杂结构，那这个代码的时间复杂度就都是0(1)
|
||
|
||
```shell
|
||
a = 1
|
||
b = 2
|
||
a += 1
|
||
b -= 1
|
||
c = a + b
|
||
```
|
||
上述代码在执行的时候，它消耗的时间并不随着某个变量的增长而增长，那么无论这类代
|
||
码有多长，即使有几万几十万行，都可以用0(1)来表示它的时间复杂度。
|
||
|
||
## 对数阶 O($$log^2n$$)
|
||
|
||
```python
|
||
n = 100
|
||
i = 1
|
||
while i < n:
|
||
i *= 2
|
||
```
|
||
在while循环里面，每次都将 i 乘以 2，乘完之后，i 距离 n 就越来越近了。我们试着求解一下，假设循环x次之后，i 就大于 2 了，此时这个循环就退出了，也就是说 2 的 x 次方等于 n，那么 $$x = log_2n$$
|
||
也就是说当循环 $$log_2n$$ 次以后，这个代码就结束了。因此这个代码的时间复杂度为：$$O(log_2n)$$
|
||
|
||
## 线性阶 O(n)
|
||
|
||
```python
|
||
n = 100
|
||
for i in range(n):
|
||
print(i)
|
||
```
|
||
说明:这段代码，for循环 里面的代码会执行n遍，因此它消耗的时间是随着n的变化而变
|
||
化的，因此这类代码都可以用O(n)来表示它的时间复杂度
|
||
|
||
## 线性对数阶 O(nlogN)
|
||
|
||
```python
|
||
n = 100
|
||
i = 1
|
||
while i <= n:
|
||
j = i
|
||
while j < n:
|
||
j *= 2
|
||
i += 1
|
||
```
|
||
说明:线性对数阶$$O(nlogN)$$其实非常容易理解，将时间复杂度为$$O(logn)$$的代码循环N遍的
|
||
话，那么它的时间复杂度就是$$n*O(logN)$$，也就是了$$O(nlogN)$$
|
||
|
||
## 平方阶 O(n²)
|
||
|
||
```python
|
||
n = 100
|
||
for i in range(n):
|
||
for j in range(i):
|
||
j += i
|
||
```
|
||
说明:平方阶$$O(n2)$$就更容易理解了，如果把$$O(n)$$的代码再嵌套循环一遍，它的时间复杂度就是$$O(n^2)$$，这段代码其实就是嵌套了2层n循环，它的时间复杂度就是$$O(n*n)$$,即$$O(n^2)$$ 如果将其中一层循环的n改成m，那它的时间复杂度就变成了$$O(m*n)$$
|
||
## 立方阶 O(n³)、K 次方阶 O(n^k)
|
||
|
||
说明：参考上面的 O(n²) 去理解就好了，O(n³)相当于三层 n 循环，其它的类似
|
||
|
||
## 常见排序算法对比表
|
||
|
||
|
||
# 冒泡排序
|
||
|
||
冒泡排序(英语: Bubble Sort)是一种简单的排序算法。它重复地遍历要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。遍历数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。
|
||
|
||
|
||
冒泡排序算法的运作如下：
|
||
|
||
* 比较相邻的元素。如果第一个比第二个大（升序），就交换他们两个。
|
||
|
||
* 对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。这步做完后，最后的元素会是最大的数。
|
||
|
||
* 针对所有的元素重复以上的步骤，除了最后一个。
|
||
|
||
* 持续每次对越来越少的元素重复上面的步骤，直到没有任何一对数字需要比较。
|
||
|
||
## 冒泡排序的分析
|
||
|
||
交换过程图示(第一次)：
|
||
|
||
|
||
|
||
那么我们需要进行n-1次冒泡过程，其中每个元素的动态过程如下：
|
||
|
||
|
||
## 代码实现
|
||
|
||
```python
|
||
def bubble_sort(alist):
|
||
n = len(alist)
|
||
for j in range(n-1,0,-1):
|
||
for i in range(j):
|
||
if alist[i] > alist[i+1]:
|
||
alist[i],alist[i+1] = alist[i+1],alist[i]
|
||
l1 = [54,26,34,56,98,78,56,32]
|
||
bubble_sort(l1)
|
||
print(l1)
|
||
```
|
||
## 时间复杂度
|
||
|
||
* 最优时间复杂度：$$O(n)$$（表示遍历一次发现没有任何可以交换的元素，排序结束。）
|
||
|
||
```python
|
||
def bubble_sort(alist):
|
||
n = len(alist)
|
||
count = 0
|
||
for j in range(n - 1, 0, -1):
|
||
for i in range(j):
|
||
if alist[i] > alist[i + 1]:
|
||
alist[i], alist[i + 1] = alist[i + 1], alist[i]
|
||
count += 1
|
||
if 0 == count:
|
||
return
|
||
|
||
l1 = [54, 26, 34, 56, 98, 78, 56, 32]
|
||
bubble_sort(l1)
|
||
print(l1)
|
||
```
|
||
* 最坏时间复杂度：$$O(n^2)$$
|
||
|
||
* 稳定性：稳定
|
||
|
||
# 选择排序
|
||
|
||
## 定义
|
||
|
||
选择排序（Selection sort）是一种简单直观的排序算法。
|
||
|
||
它的工作原理如下。首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。
|
||
|
||
|
||
选择排序的主要优点与数据移动有关。如果某个元素位于正确的最终位置上，则它不会被移动。选择排序每次交换一对元素，它们当中至少有一个将被移到其最终位置上，因此对n个元素的表进行排序总共进行至多n-1次交换。在所有的完全依靠交换去移动元素的排序方法中，选择排序属于非常好的一种。
|
||
|
||
## 选择排序的分析
|
||
|
||
排序过程：
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|
||
红色表示当前最小值，黄色表示已排序序列，蓝色表示当前位置。
|
||
|
||
```python
|
||
def selection_sort(alist):
|
||
n = len(alist)
|
||
# 需要进行n-1次选择操作
|
||
for i in range(n-1):
|
||
# 记录最小位置
|
||
min_index = i
|
||
# 从i+1位置到末尾选择出最小数据
|
||
for j in range(i+1, n):
|
||
if alist[j] < alist[min_index]:
|
||
min_index = j
|
||
# 如果选择出的数据不在正确位置，进行交换
|
||
if min_index != i:
|
||
alist[i], alist[min_index] = alist[min_index], alist[i]
|
||
|
||
alist = [54,226,93,17,77,31,44,55,20]
|
||
selection_sort(alist)
|
||
print(alist)
|
||
```
|
||
## 时间复杂度
|
||
|
||
* 最优时间复杂度：$$O(n^2)$$
|
||
|
||
* 最坏时间复杂度：$$O(n^2)$$
|
||
|
||
* 稳定性：不稳定（考虑升序每次选择最大的情况）
|
||
|
||
## 选择排序演示
|
||
|
||
|
||
# 插入排序
|
||
|
||
## 定义
|
||
|
||
插入排序（英语：Insertion Sort）是一种简单直观的排序算法。
|
||
|
||
它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序在实现上，在从后向前扫描过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。
|
||
|
||
## 插入排序分析
|
||
|
||
|
||
|
||
|
||
## 代码实现
|
||
|
||
```python
|
||
def insert_sort(alist):
|
||
# 从第二个位置，即下标为1的元素开始向前插入
|
||
for i in range(1, len(alist)):
|
||
# 从第i个元素开始向前比较，如果小于前一个元素，交换位置
|
||
for j in range(i, 0, -1):
|
||
if alist[j] < alist[j-1]:
|
||
alist[j], alist[j-1] = alist[j-1], alist[j]
|
||
alist = [54,26,93,17,77,31,44,55,20]
|
||
insert_sort(alist)
|
||
print(alist)
|
||
```
|
||
## 时间复杂度
|
||
|
||
* 最优时间复杂度：$$O(n)$$ （升序排列，序列已经处于升序状态）
|
||
|
||
* 最坏时间复杂度：$$O(n^2)$$
|
||
|
||
* 稳定性：稳定
|
||
|
||
## 插入排序演示
|
||
|
||
|
||
# 快速排序
|
||
|
||
## 定义
|
||
|
||
快速排序（英语：Quicksort），又称划分交换排序（partition-exchange sort），通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。
|
||
|
||
## 步骤
|
||
|
||
1. 从数列中挑出一个元素，称为"基准"（pivot）
|
||
|
||
1. 重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）。在这个分区结束之后，该基准就处于数列的中间位置。这个称为分区（partition）操作。
|
||
|
||
1. 递归地（recursive）把小于基准值元素的子数列和大于基准值元素的子数列排序。
|
||
|
||
1. 递归的最底部情形，是数列的大小是零或一，也就是永远都已经被排序好了。虽然一直递归下去，但是这个算法总会结束，因为在每次的迭代（iteration）中，它至少会把一个元素摆到它最后的位置去。
|
||
|
||
## 快速排序分析
|
||
|
||
* 将第一个数字作为中间值
|
||
|
||
* 然后使用low和high两个游标分别向中间前进
|
||
|
||
* 当low遇到比中间值大的数字的时候就停止不动，等到high遇到比中间值小的时候，low和high互换元素
|
||
|
||
* 互换元素之后，游标再继续前进，直到重合，当其重合的时候，也就是得到了中间值所在的位置
|
||
|
||
* 之后需要依次对中间值左右进行相同的操作
|
||
|
||
|
||
|
||
|
||
## 代码实现
|
||
|
||
```python
|
||
def quick_sort(alist, start, end):
|
||
"""快速排序"""
|
||
|
||
# 递归的退出条件
|
||
if start >= end:
|
||
return
|
||
|
||
# 设定起始元素为要寻找位置的基准元素
|
||
mid = alist[start]
|
||
|
||
# low为序列左边的由左向右移动的游标
|
||
low = start
|
||
|
||
# high为序列右边的由右向左移动的游标
|
||
high = end
|
||
|
||
while low < high:
|
||
# 如果low与high未重合，high指向的元素不比基准元素小，则high向左移动
|
||
while low < high and alist[high] >= mid:
|
||
high -= 1
|
||
# 将high指向的元素放到low的位置上
|
||
alist[low] = alist[high]
|
||
|
||
# 如果low与high未重合，low指向的元素比基准元素小，则low向右移动
|
||
while low < high and alist[low] < mid:
|
||
low += 1
|
||
# 将low指向的元素放到high的位置上
|
||
alist[high] = alist[low]
|
||
|
||
# 退出循环后，low与high重合，此时所指位置为基准元素的正确位置
|
||
# 将基准元素放到该位置
|
||
alist[low] = mid
|
||
|
||
# 对基准元素左边的子序列进行快速排序
|
||
quick_sort(alist, start, low-1)
|
||
|
||
# 对基准元素右边的子序列进行快速排序
|
||
quick_sort(alist, low+1, end)
|
||
|
||
alist = [54,26,93,17,77,31,44,55,20]
|
||
quick_sort(alist,0,len(alist)-1)
|
||
print(alist)
|
||
```
|
||
## 时间复杂度
|
||
|
||
* 最优时间复杂度：$$O(nlogn)$$
|
||
|
||
* 最坏时间复杂度：$$O(n^2)$$
|
||
|
||
* 稳定性：不稳定
|
||
|
||
从一开始快速排序平均需要花费$$O(n log n)$$时间的描述并不明显。但是不难观察到的是分区运算，数组的元素都会在每次循环中走访过一次，使用$$O(n)$$的时间。在使用结合（concatenation）的版本中，这项运算也是$$O(n)$$。
|
||
|
||
|
||
在最好的情况，每次我们运行一次分区，我们会把一个数列分为两个几近相等的片段。这个意思就是每次递归调用处理一半大小的数列。因此，在到达大小为一的数列前，我们只要作$$log n$$次嵌套的调用。这个意思就是调用树的深度是$$O(log n)$$。但是在同一层次结构的两个程序调用中，不会处理到原来数列的相同部分；因此，程序调用的每一层次结构总共全部仅需要$$O(n)$$的时间（每个调用有某些共同的额外耗费，但是因为在每一层次结构仅仅只有$$O(n)$$个调用，这些被归纳在$$O(n)$$系数中）。结果是这个算法仅需使用$$O(n log n)$$时间。
|
||
|
||
## 快速排序演示
|
||
|
||
|
||
# 搜索
|
||
|
||
## 定义
|
||
|
||
搜索是在一个项目集合中找到一个特定项目的算法过程。搜索通常的答案是：真的或假的，表示该项目是否存在。
|
||
|
||
## 搜索的几种常见方法
|
||
|
||
顺序查找、二分法查找、二叉树查找、哈希查找
|
||
|
||
## 二分法查找
|
||
|
||
* 二分查找又称折半查找，优点是比较次数少，查找速度快，平均性能好；其缺点是要求待查表为有序表，且插入删除困难。
|
||
|
||
* 因此，折半查找方法适用于不经常变动而查找频繁的有序列表。
|
||
|
||
* 首先，假设表中元素是按升序排列，将表中间位置记录的关键字与查找关键字比较，如果两者相等，则查找成功；
|
||
|
||
* 否则利用中间位置记录将表分成前、后两个子表，如果中间位置记录的关键字大于查找关键字，则进一步查找前一子表，否则进一步查找后一子表。
|
||
|
||
* 重复以上过程，直到找到满足条件的记录，使查找成功，或直到子表不存在为止，此时查找不成功。
|
||
|
||
|
||
## 二分法查找实现
|
||
|
||
* 非递归实现
|
||
|
||
```python
|
||
def binary_search(alist, item):
|
||
first = 0
|
||
last = len(alist)-1
|
||
while first<=last:
|
||
midpoint = (first + last) // 2
|
||
if alist[midpoint] == item:
|
||
return True
|
||
elif item < alist[midpoint]:
|
||
last = midpoint-1
|
||
else:
|
||
first = midpoint+1
|
||
return False
|
||
testlist = [0, 1, 2, 8, 13, 17, 19, 32, 42,]
|
||
print(binary_search(testlist, 3))
|
||
print(binary_search(testlist, 13))
|
||
```
|
||
* 递归实现
|
||
|
||
```python
|
||
def binary_search(alist, item):
|
||
if len(alist) == 0:
|
||
return False
|
||
else:
|
||
midpoint = len(alist)//2
|
||
if alist[midpoint]==item:
|
||
return True
|
||
else:
|
||
if item<alist[midpoint]:
|
||
return binary_search(alist[:midpoint],item)
|
||
else:
|
||
return binary_search(alist[midpoint+1:],item)
|
||
|
||
testlist = [0, 1, 2, 8, 13, 17, 19, 32, 42,]
|
||
print(binary_search(testlist, 3))
|
||
print(binary_search(testlist, 13))
|
||
```
|
||
## 时间复杂度
|
||
|
||
* 最优时间复杂度：$$O(1)$$
|
||
|
||
* 最坏时间复杂度：$$O(logn)$$
|
||
|
||
|
||
|