网络代理杂谈
一、网络爬虫使用代理网络代理常用于Python爬虫,爬虫程序通常会以高并发多线程的方式运行,所需爬取的任务量大,会对站点服务器造成很大的负载,需要使用代理IP帮助完成任务,否则很容易被所爬取的站点服务器发现,限制其访问。
爬虫使用网络代理的优点:
可以提高爬取速度和效率,代理IP服务器位于互联网的核心节点,它们具有更快的数据传输速度和更低的延迟。
可以规避IP在单位时间的请求次数,防止出现“IP请求过于频繁”或“403”等错误。
二、双重代理和多重代理
双重代理指代理软件再套一层中转代理(如VPS反代CF家的中转服务器)。多重代理就是在双重代理的基础上“俄罗斯套娃”。
三、共享代理
多数代理软件都会提供一个TCP的代理端口(监听端口)。主要问题在于代理软件的监听端口基本绑定在本机的127.0.0.1上。代理只能被本机软件使用,外部主机的软件无法连接到该端口。
1.共享代理——本机方案最简单的解决方案,就是修改代理软件的配置,把监听端口绑定到0.0.0.0上。其次是“端口转发”,也称“端口映射”,主要弥补部分代理软件,无法修改配置文件的缺陷。
以Windows系统自带的ne ...
CS课程分享(八)—软件工程
1.MIT6.172-软件性能工程
简介:麻省理工公开课,教学基于C语言,讲授性能分析/高性能算法技术/指令级优化/缓存优化/并行编程和构建可扩展系统。
课程时间:30小时
课程官网:MIT6.172-软件性能工程
中英字幕:bilibili
英文字幕:YouTube
2.南京大学-软件分析
简介:须先掌握数据结构与算法,教学基于Java语言,主要讲授程序分析:静态分析的理论与实践。
课程时间:32小时
课程官网:南京大学-软件分析
在线视频:bilibili
3.北京大学-软件分析技术
简介:和南京大学的软件分析课程对比,该课主要讲授更加全面的程序分析理论与实践,难度也更大。
课程时间:43小时
课程官网:北京大学-软件分析技术
在线视频:bilibili
CS课程分享(七)—编译原理
1.CS143-编译器
简介:斯坦福大学公开课,须先掌握计算机体系结构知识,配套教材为龙书《编译原理》。
课程时间:20小时
课程官网:CS143-编译器
中英字幕:bilibili
2.南京大学-编译原理
简介:”蚂蚁”老师——魏恒峰2022年网课,须先掌握计算机体系结构知识,配套教材为龙书《编译原理》。
课程时间:28小时
课程官网:南京大学-编译原理
在线视频:bilibili
CS课程分享(六)—数据库
1.CMU15-445/645 数据库系统
简介:CMU知名神课,须先修CMU15-213,对编程能力有较高要求,配套教材《数据库系统概念》。
课程时间:36小时
课程官网:CMU15-445/645 数据库系统
中英字幕:bilibili
英文字幕:YouTube
2.CMU15-721 高级数据库系统
简介:数据库进阶,须先修CMU15-445/645课程。
课程时间:19小时
课程官网:CMU15-721 高级数据库系统
中英字幕:bilibili
英文字幕:YouTube
3.CS122-数据库系统实现
简介:加州理工学院公开课,该课侧重于SQL层的相关实现,针对CMU15-445不提供SQL层功能,作为对查询优化相关知识的补充。
课程时间:14小时
课程官网:S122-数据库系统实现
中英字幕:bilibili
英文字幕:YouTube
4.哈工大-数据库系统
简介:哈工大公开课,本课程讲授数据库相关基本知识,聚集于分析和管理数据。
课程时间:32小时
课程官网:哈工大-数据库系统
在线视频:bilibili
CS课程分享(五)—计算机网络
1.计算机网络-自顶向下
简介:计网经典书籍《计算机网络-自顶向下方法》的作者亲授课程
课程时间:10小时
课程官网:计算机网络-自顶向下
中英字幕:bilibili
英文字幕:YouTube
2.CS144-计算机网络
简介:斯坦福大学公开课,须先修CS106L课程,具备计算机系统基础,基于C++语言搭建出整个TCP/IP协议栈。
课程时间:25小时
课程官网:CS144-计算机网络
中英字幕:bilibili
英文字幕:YouTube
3.COS461-计算机网络
简介:普林斯顿大学公开课,推荐教材《计算机网络:系统方法》,作业是用Go/C/Python编写。
课程时间:10学时
课程官网:COS461-计算机网络
在线视频:YouTube
4.中科大-计算机网络
简介:中科大公开课,教材采用《计算机网络-自顶向下方法》,授课更重实际而非理论,最好先预习教材再看课。
课程时间:44小时
课程官网:中科大-计算机网络
在线视频:bilibili
CS课程分享(四)—操作系统
1.MIT6.S081-操作系统
简介:MIT著名的PDOS实验室开设的课程,讲师是Robert Tappan Morris(世界第一个蠕虫病毒作者)。
课程时间:34小时
课程官网:MIT6.S081-操作系统
中英字幕:bilibili
英文字幕:YouTube
2.CS162-操作系统和程序设计
简介:UCB公开课,配套教材为《操作系统:原理与实践》,补齐MIT6.S081课程在理论知识上的些许空白。
课程时间:39小时
课程官网:CS162-操作系统和程序设计
中英字幕:bilibili 缺第15课
英文字幕:YouTube
3.南京大学-操作系统:设计与实现
简介:南京大学网课,须有体系结构和C语言基础,蒋炎岩老师一线代码经验丰富,讲课满满的Hacker风格。
课程时间:60小时
课程官网:南京大学-操作系统
在线课程:bilibili 2022年线上课
在线课程:bilibili 2023年教堂课
4.哈工大-操作系统
简介:哈工大公开课,须有C语言基础,好评最多的中文计算机课程之一,缺点:实验所用Linux过于老旧。
课程时间:22小时
课程官网:哈工 ...
CS课程分享(三)—计算机组成原理
1.依据基本原理构建现代计算机:从与非门到俄罗斯方块
简介:Coursera平台被数万人评为满分,全球四百多所高校、高中采用,零基础入门。
课程时间:34小时
课程官网:依据基本原理构建现代计算机
中英字幕:bilibili
配套教材:计算机系统要素:从零开始构建现代计算机
2.CMU15-213 深入理解计算机系统
简介:CMU镇系神课,配套教材为经典名著“CSAPP”,介绍计算机系统是如何工作的。
课程时间:32小时
课程官网:CMU15-213 深入理解计算机系统
中英字幕:bilibili
英文字幕:YouTube
3.CS61C-计算机组成原理
简介:UCB公开课,须先修CS61A/CS61B课程,使用教材为《计算机组成与设计:硬件/软件接口》。
课程时间:33小时(2020年课程是25小时)
课程官网:CS61C-计算机组成原理
中英字幕:bilibili 2022年课程
中英字幕:bilibili 2020年课程
英文字幕:YouTube
4.CS152/252A-计算机体系结构
简介:UCB公开课,主要介绍现代计算机系统 ...
CS课程分享(二)—数据结构与算法
1.COS226-算法和数据结构
简介:Coursera上评分最高的算法“神课”,教学基于Java语言,采用教材为《算法》第4版。
课程时间:60小时
课程官网:COS226-算法和数据结构
中英字幕:bilibili
英文字幕:YouTube
2.CS61B-数据结构
简介:UCB算法名课,须先修CS61A课程和微积分,采用教材为《算法》红皮书,基于Java。
课程时间:34小时
课程官网:CS61B-数据结构
中英字幕:bilibili
英文字幕:YouTube
3.MIT6.006-算法导论
简介:麻省理工公开课,须先修MIT6.0001和离散数学,掌握Python语言,采用教材是算法圣经——《算法导论》。
课程时间:35小时
课程官网:MIT6.006-算法导论
中英字幕:bilibili
英文字幕:YouTube
4.CS161-算法的设计与分析
简介:斯坦福大学公开课,分析和设计数据结构与算法的基本方法和思维方式,采用教材是算法圣经——《算法导论》。
课程时间:39小时
课程官网:CS161-算法的设计与分析
中英字幕:bilibili
英文字幕:You ...
CS课程分享(一)—计算机科学导论
1.计算机科学速成课
简介:快速了解计算机科学到底是什么,有哪些方向。
课程时间:8小时
课程官网:Crash Course
中英字幕:bilibili
2.CS50-计算机科学导论
简介:北美CS五大名课之一,哈佛大学公开课,适合零基础入门。
课程时间:26小时
课程官网:CS50-计算机科学导论
中英字幕:bilibili
英文字幕:YouTube
3.CS61A-计算机程序的构造和解释
简介:北美CS五大名课之一,UCB公开课,使用Python掌握函数式编程、面向对象以及SQL等。
课程时间:35小时
课程官网:CS61A-计算机程序的构造和解释
中英字幕:bilibili
英文字幕:YouTube
4.MIT6.0001-计算机科学介绍及Python编程
简介:麻省理工公开课,适合与CS61A课程一起参考学习。
课程时间:10小时
课程官网:MIT6.0001-计算机科学介绍及Python编程
中英字幕:bilibili
英文字幕:YouTube
5.MIT公开课-计算机教育中缺失的一课
简介:麻省理工公开课,学完计算机导论和Python语言后,必须掌 ...
笔记软件—Obsidian基础设置与插件推荐
前言目前市面上的笔记软件多种多样,瑞士军刀美称的Bear,模块式笔记Notion,所见即所得的Typora,以及各类云笔记。而这款个人使用者永久免费,基于Markdown文件的本地知识管理软件更得我欢心——Obsidian。2020年的末尾,全球涌现出许多带有双向链功能的笔记软件,比如 Roam Research 、 Logseq 、 Obsidian 等等。网状的知识结构,更符合实际需要。现实里,我们无法像折叠衣物放入收纳柜一样,为某个知识点在大脑中寻找对应的格子塞进去,因为大脑中的知识并不是简单的分类,更多的是一种关联性汇总。带有双向链功能的笔记优势在于能生成一个直观的知识图谱,我们可以将它当做大脑的延伸,用来辅助思考。
Obsidian官网:https://obsidian.md/
一、Obsidian基础设置(1)设置中文
设置 → 关于 → 语言 → 更改界面语言为:简体中文
(2)更换主题
设置 → 关于 → 外观 → 下载新的主题:Things
(3)个性化设置
设置 → 文件与链接 → 关闭使用wiki链接:该设置会导致文件在其它MD软件上无法预览设置 → 文件 ...