一、socketserver实现并发
基于tcp的套接字,关键就是两个循环,一个链接循环,一个通信循环。
socketserver模块中分两大类:server类(解决链接问题)和request类(解决通信问题)
server类:
request类:
继承关系:
以下述代码为例,分析socketserver源码:
ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)ftpserver.serve_forever()查找属性的顺序:ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer
实例化得到ftpserver,先找类ThreadingTCPServer的__init__,在TCPServer中找到,进而执行server_bind,server_active找ftpserver下的serve_forever,在BaseServer中找到,进而执行self._handle_request_noblock(),该方法同样是在BaseServer中执行self._handle_request_noblock()进而执行request, client_address = self.get_request()(就是TCPServer中的self.socket.accept()),然后执行self.process_request(request, client_address)在ThreadingMixIn中找到process_request,开启多线程应对并发,进而执行process_request_thread,执行self.finish_request(request, client_address)上述四部分完成了链接循环,本部分开始进入处理通讯部分,在BaseServer中找到finish_request,触发我们自己定义的类的实例化,去找__init__方法,而我们自己定义的类没有该方法,则去它的父类也就是BaseRequestHandler中找....源码分析总结:
基于tcp的socketserver我们自己定义的类中的
self.server即套接字对象self.request即一个链接self.client_address即客户端地址基于udp的socketserver我们自己定义的类中的
self.request是一个元组(第一个元素是客户端发来的数据,第二部分是服务端的udp套接字对象),如(b'adsf', <socket.socket fd=200, family=AddressFamily.AF_INET, type=SocketKind.SOCK_DGRAM, proto=0, laddr=('127.0.0.1', 8080)>)self.client_address即客户端地址 import os import time BASE_DIR = os.path.dirname(os.path.abspath(__file__)) import socket import selectors class selectFtpServer: def __init__(self): self.dic = {} self.hasReceived=0 self.sel = selectors.DefaultSelector() self.create_socket() self.handle() def create_socket(self): server = socket.socket() server.bind(("127.0.0.1",8885)) server.listen(5) server.setblocking(False) self.sel.register(server, selectors.EVENT_READ, self.accept) print("服务端已开启,等待用户连接...") def handle(self): while True: events = self.sel.select() for key, mask in events: callback = key.data callback(key.fileobj, mask) def accept(self,sock, mask): conn, addr = sock.accept() print("from %s %s connected"%addr) conn.setblocking(False) self.sel.register(conn, selectors.EVENT_READ, self.read) self.dic[conn] = {} def read(self, conn, mask): try: if not self.dic[conn] : data = conn.recv(1024) cmd,filename,filesize = str(data, encoding='utf-8').split('|') self.dic={conn:{"cmd": cmd, "filename": filename,"filesize": int(filesize)}} if cmd == 'put': conn.send(bytes("OK",encoding='utf8')) if self.dic[conn]['cmd'] == 'get': file = os.path.join(BASE_DIR,"download",filename) if os.path.exists(file): fileSize = os.path.getsize(file) send_info = '%s|%s'%('YES',fileSize) conn.send(bytes(send_info, encoding='utf8')) else: send_info = '%s|%s'%('NO',0) conn.send(bytes(send_info, encoding='utf8')) else: if self.dic[conn].get('cmd',None): cmd=self.dic[conn].get('cmd') if hasattr(self, cmd): func = getattr(self,cmd) func(conn) else: print("error cmd!") conn.close() else: print("error cmd!") conn.close() except Exception as e: print('error', e) self.sel.unregister(conn) conn.close() def put(self, conn): fileName = self.dic[conn]['filename'] fileSize = self.dic[conn]['filesize'] path = os.path.join(BASE_DIR,"upload",fileName) recv_data = conn.recv(1024) self.hasReceived += len(recv_data) with open(path, 'ab') as f: f.write(recv_data) if fileSize == self.hasReceived: if conn in self.dic.keys(): self.dic[conn] = {} print("%s上传完毕!"%fileName) def get(self,conn): filename = self.dic[conn]['filename'] path = os.path.join(BASE_DIR,"download",filename) if str(conn.recv(1024), 'utf-8') == "second_active": with open(path, 'rb') as f: for line in f: conn.send(line) self.dic[conn] = {} print('文件下载完毕!') if __name__ == '__main__': selectFtpServer() FtpServer import socket import os,sys BASE_DIR = os.path.dirname(os.path.abspath(__file__)) class selectFtpClient: def __init__(self): self.args=sys.argv if len(self.args)>1: self.port=(self.args[1],int(self.args[2])) else: self.port=("127.0.0.1",8885) self.create_socket() self.command_fanout() def create_socket(self): try: self.sk = socket.socket() self.sk.connect(self.port) print('连接FTP服务器成功!') except Exception as e: print("error: ",e) def command_fanout(self): while True: cmd = input('>>>').strip() if cmd == 'exit()': break cmd,file = cmd.split() if hasattr(self, cmd): func = getattr(self, cmd) func(cmd,file) else: print('调用错误!') def put(self,cmd,file): if os.path.isfile(file): fileName= os.path.basename(file) fileSize = os.path.getsize(file) fileInfo ='%s|%s|%s'%(cmd,fileName,fileSize) self.sk.send(bytes(fileInfo, encoding='utf8')) recvStatus = self.sk.recv(1024) print('recvStatus', recvStatus) hasSend = 0 if str(recvStatus, encoding='utf8') == "OK": with open(file, 'rb') as f: while fileSize > hasSend : contant = f.read(1024) recv_size = len(contant) self.sk.send(contant) hasSend += recv_size s=str(int(hasSend/fileSize*100))+"%" print("正在上传文件:"+fileName+" 已经上传:"+s) print('%s文件上传完毕' % (fileName,)) else: print('文件不存在') def get(self, cmd,file): pass if __name__ == '__main__': selectFtpClient() FtpClient数据库(database,DB)是指长期存储在计算机内的,有组织,可共享的数据的集合。数据库中的数据按一定的数学模型组织、描述和存储,具有较小的冗余,较高的数据独立性和易扩展性,并可为各种用户共享。
数据库管理系统(Database Management System)是一种操纵和管理数据库的大型软件,用于建立、使用和维护数据库,简称DBMS。它对数据库进行统一的管理和控制,以保证数据库的安全性和完整性。用户通过DBMS访问数据库中的数据,数据库管理员也通过dbms进行数据库的维护工作。它可使多个应用程序和用户用不同的方法在同时或不同时刻去建立,修改和询问数据库。大部分DBMS提供数据定义语言DDL(Data Definition Language)和数据操作语言DML(Data Manipulation Language),供用户定义数据库的模式结构与权限约束,实现对数据的追加、删除等操作。
数据库管理系统是数据库系统的核心,是管理数据库的软件。数据库管理系统就是实现把用户意义下抽象的逻辑数据处理,转换成为计算机中具体的物理数据处理的软件。有了数据库管理系统,用户就可以在抽象意义下处理数据,而不必顾及这些数据在计算机中的布局和物理位置。
常见的数据库管理软件:甲骨文的oracle,IBM的db2,sql server, Access,Mysql(开源,免费,跨平台).
数据库系统DBS(Data Base System,简称DBS)通常由软件、数据库和数据管理员组成。其软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统。数据库由数据库管理系统统一管理,数据的插入、修改和检索均要通过数据库管理系统进行。数据管理员负责创建、监控和维护整个数据库,使数据能被任何有权使用的人有效使用。
linux:
--yum -y install mariadb mariadb-server OR --yum -y install mysql mysql-serverwin:
--http://dev.mysql.com/downloads/mysql/sql是Structured Query Language(结构化查询语言)的缩写。SQL是专为数据库而建立的操作命令集,是一种功能齐全的数据库语言。
在使用它时,只需要发出“做什么”的命令,“怎么做”是不用使用者考虑的。SQL功能强大、简单易学、使用方便,已经成为了数据库操作的基础,并且现在几乎所有的数据库均支持sql。
<1> 在数据库系统中,SQL语句不区分大小写(建议用大写) 。但字符串常量区分大小写。建议命令大写,表名库名小写;
<2> SQL语句可单行或多行书写,以“;”结尾。关键词不能跨多行或简写。
<3> 用空格和缩进来提高语句的可读性。子句通常位于独立行,便于编辑,提高可读性。
SELECT * FROM tb_table WHERE NAME="YUAN";<4> 注释:单行注释:--
多行注释:/*......*/
<5>sql语句可以折行操作
<6> DDL,DML和DCL
-- --SQL中 DML、DDL、DCL区别 . -- -- DML(data manipulation language): -- 它们是SELECT、UPDATE、INSERT、DELETE,就象它的名字一样,这4条命令是用来对数据库里的 -- 数据进行操作的语言 -- -- -- DDL(data definition language): -- DDL比DML要多,主要的命令有CREATE、ALTER、DROP等,DDL主要是用在定义或改变表(TABLE) -- 的结构,数据类型,表之间的链接和约束等初始化工作上,他们大多在建立表时使用 -- -- -- DCL(Data Control Language): -- 是数据库控制功能。是用来设置或更改数据库用户或角色权限的语句,包括(grant,deny,revoke等) -- 语句。在默认状态下,只有sysadmin,dbcreator,db_owner或db_securityadmin等人员才有权 -- 力执行DCL View Code
转载于:https://www.cnblogs.com/Vee-Wang/p/7231705.html