首页 2019年3月

2019年3月

  • 个人随笔 18年总结-----来自很菜的我

    不知不觉,毕业快2年了,整个17年末到整个18年收获还是蛮大的;    1、学习了新的语言-----python,学会使用scrapy爬虫框架,学习了各种爬虫技巧;    2、有机会独立负责建行总行北京数据中心的项目,学习了防火墙和交换机配置;整个18年大部分时间都在做北数的自动化运维项目,收获还是挺大的,去了几次北数,也算是开了眼界;在这个项目中,收获最大的就是沟通能力及理解需求能力,能够快速的理解需求,然后去设计数据库,完成开发;&...

     薄洪涛  2019-03-16  132浏览  0评论
  • Python python爬虫之字体反爬及解决方案

    在爬取某些网站的数据时,经常会发现爬下来的数据夹杂着乱码;但是网页上明明是正常的,这就是此网站做了字体反扒技术;比如  https://su.58.com/qztech/ 这个网站,页面上看起来是正常的数据,但是审查元素会发现,都是乱码,如果我们去除了右下角红框标注的字体文件,会发现页面也会出现乱码其实,这种字体文件,实质上就是一个字典,记载了乱码余正确数据之间的对应关系,在显示的时候,把“乱码” 替换成正确的数据其实我们要做的很简单,就是把字体文件复制下来,保存为ttf,然后需要显示...

     薄洪涛  2019-03-16  335浏览  0评论
  • Linux 搭建SSH反向隧道

    公司的数据库是通过端口转发来连接的,即需要ssh登录跳板机,然后通过隧道-端口转发,将数据库映射到跳板机(或者电脑本地)的某个端口,程序连接本地的端口就可以实现连接远程对的数据库;这种连接方式相比VPN来说更加安全;一般来说,我们的数据库主机都是内网机器没有公网ip,需要通过跳板机(有公网ip)去连接,就是把内网数据库的端口映射到跳板机上;准备步骤:1、假设我有两台主机,一台是主机A(必须有公网IP 用户名是usera),一台是主机B(内网,用户名是userb)2、首先我需要在B上生成SSH秘钥ssh-keygen...

     薄洪涛  2019-03-10  107浏览  0评论
  • Linux xshell做端口映射链接数据库

    有些时候,公司的一些线上的数据库,数据太多,不适合复制到本地然后搭建本地数据库开发,直接链接数据库又不安全所以,需要通过xshell做端口转发,通过隧道来链接数据库1、首先通过xshell登陆跳板机2、文件属性-隧道-添加,上面的是本地的源主机及侦听端口,下面的是目标主机及目标端口;一定要勾上仅接受本地连接3、通过navicat链接,localhost/35432,输入数据库的用户名&密码,就可以直接链接啦以后会出个教程,来讲解如何搭建隧道及跳板机...

     薄洪涛  2019-03-05  91浏览  0评论
1