2017上

Wesley13
• 阅读 539

    2017上-总结 2017年过去一半了,这半年自己也做了蛮多事。这些天把这半年的一些东西理了理。

     这半年时间主要在学三个方面linux,python,java(hadoop)

     Linux方面的学习:

        “工欲善其事必先利其器” 深入的学习了vim编辑器用法

        对linux系统底层服务(service)有了更深的了解

        Linux定时任务 Linux基本命令(https://my.oschina.net/u/3264690/blog/845012)

        Docke容器的学习(https://my.oschina.net/u/3264690/blog/841419)

        redis数据库基本操作(https://my.oschina.net/u/3264690/blog/853005)

    Python方面的学习:

        主要学习的python基础库:

            Numpy,matplotlib

         并进一步学习了python的数据可视化制图

https://git.oschina.net/nanxun/pythonshujukeshihuajiantu.git

                博客(https://my.oschina.net/u/3264690/blog/915068

        Scrapy(爬虫库)

        Django(python web)

        Selenuim(web自动化)

        编写了小米6自动化抢购脚本(https://git.oschina.net/nanxun/jd_mi_six_scripy.git

        Webbrowser 编写vip视频破解器(https://git.oschina.net/nanxun/vip_video.git

        Pyqt5(python的Gui库)编写了若干GUI项目,例如512勒索病毒破解器

        Pickle(python序列化)

        Fire(自动生成命令行接口)

        Pymysql(mysql连接库) (https://my.oschina.net/u/3264690/blog/875409)

        Pymssql(sqlserver连接库)

                .........

       进一步学习了爬虫技术并编写了以下项目:

            新浪微博爬虫(https://git.oschina.net/nanxun/weibo_new.git

            知乎用户信息爬虫(https://git.oschina.net/nanxun/zhihu.git

            拉钩网职业信息爬虫(https://git.oschina.net/nanxun/lagou.git

            西刺代理ip爬虫(https://git.oschina.net/nanxun/xiciip.git

            GUI爬虫分析工具 url蜘蛛(https://git.oschina.net/nanxun/urlzhizhu.git

            知乎日报爬虫(https://git.oschina.net/nanxun/zhihuribao.git

            豆瓣爬虫(https://git.oschina.net/nanxun/doban.git

        研读了多遍django官方文档编写以下项目:

            NewPy个性化推荐社区(https://git.oschina.net/nanxun/newpy.git

    Java方面的学习:

        最近在看java核心技术卷2,java核心技术卷1

        简单的了解了一下ssh,springmvc,mybatis框架的应用(要说敲代码,自然不会。。。)

        在三月到五月简单的学习了hadoop生态圈(hdfs,mapreduce,hive,sqoop,hbase),由于出于先了解的目的,学的不深。目前趁着暑假时间深入的学习。

        搭建过:

        Hadoop 单节点集群

        Hadoop Ha集群

        Hadoop 4节点集群

        Docker实现集群

        学习hadoop的过程中感觉到--如果单纯的学会应用的话,是不太难的,但是我们可以达到更高的水平,可以去学习hadoop生态圈中某些实现的源码,学习其中的思想架构。

       这半年看过的书:

        《linux服务器运维》

        《深入理解大数据-大数据处理与编程实践》

        《Introducing Python》

        《Hadoop权威指南》第三版

       《java核心技术卷1》目前在看

        《java核心技术卷2》目前在看

        《redis入门指南》

        《Python CookBook》

    个人认为查阅英文文档的重要性:

         1.锻炼自己的英文水平

        2.国内翻译的技术文章良莠不齐,自己看英文原版要好得多

        3.查看原文档可容易得出自己理解,加深自己学习的印象,加大学习的效率

    学习底层实现的必要性: 个人认为若想成为一个优秀的程序员,你需要去学习一些方法,框架,库的底层实现原理。 我认为一个程序员敲代码最大的意义就是创造,无中生有,那怎么去提升这种能力呢? 首先 我认为你需要去查看别人的代码,去看他们某一个东西是如何实现的,然后你会知道:哦,原来还可以这样写。慢慢的,当你有想做某一个东西的时候,你脑海里会有若干个实现的方法,这些方法大部分会是你自己理解的或者从别人实现的代码中学习到的,你会挑一个认为简单的方法去完成。

    这半年写了大概五十篇博客

https://my.oschina.net/u/3264690/blog?catalog=5650535&temp=1499166808656) 现在越来越发现记录一些东西的重要性了,有时候你学了某一个东西,过一段时间你可能就忘掉了,这时候博客就能给你找回来。同时发现你学一个东西是一回事,当你写出来时,是另一回事了。

“方向很多,知识也很多,勿迷失自我”-----学不在多贵在精

                                                                                                                                    记录于2017-7-4

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
2年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Easter79 Easter79
2年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
00:Java简单了解
浅谈Java之概述Java是SUN(StanfordUniversityNetwork),斯坦福大学网络公司)1995年推出的一门高级编程语言。Java是一种面向Internet的编程语言。随着Java技术在web方面的不断成熟,已经成为Web应用程序的首选开发语言。Java是简单易学,完全面向对象,安全可靠,与平台无关的编程语言。
Stella981 Stella981
2年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
3个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这