cd the NLP world

文章转自：Kavita Ganesan Blog Based on some recent conversations, I realized that text preprocessing is a severely overlooked topic. A few people I spoke to mentioned inconsistent results from their NLP applications only to realize that they were not p ...

参考：https://zodiac911.github.io/blog/pdb.html 使用pdb++(https://github.com/pdbpp/pdbpp)调试python程序，常用的命令如下： 和pdb一样，使用n执行一步，c执行到下一个断点，s进入函数内部执行，r返回函数 启用sticky mode， 启用interactive功能 pdb.disable() 可以忽略当前设置的pdb断点；pdb.enable()再次启用当前的断点。

转自 微软亚研院微博 今天的讲座主要回答两个问题，第一是自然语言处理到底有哪些新的进展；第二是这些新的进展给我们的搜索引擎带来了什么新的变化，或者未来可能会带来什么新的变化。 自然语言技术的重要组成自然语言技术覆盖的领域可以总结为三方面，包括 NLP 基础、NLP 核心技术和 NLP 应用。 NLP基础包括词的表示，比如现在热门的word Embedding。词的表示包括上下文无关的表示和上下文有关的表示，前者就是静态的Word Embedding，后者现在一般使用各种预训练模型，根据当前的 ...

转载自 updated overview of recent gradient descent algorithms, 作者: John Chen In this blog post, we will cover some of the recent advances in optimization for gradient descent algorithms. There are various sources online that compare the most famous ap ...

本文主要摘抄关于latex写计算机领域会议论文的笔记。参考资料： https://www.latexstudio.net/hulatex/index.htm 等。 文章框架方面 所有的论述都用现在时时态，不管是你自己的或者是别人的，包括related work。 对于所有的表格或者图片，在正文中需要有地方引用或者呼应。 要仔细考虑Figure1， 用来可视化，模型介绍，或者总结文章的贡献。一般是放在第一页或者第二页，即使到第三页或者以后才会用到，还是要放到第二页。 不要简单只用method/ap ...

参考来源：https://vimjc.com/, https://missing.csail.mit.edu/2020/editors/ 1. 配置参考文件： vim for server: https://github.com/wklken/vim-for-server The ultimate Vim configuration: https://github.com/amix/vimrc 2. 配置文件的几个说明： set autoread, 文件修改之后自动更新内容 set mag ...

转自Thomas Wolf的文章 I’ve spent most of 2018 training neural networks that tackle the limits of my GPUs. Whether it was a 150 millions parameters language model like OpenAI’s huge Generative Pre-trained Transformer (or the recent and similar BERT model ...

pytorch中的Tensor乘法分为点乘(dot multiplication/point-wise multiplication/element-wise multiplication)和矩阵乘法(matrix multiplication)。 1. Tensor dot multiplicationTensor dot multiplcation 采用 *符号，如：C=A * B，如果是矩阵A的point-wise的平方运算，可以采用C=A ** 2来实现。 :todo dot produ ...

A collection of practical advice for the process of achieving strong results with neural networks.

A collection of tips/tricks for navigating the PhD experience.

source from christopher5106 blog In machine learning many different losses exist. A loss is a “penalty” score to reduce when training an algorithm on data. It is usually called the objective function to optimize. For an introduction to machine lear ...

运行pytorch程序时，有时候会出现torch.FatalError: cuda runtime error (2) : out of memory at /opt/conda/conda-bld/pytorch_1524590031827/work...的错误，因为显存满了，程序中止执行。GPU显存主要用于存放模型参数和中间计算变量，模型参数可以根据数量及参数的数据类型进行计算，一般模型参数采用的是torch.cuda.FloatTensor和torch.cuda.IntTensor两种，即 ...

1. Basic infoGit用于文件的版本控制及协作开发。编辑文件后，使用git add filename把更新添加至暂存区，使用git commit -m "messages"提交暂存区的修改到本地git数据库。如果要同步至远程服务器，需要使用git push命令进行同步。 2. basic commands git add，提交修改到暂存区 git commit，提交暂存区的修改，参数–amend是撤销上次的commit并重新提交。 git push origin m ...

source copies from post, author is Lin Dahua. Here is a list of books which I have read and feel it is worth recommending to friends who are interested in computer science. Machine Learning Pattern Recognition and Machine Learning,Christopher M. Bi ...

source from https://github.com/green7ea/cpp-compilation, many thanks! The C++ Build Process Explained The last good thing written in C was Franz Schubert’s Symphony Number 9. – Erwin Dieterich Fifty years of programming language research, and we en ...