job: when a job was skipped due to a failed condition, log about it

Previously we'd neither show console status output nor log output. Let's
fix that, and still log something.

core: make unit_start() return a distinguishable error code in case conditions didn't hold

Ideally we'd even propagate this all the way to the client, by having a
separate JobType enum value for this. But it's hard to add this without
breaking compat, hence for now let's at least internally propagate this
case differently from the case "already on it".

This is then used to call job_finish_and_invalidate() slightly
differently, with the already= parameter false, as in the failed
condition case no message was likely produced so far.

job: add two explanatory comments

job: let's remove one comparison and reduce indentation level by one

core: log a recognizable message when a unit succeeds, too

We already are doing it on failure, let's do it on success, too.

Fixes: #10265

core: make log messages about unit processes exiting recognizable

core: make log messages about units entering a 'failed' state recognizable

Let's make this recognizable, and carry result information in a
structure fashion.

sd-messages: add comment and reorder a bit

The message SD_MESSAGE_UNIT_FAILED is closely related to
SD_MESSAGE_UNIT_STARTED as it is generated when a start job failed
instead of completed successfully, Hence they should be placed together.

Otherwise one might get the impression that the message was about
failing units, which it really is not.

catalog: update job begin/done messages

These texts have been slightly misleading previously, as they talked
about units, not jobs, but are actually generated for jobs, not units.
This difference matters as units can change state without a job
requesting that.

Also, the message be02cf6855d2428ba40df7e9d022f03d was particularly
wrong, as it claimed the unit failed, while it actually is the start job
that failed, which is a major difference, as jobs can fail without the
unit actually being placed in a failed state. Let's move this message a
bit up, closed to 39f53479d3a045ac8e11786248231fbf (i.e. the message
seen when a start job finished successfully).

job: also include job ID in log messages when we begin with a job

core: move unit_status_emit_starting_stopping_reloading() and related calls to job.c

This call is only used by job.c and very specific to job handling.
Moreover the very similar logic of job_emit_status_message() is already
in job.c.

Hence, let's clean this up, and move both sets of functions to job.c,
and rename them a bit so that they express precisely what they do:

1. unit_status_emit_starting_stopping_reloading() →
   job_emit_begin_status_message()
2. job_emit_status_message() → job_emit_done_status_message()

The first call is after all what we call when we begin with the
execution of a job, and the second call what we call when we are done
wiht it.

Just some moving and renaming, not other changes, and hence no change in
behaviour.

job: add log message when we can't enable the job run event source

job: add comment for EAGAIN job run case

job: minor coding style tweaks

job: include JOB_ID field in log message about jobs

tests: run fuzzers four times in a row (#10794)

This should help to catch issues that are easily detectable by
bad_build_check like the one being fixed in https://github.com/systemd/systemd/pull/10793,
which would totally break the build tomorrow if I hadn't run
`helper.py check_build` manually.

sd-bus: make strict asan shut up

asan doesn't like it if we use strndup() (i.e. a string function) on a
non-NULL terminated buffer (i.e. something that isn't really a string).

Let's hence use memdup_suffix0() instead of strndup(), which is more
appropriate for binary data that is to become a string.

Fixes: #10385

Merge pull request #10795 from poettering/generator-fixes

trivial fixes to some generators

Merge pull request #10796 from poettering/systemd-exit-service-fixes

units: corrections for systemd-exit.service

Merge pull request #10791 from keszybz/sd-event-get-enabled

Some minor tweaks for sd_event_source_get_enabled

test: initialize syslog_fd in fuzz-journald-kmsg too

This is a follow-up to 8857fb9beb9dcb that prevents the fuzzer from crashing with
```
==220==ERROR: AddressSanitizer: ABRT on unknown address 0x0000000000dc (pc 0x7ff4953c8428 bp 0x7ffcf66ec290 sp 0x7ffcf66ec128 T0)
SCARINESS: 10 (signal)
    #0 0x7ff4953c8427 in gsignal (/lib/x86_64-linux-gnu/libc.so.6+0x35427)
    #1 0x7ff4953ca029 in abort (/lib/x86_64-linux-gnu/libc.so.6+0x37029)
    #2 0x7ff49666503a in log_assert_failed_realm /work/build/../../src/systemd/src/basic/log.c:805:9
    #3 0x7ff496614ecf in safe_close /work/build/../../src/systemd/src/basic/fd-util.c:66:17
    #4 0x548806 in server_done /work/build/../../src/systemd/src/journal/journald-server.c:2064:9
    #5 0x5349fa in LLVMFuzzerTestOneInput /work/build/../../src/systemd/src/fuzz/fuzz-journald-kmsg.c:26:9
    #6 0x592755 in fuzzer::Fuzzer::ExecuteCallback(unsigned char const*, unsigned long) /src/libfuzzer/FuzzerLoop.cpp:571:15
    #7 0x590627 in fuzzer::Fuzzer::RunOne(unsigned char const*, unsigned long, bool, fuzzer::InputInfo*, bool*) /src/libfuzzer/FuzzerLoop.cpp:480:3
    #8 0x594432 in fuzzer::Fuzzer::MutateAndTestOne() /src/libfuzzer/FuzzerLoop.cpp:708:19
    #9 0x5973c6 in fuzzer::Fuzzer::Loop(std::__1::vector<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> >, fuzzer::fuzzer_allocator<std::__1::basic_string<char, std::__1::char_traits<char>, std::__1::allocator<char> > > > const&) /src/libfuzzer/FuzzerLoop.cpp:839:5
    #10 0x574541 in fuzzer::FuzzerDriver(int*, char***, int (*)(unsigned char const*, unsigned long)) /src/libfuzzer/FuzzerDriver.cpp:764:6
    #11 0x5675fc in main /src/libfuzzer/FuzzerMain.cpp:20:10
    #12 0x7ff4953b382f in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x2082f)
    #13 0x420f58 in _start (/out/fuzz-journald-kmsg+0x420f58)
```

units: fix Description= of systemd-exit.service

This file was probably copied from the --user version, let's use some
more appropriate wording for the --system version.

units: use correct command to exit

Otherwise we'll end a cyclic loop.

units: add the same ordering deps for systemd-exit.service as for systemd-poweroff.service and friends

This stuff runs in containers, and should really behave the same
everywhere.

core: show error code even when debug logging

hibernate-resume-generator: fix minor memory leak on error path

debug-generator: fix minor memory leak

udev-util: read resolve_names from udev.conf

Fixes CID#1396866.

Merge pull request #10788 from evverx/fuzz-kmsg

tests: add a fuzzer for dev_kmsg_record

journal: simplify use of sd_event_source_get_enabled()

journal-file: get rid of a helper variable

It doesn't really save much in code length. Having the event source named
explicitly makes it easier to understand the code at a glance.

sd-event: make sd_event_source_get_enabled return more info

sd-event: do not use assert_return for something that is not an error

It's totally OK for description to be unset, so let's not log about this
even at debug level.

tests: add a reproducer for a heap-buffer-overflow fixed in 937b1171378bc1000a

tests: add a reproducer for a memory leak fixed in 30eddcd51b8a472e05d3b8d1 in August

journal: fix an off-by-one error in dev_kmsg_record

basic: remove an assertion from cunescape_one

The function takes a pointer to a random block of memory and
the length of that block. It shouldn't crash every time it sees
a zero byte at the beginning there.

This should help the dev-kmsg fuzzer to keep going.

tests: add a fuzzer for dev_kmsg_record

udev-rules: fix possible assertion

On 'remove' action, event->dev_db_clone is NULL. So, `IMPORT{db}` rule
on 'remove' action triggers assertion. This fixes the issue.

Revert "units: lock down logind with fs namespacing options"

basic/json: silence gcc warning about limited range of data type

With gcc-7.1.1-3.fc26.aarch64:
../src/basic/json.c: In function ‘json_format’:
../src/basic/json.c:1409:40: warning: comparison is always true due to limited range of data type [-Wtype-limits]
                                 if (*q >= 0 && *q < ' ')
                                        ^~
../src/basic/json.c: In function ‘inc_lines_columns’:
../src/basic/json.c:1762:31: warning: comparison is always true due to limited range of data type [-Wtype-limits]
                 } else if (*s >= 0 && *s < 127) /* Process ASCII chars quickly */
                               ^~

Cast to (signed char) silences the warning, but a cast to (int) for some reason
doesn't.

Merge pull request #10742 from poettering/c-utf8

default to C.UTF-8 locale, and many improvements to env var file parsing/kernel cmdline parsing

Merge pull request #10753 from keszybz/pager-no-interrupt

Add mode in journalctl where ^C is handled by the pager

core: drop dbus queue recursion check

We don't dispatch the queue recursively anymore, hence let's simplify
things a bit.

As pointed out by @fbuihuu:

https://github.com/systemd/systemd/pull/10763#discussion_r233209550

tests: add some tests for cmdline args containing spaces

update NEWS

update TODO

locale-util: introduce common helper locale_variables_free() for freeing locale variable arrays

fileio: automatically add NULL sentinel to parse_env_file()

Let's modernize things a bit.

localed: be more careful with the used types

fileio: drop "newline" parameter for env file parsers

Now that we don't (mis-)use the env file parser to parse kernel command
lines there's no need anymore to override the used newline character
set. Let's hence drop the argument and just "\n\r" always. This nicely
simplifies our code.

tree-wide: replace all remaining uses of parse_env_file() for parsing /proc/cmdline

Let's always go through the proc-cmdline.c APIs.

localed: no need to log twice about reload requests

localed: show proper bus error if we can in log message

localed: don't silently eat up errors, log something

locale-setup: default to C.UTF-8

Most distributions already were shipping a C.UTF-8 locale and even Fedora
now supports the C.UTF-8 locale, and there's clear indication that this
is going upstream too. Hence, let's default to it now too, if nothing
else is set.

Note that this is only a fallback if noting else is set, and since
distros generally configure a default for this behaviour shouldn't
really change in installed systems.

On new systems this makes vconsole.conf redundant.

locale-setup: rework to use new proc_cmdline_get_key_many() API

This way we use the same code to access /proc/cmdline as everywhere
else, and thus support it in containers and the SYSTEMD_PROC_CMDLINE env
var.

locale-setup: use precise type for locale variable iterator

locale-setup: use _cleanup_strv_free_

proc-cmdline: introduce new proc_cmdline_get_key_many() helper

This is like parse_env_file(), but from the kernel command line

proc-cmdline: split out rd. prefix handling in proc_cmdline_parse_given() and proc_cmdline_get_key()

This introduces a wrapper around extrac_first_word() called
proc_cmdline_extract_first(), which suppresses "rd." parameters
depending on the specified calls.

This allows us to share more code between proc_cmdline_parse_given() and
proc_cmdline_get_key(), and makes it easier to reuse this logic for
other purposes.

man: use <keycombo> more

basic/pager: ignore ^C when piping to less and K is not set

Normally, we want to immediately quit on ^C. But when we are running under
less, people may set SYSTEMD_LESS without K, in which case they can use ^C to
communicate with less, and e.g. start and stop following input.

Fixes #6405.

basic/cgroup-util: remove two unnecessary includes

Move LONG_LINE_MAX definition to fileio.h

All users of the macro (except for one, in serialize.c), use the macro in
connection with read_line(), so they must include fileio.h.  Let's not play
libc games and require multiple header file to be included for the most common
use of a function.

The removal of def.h includes is not exact. I mostly went over the commits that
switch over to use read_line() and add def.h at the same time and reverted the
addition of def.h in those files.

basic/pager: convert the pager options to a flags argument

Pretty much everything uses just the first argument, and this doesn't make this
common pattern more complicated, but makes it simpler to pass multiple options.

proc-cmdline: turn flags parameter into a proper typedef'ed enum

Let's add some extra typesafety.

Merge pull request #10759 from keszybz/udevd-more-configuration

Udevd more configuration options

travis: use double the normal timeout in the ASan & UBSan stage

This should somewhat address https://github.com/systemd/systemd/issues/10696.

Merge pull request #10747 from poettering/machinectl-list-fix

properly acquire os-release file from containers

Merge pull request #10763 from poettering/pending-reload-fix

when reloading, don't throttle unit/job dbus change signal generation

json: decrease DEPTH_MAX to 4k

This makes DEPTH_MAX lower value, as test-json fails with stack
overflow.

Note that the test can pass with 8k, but for safety, here set to 4k.

Fixes #10738.

hwdb: Add accelerometer orientation quirk for the Chuwi CoreBook tablet

travis: also compile and run unsafe unit tests

hwdb: Add Onda V820w accelerometer transformation matrix

Added accelerometer transformation matrix for the Onda V820w Tablet

unit: don't claim there was no IP traffic generated by a unit when we don't know

Only if we have some IP traffic accounting at all we should claim that.

core: split out audit message generation from unit_notify()

Just some refactoring, no change in behaviour.

man: document that env vars are not suitable for passing secrets

Prompted by the thread around:

https://lists.freedesktop.org/archives/systemd-devel/2018-November/041665.html

update TODO

Merge pull request #10757 from Antique/cgroupv2

Fix cgroupv2 bpf-devices issues

udev: downgrade message when we fail to set inotify watch up

My logs are full of:

systemd-udevd[6586]: seq 13515 queued, 'add' 'block'
systemd-udevd[6586]: seq 13516 queued, 'change' 'block'
systemd-udevd[6586]: seq 13517 queued, 'change' 'block'
systemd-udevd[6586]: seq 13518 queued, 'remove' 'bdi'
systemd-udevd[6586]: seq 13519 queued, 'remove' 'block'
systemd-udevd[9865]: seq 13514 processed
systemd-udevd[9865]: seq 13515 running
systemd-udevd[9865]: GROUP 6 /usr/lib/udev/rules.d/50-udev-default.rules:59
systemd-udevd[9865]: IMPORT builtin 'blkid' /usr/lib/udev/rules.d/60-persistent-storage.rules:95
systemd-udevd[9865]: IMPORT builtin 'blkid' fails: No such file or directory
systemd-udevd[9865]: loop4: Failed to add device '/dev/loop4' to watch: No such file or directory
(the last line is at error level).
If we are too slow to set up a watch and the device is already gone by the time
we try, this is not an error.

udev: also allow resolve_names= to be specified in udev.conf

udev: move ResolveNameTiming definition and parsers to udev-util.h

Follow-up for c4d44cba4d9bd9d92c86e06f21d5936cca1b8c16. No functional change,
but the parser is moved to libsystemd-shared.so.

udevd: allow more parameters to be set through udev.conf

Rebooting to set change the kernel command line to set some udev parameters is
inconvenient. Let's allow setting more stuff in the config file.

Also drop quotes from around "info" in udev.conf. We need to accept them for
compatibility, but there is no reason to use them.

bpf-devices: fix order of removing and adding BPF programs

The current code has multiple issues and it should never be done like
that.  If someone updates list of allowed devices we should attach new
program before we remove the old one for two reasons:

1. It takes some time to attach new program so there is a period of time
when all devices are allowed.

2. BPF programs have limit for number of instructions (4096) and if user
adds a lot of devices we might hit the instruction limit and the new
program will not be accepted which will result in allow all devices
because the old program was already removed.

In order to attach the new program before we remove the old one we need
to use BPF_F_ALLOW_MULTI flag every time.

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

udev: do not pass timeout_warn_usec around, calculate it on demand

It was always set to one third of timeout_usec, so let's simplify things by
calculating it using a helper function right before it is used.

Before 9d9264ba39f797d20100c8acfda3df895ab5aaa2, udevd.c would avoid setting
timeout_warn_usec to 0, using 1 instead. This wasn't necessary, because when
timeout_warn_usec is finally used in spawn_wait(), it is ignored if
timeout_usec is 0 or timeout_warn_usec is 0. So there was no need to handle
this case specially.

bpf-devices: fix cgroup v2 devices detection

If cgroup v2 bpf devices is supported we need to return 1, not -1.

Signed-off-by: Pavel Hrdina <phrdina@redhat.com>

core: make sure we don't throttle change signal generator when a reload is pending

Fixes: #10627

core: when we can't send the pending reload message, say we ignore it in the warning we log

No change in behaviour, just better wording.

core: rename queued_message → pending_reload_message

This field is only used for pending Reload() replies, hence let's rename
it to be more descriptive and precise.

No change in behaviour.

shared/dissect-image: drop parens

nspawn: add a hint to the message we emit when a child dies

From #10526:

$ sudo systemd-nspawn -i image
Spawning container image on /home/zbyszek/src/mkosi/image.
Press ^] three times within 1s to kill container.
Short read while reading cgroup mode.

tree-wide: port over other candidates for namespace_fork()

Let's always use the same, correct, way to join a namespace.

machined: when reading os-release file, join PID namespace too

This is required for /proc/self/fd/xyz to work, but that's what we need
to convert the O_PATH fd returned by chase_symlinks() back to a regular
file fd. Hence, let's do the joining of the namespaces fully and
correctly, by doing fork()+setns()+fork() with the PID and fs
namespaces.

This makes use of the new namespace_fork() helper we just added.

Fixes: #10549

sd-bus: port over to namespace_fork()

This is pretty similar code, let's replace it with the generic
namespace_fork() implementation.

core: add namespace_fork() helper, that forks, joins a set of namespaces and forks again

This helper is useful to ensure pidns/userns joining is properly
executed (as that requires a fork after the setns()). This is
particularly important when it comes to /proc/self/ access or
SCM_CREDENTIALS, but is generally the safer mode of operation.

core: use local variable m instead of u->manager

Merge pull request #10744 from poettering/logind-lock-down

units: lock down logind with fs namespacing options

units: also change portabled's syscall filter to a whitelist

Merge pull request #10614 from thom311/dhcp-identifier-set-iaid

endianness dependent behavior of dhcp_identifier_set_iaid()