Revert "meson: use c_args in generator scripts (#10289)"

This reverts commit 56f56d5ad856d9bd1070693490b210e0a0ccde92.

This broke the compilation for coverity under travis. Our build script does
something like this:

$ CFLAGS='-D_Float128=long\ double -D_Float64=double -D_Float64x=long\ double -D_Float32=float -D_Float32x=double' meson cov-build -Dman=false
$ ninja -C build
...
[pid 27096] execve("/usr/bin/cc", ["/usr/bin/cc", "-D_Float128=long", "double", "-D_Float64=double", "-D_Float64x=long", "double", "-D_Float32=float", "-D_Float32x=double", "-E", "-dM", "-include", "linux/capability.h", "-include", "config.h", "-include", "../src/basic/missing.h", "-"], 0x55ab75ea4e80 /* 91 vars */) = 0
cc: error: double: No such file or directory
cc: error: double: No such file or directory
[pid 27096] +++ exited with 1 +++

I'm sure this could be fixed somehow, but since the original motivation for
56f56d5ad856d9bd1070693490b210e0a0ccde92 wasn't very strong, let's just revert
it as this seems to be the simplest solution.

busctl: add a --json= output mode

A new switch "-j" or "--json=" is added which transforms dbus
marshalling into json. This is extremely useful in combination with
tools such as "jq" to process bus calls further.

Merge pull request #10334 from keszybz/nomempool

Use mempool only in progs linked to libsystemd-shared.so

Merge pull request #10358 from yuwata/fix-10333

resolve: fix member access within null pointer

resolve: fix member access within null pointer

Fixes #10333.

resolve: use structured initializers

meson: use vars we already have defined in status

mempool: only enable mempool use when linked to libsystemd-shared.so

Mempool use is enabled or disabled based on the mempool_use_allowed symbol that
is linked in.

Should fix assert crashes in external programs caused by #9792.
Replaces #10286.

v2:
- use two different source files instead of a gcc constructor

Move use_pool() to mempool.c and rename to mempool_enabled()

The only user is in hashmap.c, but it's a mempool thing.

meson: update bug reference

https://github.com/mesonbuild/meson/issues/1644 was resolved in 0.42:
https://github.com/mesonbuild/meson/pull/2191/commits/be4428005dff8b17af5696c8f05567de9af1a8c5,
but still no-go.

meson: remove old comment

The linked page is gone, and I can't quite remember what the
warning was about. Something about recursive copying... Everything
seems to work.

meson: drop workaround

It was added way back, and seems to work fine now without it.

tests: pass halt_on_error=1 to UBSan

By default, UBSan neither crashes nor exits with a non-zero exit code
when undefined behavior has been detected. This is problematic because
it makes it much harder to catch issues like https://github.com/systemd/systemd/issues/10346,
 https://github.com/systemd/systemd/issues/10347, and https://github.com/systemd/systemd/issues/10333.
In fact, those issue were found just because I decided to grep
the test log, which isn't something that I normally do :-)

As it turns out, the only way to make UBSan signal that something is wrong that works more or less
reliably everywhere is to pass halt_on_error=1 (though, it's probably worth noting that it's currently
not set for PID1 in order not to trigger kernel panics).

See https://reviews.llvm.org/D35085#804183 and https://chromium.googlesource.com/chromium/src/testing/libfuzzer/+/HEAD/reference.md

man: clarify behaviour of RandomizedDelaySec=

Merge pull request #10316 from poettering/json-api

just the json stuff from #9762

Merge pull request #10351 from keszybz/meson-cpp-fixups

Meson c++-related fixups

Merge pull request #10343 from poettering/manager-state-fix

various fixes for PID1's Manager object

Merge pull request #10349 from poettering/bus-creds-shift-overflow

sd-bus creds bitshift overflow fix

tree-wide: various ubsan zero size memory fixes

Fixes: #10346

meson: c++ is required for the fuzzer builds

The configuration would fail with an error about cpp being an unknown language
anyway, but it's nicer to fail early and explicitly.

https://github.com/systemd/systemd/pull/10339#issuecomment-428279175

meson: rename cpp_cmd to cxx_cmd

cpp is a really bad alias for c++ because it's also the name of the
preprocessor. Let's rename the variable.

sd-bus: call cap_last_cap() only once in has_cap()

Also, use the same type everywhere for dealing with it.

sd-bus: use size_t when dealing with memory offsets

capability: introduce CAP_TO_MASK_CORRECTED() macro replacing CAP_TO_MASK()

linux/capability.h's CAP_TO_MASK potentially shifts a signed int "1"
(i.e. 32bit wide) left by 31 which means it becomes negative. That's
just weird, and ubsan complains about it. Let's introduce our own macro
CAP_TO_MASK_CORRECTED which doesn't fall into this trap, and make use of
it.

Fixes: #10347

tests: add a fuzzer for the json parser and dumper

json: add test

json: add a nice JSON parser

As preparation for OCI support in nspawn, let's add a JSON parser.

The json.h file contains an explanation why this is new code instead of
just us linking against an existing JSON library.

man: fix typo

Merge pull request #10062 from rgushchin/device

Support cgroup v2 bpf-based device controller

meson: we cannot call get_compiler('cpp') if we didn't "add" it

Follow-up for f6d783ac3d145f3f3ffc2023d4ad90f76cf7fe34.

bpf-firewall: always use log_unit_xyz() insteadof log_xyz()

That way it's easier to figure out what the various messages belong to

device: clean up DeviceFound flags set

No need to avoid bit 0. Also the U suffix has no effect, don't use it.

core: add missing 'continue' statement

core: include environment generator runtime in generator timestamps

Currently they aren't covered and it probably isn't worth adding another
kind of timestamp just for this, hence simply include it in the regular
generator timestamps.

core: add a common helper call manager_ready() sharing some common code between manager_reload() and manager_startup()

Just sharing some common code. No functional changes

core: turn our four vacuum calls into a new helper function

Just share some code. No functional changes.

core: rework how we set the objective to MANAGER_OK

Let's do so already when we are about to complete startup/reload, so
that manager_catchup() is run in a context where MANAGER_IS_RUNNING()
returns true, as the intention is.

Fixes: #9518

core: make use of manager_loop()'s return value

The objective is returned in the return value, let's make use of that,
instead of reaching into the object.

core: try to recover from failed reloads

Let's simply continue with everything we loaded, in the hope it's
somewhat useful.

core: bring manager_startup() and manager_reload() more inline

Both functions do partly the same, let's make sure they do it in the
same order, and that we don't miss some calls.

This makes a number of changes:

1. Moves exec_runtime_vacuum() two calls down in manager_startup(). This
   should not have any effect but makes manager_startup() more like
   manager_reload().

2. Calls manager_recheck_journal(), manager_recheck_dbus(),
   manager_enqueue_sync_bus_names() in manager_startup() too. This is a
   good idea since during reeexec we pass through manager_startup() and
   hence can't assume dbus and journald weren't up yet, hence let's
   check if they are ready to be connected to.

3. Include manager_enumerate_perpetual() in manager_reload(), too. This
   is not strictly necessary, since these units are included in the
   serialization anyway, but it's still a nice thing, in particular as
   theoretically the deserialization could fail.

core: break lines in comments

core: log in all cases in manager_startup()

We missed some cases where we'd fail without any logging at all. Let's
fix that.

manager: rework error handling and logging in manager_reload()

let's clean up error handling and logging in manager_reload() a bit.
Specifically: make sure we log about every error we might encounter at
least and at most once.

When we encounter an error before the "point of no return" then log at
LOG_ERR about it and propagate it. Otherwise, eat it up, but warn about
it and proceed, it's the best we can do.

core: add comments about n_reloading to manager_deserialize()

core: handle OOM during deserialization always the same way

OOM failures we consider fatal, while other failures we generally skip
over.

core: clean up deserialization log messages a bit

Always, say that we ignore these kind of issues. We already say that for
many fields, but for a few this was missing.

core: make sure manager_run_generators() logs about all errors

Since it's mostly a wrapper around execute_directories() it already logs
in most cases, but a few were missing. Fix that.

core: allow manager_serialize() to fail correctly

If manager_serialize() fails in the middle (which it hopefully doesn't)
make sure to fix up m->n_reloading correctly again so that we don't
leave it > 0 when it really shouldn't be.

path-lookup: downgrade logging in lookup_paths_init() a bit

So far lookup_paths_init() did not log on its own beyond LOG_DEBUG,
fix one exception, in order to avoid duplicate logging.

core: clean up test run flags

Let's make them typesafe, and let's add a nice macro helper for checking
if we are in a test run, which should make testing for this much easier
to read for most cases.

manager: normalize /run disk space checks

Let's avoid using a variable needlessly. More importantly, special case
the error, not the regular case.

core: tiny tweak for cgroup trimming during manager_free()

Instead of blacklisting when not to trim the cgroup tree, let's instead
whitelist when to do it, as an excercise of being careful when being
destructive.

This should not change behaviour with exception that during switch roots
we now won't attempt to trim the cgroup tree anymore. Which is more
correct behaviour after all we serialize/deserialize during the
transition and should be needlessly destructive.

core: use structure initialization for Manager

No changes in behaviour, just a nicer way to fill in the Manager
initially.

manager: rework test flags set

No reason to avoid bit 0.

Also, fix some tests that pass "true" as flags value, which is just
wrong.

core: rename ManagerExitCode → ManagerObjective

"ExitCode" is a bit of a misnomer in two ways: it suggests this was
about the "exit code" concept that exit()/waitid() deal with, but really
isn't. Moreover, it's not event just about exiting either, but more
often about reloading/reexecing or rebooting. Let's hence pick a new
name for this that is a bit more correct.

I initially thought about naming this the "state", but that'd be a
misnomer too, as the value really encodes a "goal" more than a current
state. Also we already have the externally visible ManagerState.

No actual changes in behaviour, just the rename.

manager: add explanatory comment regarding ManagerState

main: minor coding style update

core: support cgroup v2 device controller

Cgroup v2 provides the eBPF-based device controller, which isn't currently
supported by systemd. This commit aims to provide such support.

There are no user-visible changes, just the device policy and whitelist
start working if cgroup v2 is used.

core: bump mlock ulimit to 64Mb

Bpf programs are charged against memlock ulimit, and the default value
can be too tight on machines with many cgroups and attached bpf programs.

Let's bump it to 64Mb.

libbpf.h: add BPF_JMP_A macro

Add unconditional jump macro to use in generated bpf programs.

core: refactor bpf firewall support into a pseudo-controller

The idea is to introduce a concept of bpf-based pseudo-controllers
to make adding new bpf-based features easier.

Merge pull request #10331 from keszybz/tests-ip6-and-readme

Test suite fix and README update

More polite passphrase prompt

Instead of

Please enter passphrase for disk <disk-name>!

use

Please enter passphrase for disk <disk-name>:

which is more polite and matches Plymouth convention.

meson: include more build settings in status output

Merge pull request #10136 from yuwata/run-unit-tests

test: run unit tests under containers

README.testsuite: update the documentation for meson

Merge pull request #10307 from poettering/portable-path

finishing touches to portable services, and let's move portablectl to /usr/bin to make it official

sd-hwdb: update error log a bit

tree-wide: use CMP() macros where applicable

hwdb: Map 45 to bookmarks on the ThinkPad L380

The ThinkPad L380 has a F12(Favorate) key. The keycode 0x45 is mapped
to KEY_FAVORITES(0x16c) in kernel thinkpad_acpi driver, but this
keycode is too big for xorg to handle.
xkeyboard-config mapped KEY_BOOKMARKS to XF86Favorites:

keycodes/evdev:
    <I164> = 164;   // #define KEY_BOOKMARKS           156

symbols/inet:
    key <I164>   {      [ XF86Favorites         ]       };

So map 45 to bookmarks to correct keycode.

Signed-off-by: Zhang Xianwei <zhang.xianwei8@zte.com.cn>

test-execute: filter out ip6tnl0@ and ip6gre0@ interfaces

Those interfaces are created automatically when ip6_tunnel and ip6_gre loaded.
They break the test with exec-privatenetwork-yes.service.

C.f. 6b08180ca6f1ceb913f6a69ffcaf96e9818fbdf5.

test: add TEST-24-UNIT-TESTS running all basic tests under containers

test: do not use global variable to pass error

test: replace duplicated Makefile by symbolic link

test: make install_keymaps() optionally install more keymaps

test: add paths of keymaps in install_keymaps()

It seems that the paths of directories storing keymaps are changed.

test: introduce install_zoneinfo()

But it is not called by default.

test: install libraries required by tests

Merge pull request #10324 from poettering/audit-serialize-bool

properly serialize in_audit boolean

meson: use same compilers to build fuzzers

nspawn: add comments explaining the namespacing situation and the inner/outer children

Merge pull request #10323 from keszybz/test-udev-cleanup

Small cleanup for test-udev

ptyfwd: when we can't copy the window size from caller, use $LINES and $COLUMNS

This way users can directly influence the tty size if they like when
nspawn is invoked as a service and thus stdin/stdout/stderr are not
connected to a TTY.

core: introduce systemd.early_core_pattern= kernel cmdline option

Until a core dump handler is installed by systemd-sysctl, the generation of
core dump for services is turned OFF which can make the debugging of the early
boot process harder especially since there's no easy way to restore the core
dump generation.

This patch introduces a new kernel command line option which specifies an
absolute path where the kernel should write the core dump file when an early
process crashes.

This will take effect until systemd-coredump (or any other handlers) takes
over.

test-udev: sprinkle (void) and assert_se() as necessary

CID #996263.

test-udev: remove unsatisfiable conditionals

CID #1396013.

core: properly serialize "in_audit" per-unit boolean

Fixes: #9962

core: rearrange conditions in unit_notify() a bit

This shouldn't change control flow, with one exception: we won't send
notifications for boot progress to plymouth anymore during reload, which
is something we really shouldn't.

terminal-util: extra safety checks when parsing $COLUMNS or $LINES (#10314)

Let's make sure the integers we parse out are not larger than USHRT_MAX.
This is a good idea as the kernel's TIOCSWINSZ ioctl for sizing
terminals can't take larger values, and we shouldn't risk an overflow.

machine: use size_t for array sizes (#10309)

Some uses of n_netif already assumed it had time size_t. Others were a
bit sloppy. Let's clean this up.

logs-show: make highlight parameter const (#10311)

Merge pull request #10175 from poettering/sd-boot-count-bootctl

the bootctl changes from PR #9437 (the boot counting PR)

bootctl: include boot entries discovered by the boot loader but not in $BOOT in the "list" output

Let's use the new LoaderEntries efi var for this, and show all entries
we couldn't find via the config snippets.

bootctl: add new verbs for setting the default boot/oneshot entry

Fixes: #5739 #8574

efivars: newer efivarfs sets FS_IMMUTABLE_FL by default, deal with that

On EFI variables that aren't whitelisted in the kernel the
FS_IMMUTABLE_FL is set, as protection against accidental
removal/modification. Since our own variables do not appear in those
whielists, and we are not changing these variables, let's unset the flag
temporarily when needed. We restore the flag after all writes, just in
case.

chattr: optionally, return the old flags when updating them

efi: allow ESP validity checks to be turned off

let's add an env var for this, as this really shouldn't be a top-level
feature, as it turning off the validity checks certainly isn't
advisable.

Fixes: #4925

man: various updates to the bootctl man page

man: document the new --no-pager switch of bootctl

Also, let's move the --help and --version items to the end of the list.

bootctl: add auto-paging